JP2002165091A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 記録内容をより明確に識別できるサムネイル
画像を形成する。 【解決手段】 代表領域選定装置１２は、映像入力装置
１０により入力する画像に所定の画像形状パターンを適
用して画像認識し、１画面を区分する複数の領域のどこ
が主代表領域かを決定する。代表率評価装置１４は、装
置１２により選択された主代表領域とその他の領域間で
代表評価値を修整する。縮小装置１６は、装置１４から
の代表評価値に従い、１画面の各部分の縮小率を決定
し、サムネイル画像サイズになるように各部分を縮小す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
方法に関する。

【０００２】

【従来の技術】従来、複数の画像を縮小してインデック
ス画像として表示する、いわゆるサムネイル表示を可能
とする画像処理装置が知られている。

【０００３】

【発明が解決しようとする課題】サムネイル表示を可能
とする従来の画像処理装置は、オリジナル画像の全領域
を同一条件下で縮小して（間引いて）、サムネイル画像
を形成する。従って、画像によっては、縮小されること
により画像の相違が認識しづらくなってしまう場合があ
る。

【０００４】また、近年、撮像素子の画素数が増加し、
それに伴い撮影画面サイズも大型化してきている。その
結果、サムネイルを形成するためのデータ間引き量が相
対的に増加し、サムネイル画像で記録内容を識別するの
が困難になってきている。

【０００５】オリジナル画像の一部領域を切り出してか
ら縮小してサムネイル画像を形成する従来例もある。し
かし、この場合、ズーム撮影との相違が認識しづらくな
ってしまい、やはりサムネイル画像で記録内容を把握す
るのが困難である。

【０００６】本発明は、記録内容をより明確に識別でき
るサムネイル画像を形成する画像処理装置及び方法を提
示することを目的とする。

【０００７】

【課題を解決するための手段】本発明に係る画像処理装
置は、第１の画像データから第１の画像データより小さ
なサイズの第２の画像データを作成する画像処理装置で
あって、当該第１の画像から代表部分を検出する代表部
分検出手段と、当該代表部分検出手段の検出結果に従
い、当該第１の画像を区分する複数の領域のそれぞれに
ついて表示評価値を決定する評価値決定手段と、当該評
価値決定手段により決定される当該表示評価値に従い当
該第１の画像の当該複数の領域の各部分を縮小し、当該
第２の画像データを生成する縮小手段とを具備すること
を特徴とする。

【０００８】本発明に係る画像処理方法は、第１の画像
データから第１の画像データより小さなサイズの第２の
画像データを作成する画像処理方法であって、当該第１
の画像から代表部分を検出する代表部分検出ステップ
と、当該代表部分検出ステップの検出結果に従い、当該
第１の画像を区分する複数の領域のそれぞれについて表
示評価値を決定する評価値決定ステップと、当該評価値
決定ステップにより決定される当該表示評価値に従い当
該第１の画像の当該複数の領域の各部分を縮小し、当該
第２の画像データを生成する縮小ステップとを具備する
ことを特徴とする。

【０００９】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１０】（第１実施例）図１は、本発明の一実施例
の概略構成ブロック図を示す。１０はビデオカメラなど
の映像入力装置、１２は代表領域選定装置、１４は代表
率評価装置、１６は縮小装置、１８は表示装置、２０は
記録装置である。

【００１１】図２は、代表領域選定装置１２の動作フロ
ーチャートを示す。図３及び図４は入力画像例を示す。
図２、図３及び図４を参照して、代表領域選定装置１２
の動作を説明する。代表領域選定装置１２は、映像入力
装置１０から出力される画像データを用いてサムネイル
画像を示す画像データを生成する。また、映像入力装置
１０からの入力画像データが動画像データである場合、
代表領域選定装置１２はこの動画像データ中の１フレー
ムを抽出する。この抽出された１フレームの画像データ
が縮小され、サムネイル画像として用いられる。

【００１２】入力画像を予め用意された画像形状パター
ンと比較することで、画像認識する（Ｓ１）。特定の形
状パターンがどの程度出現しているかを重みとして算出
する（Ｓ２）。重みは、パターンサイズと出現回数で決
定される。例えば、同じパターンが多数集中している
か、又は、特定のパターンだけ大きい場合は、重みを大
きくする。

【００１３】重みピークが画面上のどの部分に存在する
かを調べ（Ｓ３，Ｓ５，Ｓ７，Ｓ９）、重みピークの存
在する領域を主代表領域として抽出し（Ｓ４，Ｓ６，Ｓ
８，Ｓ１０）、重みピークが実質的に存在しない場合
（Ｓ９）、画像全体を主代表領域として抽出する（Ｓ１
１）。即ち、重みピークが入力画像の画面の右上半分、
右下半分、左上半分及び左下半分に存在する場合には
（Ｓ３，Ｓ５，Ｓ７，Ｓ９）、それぞれ、入力画像の画
面の右上半分、右下半分、左上半分及び左下半分を主代
表領域として抽出し（Ｓ４，Ｓ６，Ｓ８，Ｓ１０）、何
れでにも重みピークが存在しない場合には（Ｓ９）、全
体を主代表領域として抽出する（Ｓ１１）。

【００１４】図３に示す画像のように、重みピークが左
下半分に存在する場合、左下領域を主代表領域とする。
図４に示す画像のように右下半分に重みピークが存在す
る場合、右下領域を主代表領域とする。

【００１５】代表領域選定装置１２は、選定された主代
表領域に大きな値の代表評価値を設定し、主代表領域以
外の領域には、小さな代表評価値を設定する。画面全体
を主代表領域とする場合には、各分割画面に等しい代表
評価値を設定する。

【００１６】図２〜図４では、画面を４分割して代表領
域を抽出している。分割数は、重み検出範囲及び代表領
域サイズを決定する。画面の分割数、即ち、重み検出範
囲及び代表領域サイズは、図２〜図４に示す例に限定さ
れない。

【００１７】図５及び図６は代表率評価装置１４の動作
フローチャートを示す。代表領域選定装置１２で選定さ
れた主代表領域が画面左下半分である場合（Ｓ２１）、
次のように代表評価値を修整する。即ち、画面左上半分
にパターン重み成分が存在するときには左上の代表評価
値を上げ（Ｓ２２，Ｓ２３）、画面右下半分にパターン
重み成分が存在するときには右下の代表評価値を上げ
（Ｓ２４，Ｓ２５）、画面右上半分にパターン重み成分
が存在するときには右上の代表評価値を上げる（Ｓ２
６，Ｓ２７）。そして、左上の代表評価値、右下の代表
評価値及び／又は右上の代表評価値の修整（Ｓ２３，Ｓ
２５，Ｓ２７）に応じて、相対的に左下の主代表評価値
を修整する（Ｓ２８）。例えば、右下の代表評価値及び
／又は右上の代表評価値を上げている場合には、その増
加分だけ、左下の主代表評価値を下げる。このような修
整後であっても、主代表評価値が他の代表評価値以上で
あるように、修整値が設定されている。

【００１８】主代表領域が画面左上半分である場合（Ｓ
２９）、次のように代表評価値を修整する。即ち、画面
左下半分にパターン重み成分が存在するときには左下の
代表評価値を上げ（Ｓ３０，Ｓ３１）、画面右下半分に
パターン重み成分が存在するときには右下の代表評価値
を上げ（Ｓ３２，Ｓ３３）、画面右上半分にパターン重
み成分が存在するときには右上の代表評価値を上げる
（Ｓ３４，Ｓ３５）。そして、左下の代表評価値、右下
の代表評価値及び／又は右上の代表評価値の修整（Ｓ３
１，Ｓ３３，Ｓ３５）に応じて、相対的に左上の主代表
評価値を修整する（Ｓ３６）。

【００１９】主代表領域が画面右上半分である場合（Ｓ
３７）、次のように代表評価値を修整する。即ち、画面
右下半分にパターン重み成分が存在するときには右下の
代表評価値を上げ（Ｓ３８，Ｓ３９）、画面左下半分に
パターン重み成分が存在するときには左下の代表評価値
を上げ（Ｓ４０，Ｓ４１）、画面左上半分にパターン重
み成分が存在するときには左上の代表評価値を上げる
（Ｓ４２，Ｓ４３）。そして、右下の代表評価値、左下
の代表評価値及び／又は左上の代表評価値の修整（Ｓ３
９，Ｓ４１，Ｓ４３）に応じて、相対的に左上の主代表
評価値を修整する（Ｓ４４）。

【００２０】主代表領域が画面右下半分である場合（Ｓ
４５）、次のように代表評価値を修整する。即ち、画面
右上半分にパターン重み成分が存在するときには右上の
代表評価値を上げ（Ｓ４６，Ｓ４７）、画面左下半分に
パターン重み成分が存在するときには左下の代表評価値
を上げ（Ｓ４８，Ｓ４９）、画面左上半分にパターン重
み成分が存在するときには左上の代表評価値を上げる
（Ｓ５０，Ｓ５１）。そして、右上の代表評価値、左下
の代表評価値及び／又は左上の代表評価値の修整（Ｓ４
７，Ｓ４９，Ｓ５１）に応じて、相対的に右下の主代表
評価値を修整する（Ｓ５２）。

【００２１】主代表領域が画面右下半分でもない場合
（Ｓ４５）、即ち、全ての部分が主代表領域になってい
る場合、又は、主代表領域が設定されていない場合、４
分割画面のそれぞれに均等な代表評価値を設定する（Ｓ
５３）。

【００２２】図５及び図６に示すフローチャートでは、
画面を４分割して代表領域を抽出しているが、代表領域
選定装置１２と同様に、分割数により評価率評価対象領
域サイズを調整できる。

【００２３】代表領域選定装置１２が図２に示すフロー
チャートに従って代表領域を選定し、代表率評価装置１
４が図５及び図６に示すフローチャートに従って代表評
価率を算出すると、縮小装置１６が、４分割面の各代表
評価率に応じた縮小率で各分割画面の画像を縮小（間引
き）する。

【００２４】図７は縮小例を示す。図７（Ａ）に示す入
力画像に対し、代表領域選定装置１２が左下半分を主代
表領域に選定した場合、図７（Ｂ）に示すように、代表
率評価装置１４が主代表領域以外の代表評価率を求め
る。図７（Ｂ）に示す例では、右下半分の評価率が上半
分の評価率より大きいので、縮小装置１６は、図７
（Ｃ）に示すように、各部分の代表評価率に応じて、左
下半分が大きく表示され、右下半分が若干大きく表示さ
れるように、各部分を縮小（間引き）する。そして、図
７（Ｄ）及び図８に示すように、画像全体をサムネイル
画像のサイズにまで縮小（間引き）する。主代表領域が
強調されたサムネイル画像が作成される。図８は、画像
の各部の縮小の様子と、最終的なサムネイル画像との関
係を示す。このような縮小処理により、画面の左下半分
を大きめに表示するサムネイル画像が作成される。

【００２５】図９は、縮小処理の別の画像例を示す。図
９（Ａ）に示す入力画像において、代表領域選定装置１
２が、右下半分を主代表領域に選定した場合に、代表率
評価装置１４が、図９（Ｂ）に示すように、主代表領域
以外の代表評価率を求めたとする。この例では、右下半
分以外の評価率が０なので、縮小装置１６は、図９
（Ｃ）に示すように右下半分だけを抽出して、目標の画
面サイズに縮小する。その結果、図９（Ｄ）に示すよう
に、キーポイントと認識された右下半分のみを含むサム
ネイル画像が生成される。

【００２６】表示装置１８は、縮小装置１６により生成
されたサムネイル画像を表示する。記録装置２０は、映
像入力装置１０から出力される画像と、縮小装置１６か
ら出力される対応するサムネイル画像を関連付けて又は
１ファイルとして異なる又は同じ記録媒体に記録する。

【００２７】例えば、動画像の場合、入力映像をビデオ
テープに記録し、そのインデックスとしてのサムネイル
画像を半導体メモリに記録する。サムネイル画像データ
と共に、対応する動画像データ（本来の画像データ）の
ビデオテープ上の記録位置（トラック番号又はタイムコ
ード）なども記録しておき、検索に使用する。ビデオデ
ータをファイル化して記録する場合、サムネイル画像デ
ータをその同じファイル内に埋め込むこともある。

【００２８】以上、説明したように、入力画像の画像形
状パターンを画像認識し、代表部分を選定し、場所毎に
縮小率を変更することで、主要な部分を大きく表示する
サムネイル画像を作成できる。画像内容に応じて、画像
全体を均等に縮小するサムネイル画像から、画像全体を
表示しつつ主要部分を大きめに表示するサムネイル画
像、主要部分のみを表示するサムネイル画像までを任意
に選択的に作成可能になり、内容判別が格段に容易にな
る。

【００２９】（第２実施例）図１０は、画像の色相分布
を考慮して代表領域を抽出する代表領域選定装置１２の
動作フローチャートを示す。図１１及び図１２は、入力
画像例を示す。

【００３０】色相分布により入力画像の画像認識する
（Ｓ６１）。各色相がどの程度出現しているかを重みと
して算出する。その重みは、色面積と出現回数で決定さ
れるので、例えば、同じ色が多数集中している場合、又
は同じ色の面積が広い場合は、重みを大きくする。

【００３１】重みピークが画面上のどの部分に存在する
かを調べ（Ｓ６３，Ｓ６５，Ｓ６７，Ｓ６９）、重みピ
ークの存在する領域を主代表領域として抽出し（Ｓ６
４，Ｓ６６，Ｓ６８，Ｓ７０）、重みピークが実質的に
存在しない場合（Ｓ６９）、画像全体を主代表領域とし
て抽出する（Ｓ７１）。即ち、重みピークが入力画像の
画面の右上半分、右下半分、左上半分及び左下半分に存
在する場合には（Ｓ６３，Ｓ６５，Ｓ６７，Ｓ６９）、
それぞれ、入力画像の画面の右上半分、右下半分、左上
半分及び左下半分を主代表領域として抽出し（Ｓ６４，
Ｓ６６，Ｓ６８，Ｓ７０）、何れでにも重みピークが存
在しない場合（Ｓ６９）、全体を主代表領域として抽出
する（Ｓ７１）。

【００３２】図１１に示す画像のように４分割画面の何
れにもピークが存在しない場合、画面全体を主代表領域
とする。図１２に示す画像のように、４分割画面の右下
半分にピークが存在する場合、右下半分を主代表領域と
する。

【００３３】図１０〜図１２では、画面を４分割して主
代表領域を抽出している。分割数は、重み検出範囲及び
代表領域サイズを決定する。画面の分割数、即ち、重み
検出範囲及び代表領域サイズは、図１０〜図１２に示す
例に限定されない。

【００３４】図１３及び図１４は、図１０に対応する代
表率評価装置１４の動作フローチャートを示す。

【００３５】代表領域選定装置１２で選定された主代表
領域が画面左下半分である場合（Ｓ８１）、次のように
代表評価値を修整する。即ち、画面左上半分に色割合重
み成分が存在するときには左上の代表評価値を上げ（Ｓ
８２，Ｓ８３）、画面右下半分に色割合重み成分が存在
するときには右下の代表評価値を上げ（Ｓ８４，Ｓ８
５）、画面右上半分に色割合重み成分が存在するときに
は右上の代表評価値を上げる（Ｓ８６，Ｓ８７）。そし
て、左上の代表評価値、右下の代表評価値及び／又は右
上の代表評価値の修整（Ｓ８３，Ｓ８５，Ｓ８７）に応
じて、相対的に左下の主代表評価値を修整する（Ｓ８
８）。例えば、右下の代表評価値及び／又は右上の代表
評価値を上げている場合には、その増加分だけ、左下の
主代表評価値を下げる。このような修整後であっても、
主代表評価値が他の代表評価値以上であるように、修整
値が設定されている。

【００３６】主代表領域が画面左上半分である場合（Ｓ
８９）、次のように代表評価値を修整する。即ち、画面
左下半分に色割合重み成分が存在するときには左下の代
表評価値を上げ（Ｓ９０，Ｓ９１）、画面右下半分に色
割合重み成分が存在するときには右下の代表評価値を上
げ（Ｓ９２，Ｓ９３）、画面右上半分に色割合重み成分
が存在するときには右上の代表評価値を上げる（Ｓ９
４，Ｓ９５）。そして、左下の代表評価値、右下の代表
評価値及び／又は右上の代表評価値の修整（Ｓ９１，Ｓ
９３，Ｓ９５）に応じて、相対的に左上の主代表評価値
を修整する（Ｓ９６）。

【００３７】主代表領域が画面右上半分である場合（Ｓ
９７）、次のように代表評価値を修整する。即ち、画面
右下半分に色割合重み成分が存在するときには右下の代
表評価値を上げ（Ｓ９８，Ｓ９９）、画面左下半分に色
割合重み成分が存在するときには左下の代表評価値を上
げ（Ｓ１００，Ｓ１０１）、画面左上半分に色割合重み
成分が存在するときには左上の代表評価値を上げる（Ｓ
１０２，Ｓ１０３）。そして、右下の代表評価値、左下
の代表評価値及び／又は左上の代表評価値の修整（Ｓ９
９，Ｓ１０１，Ｓ１０３）に応じて、相対的に左上の主
代表評価値を修整する（Ｓ１０４）。

【００３８】主代表領域が画面右下半分である場合（Ｓ
１０５）、次のように代表評価値を修整する。即ち、画
面右上半分に色割合重み成分が存在するときには右上の
代表評価値を上げ（Ｓ１０６，Ｓ１０７）、画面左下半
分に色割合重み成分が存在するときには左下の代表評価
値を上げ（Ｓ１０８，Ｓ１０９）、画面左上半分に色割
合重み成分が存在するときには左上の代表評価値を上げ
る（Ｓ１１０，Ｓ１１１）。そして、右上の代表評価
値、左下の代表評価値及び／又は左上の代表評価値の修
整（Ｓ１０７，Ｓ１０９，Ｓ１１１）に応じて、相対的
に右下の主代表評価値を修整する（Ｓ１１２）。

【００３９】主代表領域が画面右下半分でもない場合
（Ｓ１０５）、即ち、全ての部分が主代表領域になって
いる場合、又は、主代表領域が設定されていない場合、
４分割画面のそれぞれに均等な代表評価値を設定する
（Ｓ１１３）。

【００４０】図１３及び図１４に示すフローチャートで
は、画面を４分割して代表領域を抽出しているが、代表
領域選定装置１２と同様に、分割数により評価率評価対
象領域サイズを調整できる。

【００４１】代表領域選定装置１２が図１０に示すフロ
ーチャートに従って代表領域を選定し、代表率評価装置
１４が図１３及び図１４に示すフローチャートに従って
代表評価率を算出すると、縮小装置１６が、４分割面の
各代表評価率に応じた縮小率で各分割画面の画像を縮小
（間引き）する。

【００４２】図１５は、図１０、図１３及び図１４に示
すフローチャートによる処理例である。図１５（Ａ）に
示す入力画像に対し、代表領域選定装置１２が画面全体
を主代表領域に選定した場合、図１５（Ｂ）に示すよう
に、代表率評価装置１４が、各領域に同じ代表評価値を
設定する。縮小装置１６は、図１５（Ｃ）に示すよう
に、各部分の代表評価率に応じて各部分を均等に縮小
（間引き）する。この結果、図１５（Ｄ）に示すよう
に、画像全体を均等に縮小したサムネイル画像が作成さ
れる。

【００４３】図１５では、画面が４分割されているが、
５分割以上してもよい。分割数を増減することで、縮小
率の変化段階数を調整できる。

【００４４】図１６は、図１０、図１３及び図１４に示
すフローチャートによる別の処理例を示す。図１６
（Ａ）に示すような入力映像に対し、代表領域選定装置
１２が右下半分を主代表領域に選定した場合、図１６
（Ｂ）に示すように、代表率評価装置１４が主代表領域
以外の代表評価率を求める。右下半分以外の評価率が最
小なので、縮小装置１６は、図１６（Ｃ）に示すよう
に、求められた代表評価率に応じて右下半分だけを抽出
し、目標の画面サイズに縮小する。この結果、図１６
（Ｄ）に示すように、キーポイントと認識される右下半
分のみを含むサムネイル画像が生成される。

【００４５】図１０〜図１６の場合も、表示装置１８
は、縮小装置１６により生成されたサムネイル画像を表
示する。記録装置２０は、映像入力装置１０から出力さ
れる画像と、縮小装置１６から出力される対応するサム
ネイル画像を関連付けて又は１ファイルとして記録媒体
に記録する。

【００４６】以上、説明したように、入力画像の色相分
布により画像認識し、代表部分を選定し、各部分の縮小
率を変更することにより、主要な部分を大きく表示する
サムネイル画像を作成できる。画像内容に応じて、画像
全体を均等に縮小するサムネイル画像から、画像全体を
表示しつつ主要部分を大きめに表示するサムネイル画
像、主要部分のみを表示するサムネイル画像までを任意
に選択的に作成可能になり、内容判別が格段に容易にな
る。

【００４７】（第３実施例）図１７乃至図２０は、代表
領域選定装置１２の第３の動作フローチャートを示す。

【００４８】入力画像の輝度分布を判断し、画像認識す
る（Ｓ１２１）。各輝度がどの程度出現しているかを重
みとして算出する（Ｓ１２２）。重みは、輝度範囲と出
現回数で決定されるので、例えば、一定輝度が多数分布
しているか、又は高い輝度がある場合、重みが上がる。

【００４９】画面右上半分に輝度重みピークが存在する
場合（Ｓ１２３）、画面右上半分を更に４分割したそれ
ぞれの部分について輝度重みピークの有無を判別し、代
表領域を抽出する。即ち、画面右上半分の１／４右上半
分に輝度重みピークが存在する場合（Ｓ１２４）、画面
右上半分の１／４右上半分を代表領域として抽出する
（Ｓ１２５）。画面右上半分の１／４左上半分に輝度重
みピークが存在する場合（Ｓ１２６）、画面右上半分の
１／４左上半分を代表領域として抽出する（Ｓ１２
７）。画面右上半分の１／４右下半分に輝度重みピーク
が存在する場合（Ｓ１２８）、画面右上半分の１／４右
下半分を代表領域として抽出する（Ｓ１２９）。画面右
上半分の１／４右下半分に輝度重みピークが存在しない
場合（Ｓ１２８）、画面右上半分の１／４左下半分を代
表領域として抽出する（Ｓ１３０）。

【００５０】画面右下半分に輝度重みピークが存在する
場合（Ｓ１３１）、画面右下半分を更に４分割したそれ
ぞれの部分について輝度重みピークの有無を判別し、代
表領域を抽出する。即ち、画面右下半分の１／４右上半
分に輝度重みピークが存在する場合（Ｓ１３２）、右下
半分の１／４右上半分を代表領域として抽出する（Ｓ１
３３）。画面右下半分の１／４左上半分に輝度重みピー
クが存在する場合（Ｓ１３４）、右下半分の１／４左上
半分を代表領域として抽出する（Ｓ１３５）。画面右下
半分の１／４右下半分に輝度重みピークが存在する場合
（Ｓ１３６）、画面右下半分の１／４右下半分を代表領
域として抽出する（Ｓ１３７）。画面右下半分の１／４
右下半分に輝度重みピークが存在しない場合（Ｓ１３
６）、画面右下半分の１／４左下半分を代表領域として
抽出する（Ｓ１３８）。

【００５１】画面左上半分に輝度重みピークが存在する
場合（Ｓ１３９）、画面左上半分を更に４分割したそれ
ぞれの部分について輝度重みピークの有無を判別し、代
表領域を抽出する。即ち、画面左上半分の１／４右上半
分に輝度重みピークが存在する場合（Ｓ１４０）、画面
左上半分の１／４右上半分を代表領域として抽出する
（Ｓ１４１）。画面左上半分の１／４左上半分に輝度重
みピークが存在する場合（Ｓ１４２）、画面左上半分の
１／４左上半分を代表領域として抽出する（Ｓ１４
３）。画面左上半分の１／４右下半分に輝度重みピーク
が存在する場合（Ｓ１４４）、画面左上半分の１／４右
下半分を代表領域として抽出する（Ｓ１４５）。画面左
上半分の１／４右下半分に輝度重みピークが存在しない
場合（Ｓ１４４）、画面左上半分の１／４左下半分を代
表領域として抽出する（Ｓ１４６）。

【００５２】画面左下半分に輝度重みピークが存在する
場合（Ｓ１４７）、画面左下半分を更に４分割したそれ
ぞれの部分について輝度重みピークの有無を判別し、代
表領域を抽出する。即ち、画面左下半分の１／４右上半
分に輝度重みピークが存在する場合（Ｓ１４８）、画面
左下半分の１／４右上半分を代表領域として抽出する
（Ｓ１４９）。画面左下半分の１／４左上半分に輝度重
みピークが存在する場合（Ｓ１５０）、画面左下半分の
１／４左上半分を代表領域として抽出する（Ｓ１５
１）。画面左下半分の１／４右下半分に輝度重みピーク
が存在する場合（Ｓ１５２）、画面左下半分の１／４右
下半分を代表領域として抽出する（Ｓ１５３）。画面左
下半分の１／４右下半分に輝度重みピークが存在しない
場合（Ｓ１５２）、画面左下半分の１／４左下半分を代
表領域として抽出する（Ｓ１５４）。

【００５３】画面左下半分に輝度重みピークが存在しな
い場合（Ｓ１４７）、画面全体を代表領域として抽出す
る（Ｓ１５５）。

【００５４】図２１に示すように、夜の自動車を撮影し
た画像では、輝度重みピークが、画面右上半分の１／４
左下半分に輝度重みピークが存在し、画面右上半分の１
／４左下半分が代表領域として抽出される。図２２に示
すように昼間の自動車走行場面では、１６分割の各部分
の輝度に差が無いので、全体が代表領域として抽出され
る。

【００５５】図１７乃至図２０に示すフローチャートで
は、画面を１６分割して代表領域を抽出しているが、分
割数を増減することで重み検出範囲及び代表領域サイズ
を調整できることは明らかである。

【００５６】図２３及び図２４は、図１７乃至図２０に
示すフローチャートに従う代表領域選定装置１２の動作
に対応する代表率評価装置１４の動作フローチャートを
示す。

【００５７】主代表領域が画面右上半分の左下１／４で
ある場合（Ｓ１６１）、画面右上半分の左上１／４に輝
度重み成分が存在するかどうかを調べ（Ｓ１６２）、存
在するときには、その重みに応じて右上半分の左上１／
４の代表評価値を上げる（Ｓ１６３）。画面右上半分の
右下１／４に輝度重み成分が存在する場合（Ｓ１６
４）、その重みに応じて右上半分の右下１／４の代表評
価値を上げる（Ｓ１６５）。画面右上半分の右上１／４
に輝度重み成分が存在する場合（Ｓ１６６）、その重み
に応じて右上半分の右上１／４の代表評価値を上げる
（Ｓ１６７）。

【００５８】画面右下半分の左下１／４に輝度重み成分
が存在する場合（Ｓ１６８）、その重みに応じて右下半
分の左下１／４の代表評価値を上げる（Ｓ１６９）。画
面右下半分の左上１／４に輝度重み成分が存在する場合
（Ｓ１７０）、その重みに応じて右下半分の左上１／４
の代表評価値を上げる（Ｓ１７１）。画面右下半分の右
下１／４に輝度重み成分が存在する場合（Ｓ１７２）、
その重みに応じて右下半分の右下１／４の代表評価値を
上げ（Ｓ１７３）。画面右下半分の右上１／４に輝度重
み成分が存在する場合（Ｓ１７４）、その重みに応じて
右下半分の右上１／４の代表評価値を上げる（Ｓ１７
５）。

【００５９】画面左上半分の左下１／４に輝度重み成分
が存在する場合（Ｓ１７６）、その重みに応じて左上半
分の左下１／４の代表評価値を上げる（Ｓ１７７）。画
面左上半分の左上１／４に輝度重み成分が存在する場合
（Ｓ１７８）、その重みに応じて左上半分の左上１／４
の代表評価値を上げる（Ｓ１７９）。画面左上半分の右
下１／４に輝度重み成分が存在する場合（Ｓ１８０）、
その重みに応じて左上半分の右下１／４の代表評価値を
上げる（Ｓ１８１）。画面左上半分の右上１／４に輝度
重み成分が存在する場合（Ｓ１８２）、その重みに応じ
て左上半分の右上１／４の代表評価値を上げる（Ｓ１８
３）。

【００６０】画面左下半分の左下１／４に輝度重み成分
が存在する場合（Ｓ１８４）、その重みに応じて左下半
分の左下１／４の代表評価値を上げる（Ｓ１８５）。画
面左下半分の左上１／４に輝度重み成分が存在する場合
（Ｓ１８６）、その重みに応じて左下半分の左上１／４
の代表評価値を上げる（Ｓ１８７）。画面左下半分の右
下１／４に輝度重み成分が存在する場合（Ｓ１８８）、
その重みに応じて左下半分の右下１／４の代表評価値を
上げる（Ｓ１８９）。画面左下半分の右上１／４に輝度
重み成分が存在する場合（Ｓ１９０）、その重みに応じ
て左下半分の右上１／４の代表評価値を上げる（１９
１）。

【００６１】最後に、左上４画面の代表評価値、左下４
画面の代表評価値、右下４画面の代表評価値及び右上３
画面の代表評価値を上げた値だけ相対的に、右上半分の
左下１／４の主代表評価値を下げる（Ｓ１９２）。

【００６２】画面右上半分の左下１／４に輝度重みピー
クが存在しない場合（Ｓ１６１）、主代表領域以外の領
域の代表評価値を同様の手順で決定する。

【００６３】図２３及び図２４に示すフローチャートで
は画面を１６分割しているが、代表領域選定装置１２と
同様に、分割数を増減することで、評価率評価対象領域
のサイズを調整できる。

【００６４】代表領域選定装置１２が図７乃至図２０に
示すフローチャートに従って代表領域を選定し、代表率
評価装置１４が図２３及び図２４に示すフローチャート
に従って代表評価率を算出すると、縮小装置１６が、１
６分割面の各代表評価率に応じた縮小率で各分割画面の
画像を縮小（間引き）する。

【００６５】図２５は、図７乃至図２０、図２３及び図
２４に示すフローチャートによる処理例である。図２５
（Ａ）に示す入力画像に対し、代表領域選定装置１２
が、右上半分の左下１／４を主代表領域に選定した場
合、図２５（Ｂ）に示すように、代表率評価装置１４
が、各領域に代表評価値を設定する。縮小装置１６は、
得られた代表評価値に応じて、図２５（Ｃ）に示すよう
に、両外側の２行をカットし、右上半分左下１／４、右
下半分左上１／４、左上半分右下１／４及び左下半分右
上１／４が大きく、右上半分左上１／４と左上半分右上
１／４が若干大きくなるように、目標のサムネイル画面
サイズに対して各部分の縮小率を決定して、縮小する。
この結果、図２５（Ｄ）に示すように、自動車部分を主
に含むサムネイル画像が作成される。

【００６６】図２６は、図１７乃至図２０、図２３及び
図２４に示すフローチャートによる別の処理例である。
図２６（Ａ）に示す入力画像に対し、代表領域選定装置
１２が、画面全体を主代表領域に選定した場合、図２６
（Ｂ）に示すように、代表率評価装置１４が、各領域に
同じ代表評価値を設定する。縮小装置１６は、得られた
代表評価値に応じて、図２６（Ｃ）に示すように、各部
分を均等に縮小する。この結果、図２６（Ｄ）に示すよ
うに、画面全体が均等に縮小されたサムネイル画像が作
成される。

【００６７】図２５及び図２６では、画面を１６分割
し、その各部分で縮小率を決定しているが、代表領域選
定装置１２及び代表率評価装置１４と同様に、分割数を
増減することにより、縮小率の変化段階数を調整でき
る。

【００６８】図１７〜図２６の場合も、表示装置１８
は、縮小装置１６により生成されたサムネイル画像を表
示する。記録装置２０は、映像入力装置１０から出力さ
れる画像と、縮小装置１６から出力される対応するサム
ネイル画像を関連付けて又は１ファイルとして異なる又
は同じ記録媒体に記録する。

【００６９】以上、説明したように、入力画像の輝度分
布により画像認識し、代表部分を選定し、各部分の縮小
率を変更することにより、主要な部分を大きく表示する
サムネイル画像を作成できる。画像内容に応じて、画像
全体を均等に縮小するサムネイル画像から、画像全体を
表示しつつ主要部分を大きめに表示するサムネイル画
像、主要部分のみを表示するサムネイル画像までを任意
に選択的に作成可能になり、内容判別が格段に容易にな
る。

【００７０】（第４実施例）図２７は、代表領域選定装
置１２の第４動作フローチャートを示す。入力映像の音
声分布により映像認識する（Ｓ２０１）。各周波数がど
の程度出現しているかを重みとして算出する（Ｓ２０
２）。その重みは、周波数と音圧で決まるので、例え
ば、同じ周波数が多数集中しているか、又は、同じ周波
数の音圧が大きい場合、重みが上がる。図２８に示す画
像例のように、Ｓ２０２で求めた重みのピークが画面右
半分に存在する場合（Ｓ２０３）、画面の右半分を代表
領域として抽出し（Ｓ２０４）、Ｓ２０２で求めた重み
のピークが画面左半分に存在する場合（Ｓ２０５）、画
面の左半分を代表領域として抽出し（Ｓ２０６）、図２
９に示す画像のように、画面のどちらにも重みのピーク
が存在しなければ（Ｓ２０５）、画面全体を代表領域と
する（Ｓ２０７）。

【００７１】図２７に示すフローチャートでは、画面全
体を左右の２つの領域に分割して代表領域を抽出してい
るが、分割数を増減することにより、重み検出範囲及び
代表領域サイズを調整できる。

【００７２】図３０は、図２７に示すフローチャートに
対応する代表率評価装置１４の動作フローチャートを示
す。代表領域選定装置１２で選定された主代表領域が画
面右半分である場合、即ち、音声重みピークが画面の右
半分に位置する場合（Ｓ２１１）、画面左半分に音声重
み成分が存在するときには（Ｓ２１２）、その重みに応
じて左半分の代表評価値を上げ（Ｓ２１３）、左半分の
代表評価値を上げた値だけ相対的に右半分の主代表評価
値を下げる（Ｓ２１４）。

【００７３】代表領域選定装置１２で選定された主代表
領域が画面左半分である場合、即ち、音声重みピークが
画面の左半分に位置する場合（Ｓ２１５）、画面右半分
に音声重み成分が存在するときには（Ｓ２１６）、その
重みに応じて右半分の代表評価値を上げ（Ｓ２１７）、
右半分の代表評価値を上げた値だけ相対的に左半分の主
代表評価値を下げる（Ｓ２１８）。

【００７４】音声重みピークが画面の右半分及び左半分
のどちらにも存在しない場合、即ち、画面全体が主代表
領域である場合（Ｓ２１５）、左右の分割画面に均等な
代表評価値を設定する（Ｓ２１９）。

【００７５】図２７〜図３０では、画面を２分割して代
表領域を抽出しているが、代表領域選定装置１２と同様
に、分割数を増減することで評価率評価対象領域のサイ
ズを調整できる。

【００７６】代表領域選定装置１２が図２７に示すフロ
ーチャートに従って代表領域を選定し、代表率評価装置
１４が図３０に示すフローチャートに従って代表評価率
を算出すると、縮小装置１６が、２分割面の各代表評価
率に応じた縮小率で各分割画面の画像を縮小（間引き）
する。

【００７７】図３１は、図２７及び図３０に示すフロー
チャートによる処理例である。図３１（Ａ）に示す入力
画像に対し、代表領域選定装置１２が、右半分を主代表
領域に選定した場合、代表率評価装置１４が、残る右半
分の代表評価値を評価する。縮小装置１６は、得られた
代表評価値に応じて、右半分が大きく、左半分が小さく
なるようにサムネイル画面サイズに対する縮小率を設定
し、各部分を縮小する。この結果、図３１（Ｂ）に示す
ように、右半分を大きく含むサムネイル画像が作成され
る。

【００７８】図３２は、図２７及び図３０に示すフロー
チャートによる別の処理例である。図３２（Ａ）に示す
入力画像に対し、代表領域選定装置１２が、画面全体を
主代表領域に選定した場合、代表率評価装置１４が、右
半分及び左半分に均等な代表評価値を設定する。縮小装
置１６は、得られた代表評価値に応じて、画面全体を均
等にサムネイル画面サイズに縮小する。この結果、図３
２（Ｂ）に示すように全体を均等に縮小したサムネイル
画像が作成される。

【００７９】図３１及び図３２では、画面を２分割して
いるが、個々に縮小率を設定するが、代表領域選定装置
１２及び代表率評価装置１４と同様に、分割数を増減す
ることにより縮小率の変化段階数を調整できる。

【００８０】図２７〜図３２の場合も、表示装置１８
は、縮小装置１６により生成されたサムネイル画像を表
示する。記録装置２０は、映像入力装置１０から出力さ
れる画像と、縮小装置１６から出力される対応するサム
ネイル画像を関連付けて又は１ファイルとして異なる又
は同じ記録媒体に記録する。

【００８１】以上、説明したように、入力画像の取り込
み時に同時に取り込まれる音声の分布により輝度分布に
より画像認識し、代表部分を選定し、各部分の縮小率を
変更することにより、主要な部分を大きく表示するサム
ネイル画像を作成できる。画像内容に応じて、画像全体
を均等に縮小するサムネイル画像から、画像全体を表示
しつつ主要部分を大きめに表示するサムネイル画像、主
要部分のみを表示するサムネイル画像までを任意に選択
的に作成可能になり、内容判別が格段に容易になる。

【００８２】（第５実施例）入力画像の撮影条件（被写
界深度など）により主代表領域を認識又は選定すること
もできる。代表領域選定装置１２の動作は、図２に示す
動作フローチャートと同様である。代表率評価装置１４
の動作は、図５及び図６に示す動作フローチャートとほ
とんど同じである。但し代表評価値を修整する場合（Ｓ
２３、Ｓ２５、Ｓ２７、Ｓ３１、Ｓ３３、Ｓ３５、Ｓ３
９、Ｓ４１、Ｓ４３、Ｓ４７、Ｓ４９及びＳ５１）に、
被写界深度によって増加量を変更する。

【００８３】図３３は、本実施例の処理例を示す。図３
３（Ａ）に示す入力画像の取り込み時に被写界深度が深
い場合、図３３（Ｂ）に示すように、代表値を上げて全
体に均等になる方向で縮小率を決定する。被写界深度が
浅い場合、図３３（Ｃ）に示すように、代表値を上げず
に代表領域が拡大される方向で縮小率を決定する。

【００８４】以上、説明したように、入力映像の画像取
り込み条件により代表部分を選定し、各部の縮小率を決
定することで、主要な部分を大きく表示するサムネイル
画像を作成できる。画像内容に応じて、画像全体を均等
に縮小するサムネイル画像から、画像全体を表示しつつ
主要部分を大きめに表示するサムネイル画像、主要部分
のみを表示するサムネイル画像までを任意に選択的に作
成可能になり、内容判別が格段に容易になる。

【００８５】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、入力画像から画像内容に応じて代
表的に表示する領域（主代表領域）を選択し、代表領域
の代表率を評価し、代表率に応じて画像内の各部の大き
さを変化させたサムネイル画像を作成するので、そのサ
ムネイル画像により、縮小率の低い領域で特徴を把握
し、縮小率の高い領域も併せた情報で画像の記録内容の
大まかな識別が可能になる。

【００８６】画像取り込み時に付随する音声内容に応じ
て主代表領域を選択しても良い。画像取り込み条件に応
じて主代表領域を選択しても良い。

【図面の簡単な説明】

【図１】 本発明の一実施例の概略構成ブロック図であ
る。

【図２】 代表領域選定装置１２の動作フローチャート
である。

【図３】 入力画像例である。

【図４】 入力画像例である。

【図５】 代表率評価装置１４の第１の動作フローチャ
ートの一部である。

【図６】 代表率評価装置１４の第１の動作フローチャ
ートの一部である。

【図７】 縮小処理の画像例である。

【図８】 図７に示す例での画像の各部の縮小の様子
と、最終的なサムネイル画像との関係を示す。

【図９】 縮小処理の別の画像例である。

【図１０】 代表領域選定装置１２の第２動作フローチ
ャートである。

【図１１】 入力画像例である。

【図１２】 別の入力画像例である。

【図１３】 図１０に対応する代表率評価装置１４の動
作フローチャートの一部である。

【図１４】 図１０に対応する代表率評価装置１４の動
作フローチャートの一部である。

【図１５】 図１０、図１３及び図１４に示すフローチ
ャートによる処理例である。

【図１６】 図１０、図１３及び図１４に示すフローチ
ャートによる別の処理例である。

【図１７】 代表領域選定装置１２の第３動作フローチ
ャートの一部である。

【図１８】 代表領域選定装置１２の第３動作フローチ
ャートの一部である。

【図１９】 代表領域選定装置１２の第３動作フローチ
ャートの一部である。

【図２０】 代表領域選定装置１２の第３動作フローチ
ャートの一部である。

【図２１】 入力画像例である。

【図２２】 別の入力画像例である。

【図２３】 図１７乃至図２０に示すフローチャートに
対応する代表率評価装置１４の動作フローチャートの一
部である。

【図２４】 図１７乃至図２０に示すフローチャートに
対応する代表率評価装置１４の動作フローチャートの一
部である。

【図２５】 図７乃至図２０、図２３及び図２４に示す
フローチャートによる処理例である。

【図２６】 図１７乃至図２０、図２３及び図２４に示
すフローチャートによる別の処理例である。

【図２７】 代表領域選定装置１２の第４動作フローチ
ャートである。

【図２８】 入力画像例である。

【図２９】 別の入力画像例である。

【図３０】 図２７に示すフローチャートに対応する代
表率評価装置１４の動作フローチャートである。

【図３１】 図２７及び図３０に示すフローチャートに
よる処理例である。

【図３２】 図２７及び図３０に示すフローチャートに
よる別の処理例である。

【図３３】 撮影条件により代表領域を選定する場合の
処理例である。

【符号の説明】

１０：映像入力装置 １２：代表領域選定装置 １４：代表率評価装置 １６：縮小装置 １８：表示装置 ２０：記録装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2C087 AA18 BA03 BD06 BD07 BD49 CA02 5B057 AA11 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD07 CE08 CH01 5C076 AA01 AA19 AA22 AA36 BA06 BB06 CA02 CB05

Claims (15)

【特許請求の範囲】
1. 【請求項１】 第１の画像データから第１の画像データ
   より小さなサイズの第２の画像データを作成する画像処
   理装置であって、 当該第１の画像から代表部分を検出する代表部分検出手
   段と、 当該代表部分検出手段の検出結果に従い、当該第１の画
   像を区分する複数の領域のそれぞれについて表示評価値
   を決定する評価値決定手段と、 当該評価値決定手段により決定される当該表示評価値に
   従い当該第１の画像の当該複数の領域の各部分を縮小
   し、当該第２の画像データを生成する縮小手段とを具備
   することを特徴とする画像処理装置。
2. 【請求項２】 当該代表部分検出手段は、当該第１の画
   像データを所定の比較用画像パターンと比較することに
   より、当該代表部分を検出する請求項１に記載の画像処
   理装置。
3. 【請求項３】 当該代表部分検出手段は、当該第１の画
   像データをその色相分布により当該代表部分を検出する
   請求項１に記載の画像処理装置。
4. 【請求項４】 当該代表部分検出手段は、当該第１の画
   像データをその輝度分布により当該代表部分を検出する
   請求項１に記載の画像処理装置。
5. 【請求項５】 当該代表部分検出手段は、当該第１の画
   像データに付随して入力される音声に従い当該代表部分
   を検出する請求項１に記載の画像処理装置。
6. 【請求項６】 当該代表部分検出手段は、当該第１の画
   像データの入力条件に従い当該代表部分を検出する請求
   項１に記載の画像処理装置。
7. 【請求項７】 第１の画像データから第１の画像データ
   より小さなサイズの第２の画像データを作成する画像処
   理方法であって、 当該第１の画像から代表部分を検出する代表部分検出ス
   テップと、 当該代表部分検出ステップの検出結果に従い、当該第１
   の画像を区分する複数の領域のそれぞれについて表示評
   価値を決定する評価値決定ステップと、 当該評価値決定ステップにより決定される当該表示評価
   値に従い当該第１の画像の当該複数の領域の各部分を縮
   小し、当該第２の画像データを生成する縮小ステップと
   を具備することを特徴とする画像処理方法。
8. 【請求項８】 当該代表部分検出ステップは、当該第１
   の画像データを所定の比較用画像パターンと比較するこ
   とにより、当該代表部分を検出する請求項７に記載の画
   像処理方法。
9. 【請求項９】 当該代表部分検出ステップは、当該第１
   の画像データをその色相分布により当該代表部分を検出
   する請求項７に記載の画像処理方法。
10. 【請求項１０】 当該代表部分検出ステップは、当該第
    １の画像データをその輝度分布により当該代表部分を検
    出する請求項７に記載の画像処理方法。
11. 【請求項１１】 当該代表部分検出ステップは、当該第
    １の画像データに付随して入力される音声に従い当該代
    表部分を検出する請求項７に記載の画像処理方法。
12. 【請求項１２】 当該代表部分検出ステップは、当該第
    １の画像データの入力条件に従い当該代表部分を検出す
    る請求項７に記載の画像処理方法。
13. 【請求項１３】 第１の画像データから前記第１の画像
    データよりも小さなサイズの第２の画像データを生成す
    る画像処理装置であって、 前記第１の画像データの１画面を複数の領域に分割し、
    前記分割された複数の領域の画像データを用いて各領域
    の評価値を決定する評価値決定手段と、 前記評価値決定手段により決定された前記複数の領域の
    評価値に基づいて前記複数の領域の画像データを縮小
    し、前記第２の画像データを生成する縮小手段とを備え
    ることを特徴とする画像処理装置。
14. 【請求項１４】 前記複数の領域は全て同じサイズであ
    ることを特徴とする請求項１４に記載の画像処理装置。
15. 【請求項１５】 前記縮小手段は、前記複数の領域の評
    価値に基づいて前記複数の領域毎に縮小サイズを決定す
    ることを特徴とする請求項１４に記載の画像処理装置。