JP2005057623A - 画像データ処理装置 - Google Patents

Abstract

【課題】 類似の画像を検出し、撮影者に知らせることが出来ると共に、画像の整理の際にも役立つ画像データ処理装置を提供する。
【解決手段】 画像処理部１５において、画像メモリ２２に格納された基準画像あるいはその他の方法で指定された基準画像と、画像メモリ２２に格納されている他の画像とのマッチングを背景と前景に分けて行い、全体としての類似度値を演算する。ユーザには、この類似度値に基づいて、基準画像に類似する画像を提示し、ユーザに画像の削除等をさせる。
【選択図】 図１

Description

本発明は、画像データ処理装置に関する。

今日、撮像素子の進歩や、デジタル処理回路の小型化の進歩などが手伝って、電子カメラが一般に広く普及している。電子カメラで撮影した画像は、電子データであるため、従来の銀塩カメラの場合と違い、パソコンに取り込んで編集したり、ファイルとして整理したり、画像そのものに手を加えるなどの処理が手軽に行えるという利点を有している。また、撮像素子の解像度の向上や、プリンタの性能の向上も相まって、印刷画像も、一般に使用する限りにおいては銀塩カメラに劣らぬ画像品質を提供できるようなった。このような事情から、今後、更に電子カメラの使用が広まると考えられ、画像が電子データである利点を最大限生かした、使いやすい電子カメラを提供することが重要となってくる。

このように、一般に電子カメラが普及すると、さまざまな用途に電子カメラが使用されることになるが、通常、同様の画像は、１回、あるいは、撮影失敗も含めて、せいぜい数回撮影すれば十分である。しかし、画像を撮影する際に、すでに撮影済みの画像と類似した画像を何枚も取ってしまうことがある。このような場合、撮影した画像が無駄になる。

また、撮影後にあっても撮影画像の枚数が多いと、撮影済みの画像から所望の画像を選び出すのに煩雑である。更に、アルバムとして整理する場合に画像を選択して分類するのに手間がかかる。
特許文献１は撮影順や露出値順などで画像を分類分けするものであるが、上記問題を解消するものではない。
特開２００１−２８５６８９号公報

従来の電子カメラにおいては、類似の画像を何枚も撮影してしまい、無駄に撮影を繰り返していることを、自分で気づかない限り、同じことを繰り返すと言う問題があった。
また、類似の画像を何枚も撮影してしまった場合、後に撮影画像を整理する場合に、撮影画像の枚数が多すぎるために、整理に手間取ると言う弊害が生じる。

本発明の課題は、類似の画像を検出し、撮影者に知らせることが出来ると共に、画像の整理の際にも役立つ画像データ処理装置を提供することである。

本発明の画像データ処理装置は、指定された基準画像と撮影された画像との類似の程度を算出する類似度算出手段と、該類似の程度に従って、該基準画像に類似した該画像を出力する出力手段と、該出力手段の出力を受けて、ユーザに、該画像の編集を行わせる編集手段とを備えることを特徴とする。

本発明においては、基準画像との類似の程度を既に撮影した各画像に対して算出し、類似の程度に基づいて、出力するので、ユーザが類似の画像を整理しやすくなると共に、画像の撮影時においても、類似の画像を余分に多く撮影することを防止することが出来る。

本発明によれば、撮影者に類似の画像を何枚も撮影していることを知らせることが出来、類似の画像が必要でない場合に、不要に多くの類似画像を撮影してしまうことを防止することが出来る。また、撮影画像の中に、不要な類似画像がなくなるために、後の画像の整理がしやすくなる。

本発明の実施形態においては、これから撮影しようとする画像が既に撮影されて媒体に記憶されている画像と類似していれば、類似している画像をガイダンスとして表示する。
また、撮影者に類似する画像が既に撮影済みであることを報知したり、撮影した画像との類似個所／非類似個所を識別して表示する。更に、類似している画像の枚数をガイダンスとして表示する。

例えば、シャッターを半押しした状態で、ファインダー内の、撮影しようとする画像を取り込む。取り込んだ画像と撮影済みの画像の類似度を検索する。類似度が高い画像がある場合には、類似度の高い画像があることを撮影者に報知する。
報知の例としては、その画像を表示する、音声や音で警告する、類似する画像の枚数を表示するなどが考えられる。

また、その他の機能としては、類似度に基づいて検索された画像を任意に指定して削除できるようにする。あるいは、所望する画像を基準画像として任意に指定して、この指定された画像と類似度の高い画像を検索して画像を分類付けするなどの機能を設けることが出来る。

基準画像は、既に記憶されている画像の中から任意に選択指定する。あるいは、基準画像となる画像をタッチパネルなどで、表示画面上に描画する。
そこで、本発明の実施形態では、画像データのファイルから画像を読み出し、類似度に応じて類似度データを付与する。類似度データを変更できるようにしてもよい。また、類似検索された画像群にタイトルつけなどを行い、管理できるようにしてもよい。

図１は、本発明の実施形態の画像データ処理装置の全体ブロック図である。
自動焦点機能を有したレンズ１０を通って結像した映像は、ＣＣＤ１１によって電気信号に変換される。レンズ１０の自動焦点機能は、撮像制御部１４によって制御される。ＣＣＤ１１によって得られた電気信号を撮像プロセス１２が画像信号として処理し、Ａ／Ｄ変換器１３によってアナログ信号からデジタル信号に変換する。デジタル信号となった画像データは、バスライン２３に送出され、インターフェース２１を介して、画像メモリ２２に格納される。撮像制御部１４は、ＣＣＤ１１、撮像プロセス１２を制御して、画像データが正しく得られるように、画像取得手順を管理する。

撮像制御部１４への指示は、入力制御部１６に接続された入力部１７を使って、撮影者が入力する。入力部１７は、シャッタボタンやファンクションボタンなどである。画像メモリ２２に格納された画像データは、画像処理部１５によって画像処理される。画像処理部１５は、画像処理用メモリ１９を使って、画像データの色調整や輝度調整などを行う。更に、本発明の実施形態では、基準画像と撮影画像との比較も行う。画像処理部１５は、撮像制御部１４からの指示により動作する。画像処理部１５の処理の結果、画像の基準画像に対する類似度などが得られた場合には、これらの情報と共に、画像を画像メモリ２２に格納する。画像処理部１５は、上記のように、本発明の実施形態の処理を実行するものであり、プログラムを実行するための演算部と、プログラムを格納する格納部とを有する。

画像検索部２０は、入出力制御部１６を介した入力部１７からの指示により、画像メモリ２２に格納される画像の検索を行う。撮影された画像データは、一旦画像メモリ２２に格納された後、入出力制御部１６を介して、液晶表示装置などの表示部１８に表示される。また、画像処理部１５の処理結果や、画像検索部２０の検索結果なども表示部１８に表示される。これにより、撮影者は、画像の処理結果や画像の検索結果などを知ることが出来る。表示部１８としては、液晶表示装置が代表的であるが、その他に、撮影者に情報を通知する手段として、スピーカや点滅用フォトダイオードなどを含めることも可能である。

図２は、画像メモリ２２に格納される画像データの構成例を示す図である。
同図では、画像メモリ２２の横一列が１つの画像データのレコードを示している。各画像データのレコードは、画像データのインデックス３０によって識別される。各インデックス３０に付随して画像データ３１が格納され、画像データ３１を撮影したときの電子カメラのホワイトバランス、シャッタースピードなどの属性情報３２が格納される。更に、本発明の実施形態においては、前景の類似度３３、背景の類似度３４、全体の類似度３５、基準画像のインデックス３６などが画像データに付随して格納される。

本発明の実施形態においては、基準画像のインデックスで示される基準画像データと、当該画像データのインデックスで示される画像データとの類似度を算出する。類似度を算出する際には、画像を前景と背景に分離し、基準画像と当該画像データの前景同士とを比較した結果の類似度及び背景同士を比較した結果の類似度を算出する。全体の類似度は、前景の類似度と背景の類似度との平均をとる方法や、前景と背景のそれぞれの値に対して、これらが所定の範囲に入っている場合に、全体の類似度として所定の値を与えるなどして計算する。前景と背景は、画像データを解析して画像の輪郭線が画像の中央など所定領域で比較的明瞭な部分を前景とし、その他を背景とする。もしくは、ユーザが表示された画像データの前景もしくは背景を指定しても良い。基準画像については、前景と背景の指定は予めされているものとする。画像データの前景もしくは背景を指定の際に、輪郭線を表示する為の処理を、画像処理部１５が行い、何通りかの輪郭線をユーザに提示し、ユーザがこれらの内から前景もしくは背景を指定しても良い。

類似度の計算は、指定された範囲内の基準画像データの画素値と比較対象の画像データの対応する画素値の差を計算し、これを比較対象範囲内の画素全てについて加算するなどの方法によって計算し、閾値を設けて、計算結果が閾値より大きいか否かに基づき、類似度が大きい、あるいは、小さいと設定する。

図３及び図４は、本発明の実施形態に従ったフローチャートである。
まず、ステップＳ１において、基準画像を取り込む。基準画像の取り込みの仕方としては、シャッターを半押しした状態で現在の画像を取り込む方法や、撮影済みの中から基準画像を指定する方法、入力パネルへ画像を描画するなどが考えられる。ここで、入力パネルは、電子カメラに外付けで接続するものでも良いし、電子カメラ自身に小型の入力パネルを取り付ける方法でも良い。

ステップＳ２において、前景の抽出を行う。ここで、前景にある物体の数、形、色、大きさなどを抽出する。前景の指定方法は前述した方法がある。また、物体の数、形、色、大きさなどは、従来の画像認識の方法を使用する。
ステップＳ３において、背景の抽出を行う。ここで、背景にある物体の形や色などを抽出する。背景の抽出方法も前述したとおりであり、物体の形や色などは従来の画像認識方法を使用する。

ステップＳ４において、既に撮影された画像データ３１を画像メモリ２２から読み出す。ステップＳ５において、読み出した画像データ３１から前景の抽出を行い、ステップＳ６において、基準画像の前景と対比する。ステップＳ７において、前景の画像の数、形、色、大きさが類似しているか判別し、類似している画像の数、形、色、大きさが所定値より高い場合に類似度が高いと判断する。ステップＳ７の判断がＮＯの場合には、ステップＳ８に進む。ステップＳ７の判断がＹｅｓの場合には、前景が類似しているとして、ステップＳ９において、類似度が高いことを示す類似度の値ｆ₁を画像メモリ２２にある対応する画像データのレコードに書き込む。ここで、基準画像のインデックスは、撮影済みの画像を基準画像とする場合は、基準画像になっている画像インデックス３０が、当該類似度が処理されている画像の基準画像のインデックス３６として画像メモリ２２に書き込まれる。また、シャッターを半押しした状態で現在の画像を取り込み基準画像とする場合は、基準画像は画像メモリ２２内の画像データ３１には無く現在の画像であるから、このことを示す例えば”ＦＦＦＦ”が、当該類似度が処理されている画像データ３１の基準画像のインデックス３６として画像メモリ２２に書き込まれる。そして、ステップＳ１１に進む。

ステップＳ７における判断がＮｏの場合には、ステップＳ８において、前景の画像の数、形が類似しているか判別し、類似している画像の数、形が所定値より高い場合に類似度が中程度であると判断する。ステップＳ８の判断がＮｏの場合には、ステップＳ１１にそのまま進む。ステップＳ８の判断がＹｅｓの場合には、ステップＳ１０において、画像メモリ２２へ、類似度が中程度であることを示す類似度値ｆ₂を書き込み、ステップＳ１１に進む。

ステップＳ１１においては、背景の抽出を行う。ステップＳ１２においては、画像メモリ２２から読み出され、前景の類似度の処理が行われた画像データ３１の背景と基準画像の背景とを比較し、類似度が高い部類に属するか否かを判断する。ステップＳ１２の判断がＮｏの場合には、ステップＳ１３に進む。ステップＳ１２において、背景の画像の形、色が類似しているか判別し、類似している画像の形、色が所定値より高い場合は、形、色が類似しているとして、ステップＳ１４において、画像メモリ２２へ、背景の類似度が大きいことを示す類似度値ｂ₁を書き込んで、ステップＳ１６に進む。

ステップＳ１３においては、背景の画像の形が類似しているか判別し、類似している画像の形が所定値より高い場合は類似度が中程度であるか否かを判断する。ステップＳ１３の判断がＮｏの場合には、そのままステップＳ１６に進む。ステップＳ１３の判断がＹｅｓの場合には、形が類似しているとして、ステップＳ１５において、画像メモリ２２へ類似度が中程度であることを示す類似度値ｂ₂を書き込んで、ステップＳ１６に進む。

ステップＳ１６においては、画像メモリ２２内の画像データ３１の全てについて処理が終了したか否かを判断し、終了していない場合には、ステップＳ４に戻る。ステップＳ１６の判断がＹｅｓの場合には、ステップＳ１７において、現在、基準画像に指定されている画像データのインデックスが画像メモリ２２内の基準画像のインデックス３６として記憶している画像データ３１を読み出す。そして、各画像の類似度の値をチェックし、高い順に全体の類似度３５としてｗ₁、ｗ₂・・・をそれぞれ付与する。全体の類似度の付与の仕方としては、以下の方法がある。シャッターを半押しした状態で現在の画像を取り込み基準画像とする場合は、基準画像のインデックス３６として”ＦＦＦＦ”が記憶されている画像データ３１を読出し、全体の類似度３３へ類似度を付与する。
前景と背景の類似度値 全体の類似度値
ｆ₁、ｂ₁ −−−−−−−−−−−−→ｗ₁
ｆ₁、ｂ₂ −−−−−−−−−−−−→ｗ₂
ｆ₂、ｂ₁ −−−−−−−−−−−−→ｗ₃
ｆ₂、ｂ₂ −−−−−−−−−−−−→ｗ₄
ただし、ｗ₁＞ｗ₂＞ｗ₃＞ｗ₄とする。前景、背景、あるいは、両方の類似度値が無い場合には、全体としては、類似していないとして全体の類似度値は設定しない。

そして、ステップＳ１８において、画像データ３１に全体の類似度値が設定されているか否かを判断する。ステップＳ１８で、全体の類似度値が無いと判断された場合には、処理を終了する。ステップＳ１８の判断がＹｅｓの場合には、ステップＳ１９で、類似度を有する画像データ３１の枚数を基準画像に類似した画像データ３１の枚数として、その枚数を表示する。そして、ステップＳ２０において、全体の類似度値が大きい順に、画像データ３１を読み出し、ステップＳ２１において、類似個所を識別して表示し、ステップＳ２２に進む。ステップＳ２１の類似個所の識別としては、両者の画像を解析し、類似している個所を特定の色で識別して表示する、或いは、背景の類似度値と前景の類似度値とを比較し、背景あるいは前景を類似個所として表示する方法がある。

ステップＳ２２において、ユーザが次の画像データ３１の読出しを指定したか否かを判断する。ステップＳ２２において、ユーザがキャンセルを指定した場合には、処理を終了する。また、次の画像データ３１が無い場合も処理を終了する。次の画像データ３１がある場合には、ステップＳ２０に戻る。

なお、ステップＳ２０、Ｓ２１の表示では、全体の類似度値の高い順に一覧表示しても良い。また、ステップＳ２２では、ユーザに画像データ３１の削除指定をさせるようにしても良い。あるいは、類似した画像データ３１同士を同じフォルダに入れるなど、ユーザに画像の整理をさせるようにしても良い。

なお、ステップＳ７、Ｓ８や、ステップＳ１２、Ｓ１３の場合、計算された類似度値に対して、適当な閾値を用意しておき、それぞれ閾値と計算された類似度値との関係から類似度が高いか、中程度か、を判断するようにする。

本発明の実施形態の画像データ処理装置の全体ブロック図である。 画像メモリ２２に格納される画像データの構成例を示す図である。 本発明の実施形態に従ったフローチャート（その１）である。 本発明の実施形態に従ったフローチャート（その２）である。

符号の説明

１０ レンズ
１１ ＣＣＤ
１２ 撮像プロセス
１３ Ａ／Ｄ変換器
１４ 撮像制御部
１５ 画像処理部
１６ 入出力制御部
１７ 入力部
１８ 表示部
１９ 画像処理用メモリ
２０ 画像検索部
２１ インターフェース
２２ 画像メモリ
２３ バスライン

Claims (7)

1. 指定された基準画像と撮影された画像との類似の程度を算出する類似度算出手段と、
   該類似の程度に従って、該基準画像に類似した該画像を出力する出力手段と、
   該出力手段の出力を受けて、ユーザに、該画像の編集を行わせる編集手段と、
   を備えることを特徴とする画像データ処理装置。
2. 撮影する直前の画像を前記基準画像として取り込む手段を有し、この基準画像と既に撮影されたて画像メモリに記憶されている画像データの類似度を算出することを特徴とする請求項１に記載の画像データ処理装置。
3. 前記類似度算出手段は、前記基準画像と前記撮影された画像との類似の程度を前景と背景の夫々を算出することを特徴とする請求項１に記載の画像データ処理装置。
4. 前記画像を格納する画像メモリには、画像のデータのほか、該画像を一意に特定するインデックス、比較対象となる基準画像のインデックス、前景、背景の類似の程度を対応付けて格納されることを特徴とする請求項２に記載の画像データ処理装置。
5. 前記出力手段は、前記類似の程度の大きい順に画像を表示することを特徴とする請求項１に記載の画像データ処理装置。
6. 前記出力手段は、前記類似の程度の大きい順に画像の一覧表示を行うことを特徴とする請求項１に記載の画像データ処理装置。
7. 指定された基準画像と撮影された画像との類似の程度を算出する類似度算ステップと、
   該類似の程度に従って、該基準画像に類似した該画像を出力する出力ステップと、
   該出力ステップにおける出力を受けて、ユーザに、該画像の編集を行わせる編集ステップと、
   を備えることを特徴とする画像データ処理方法をコンピュータに実現させるプログラム。
   
   

Images