JP2009163492A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】２つの画像が互いに類似しているか否かを的確に判断可能とする。
【解決手段】画像を分割して作った複数の領域ごとに、領域内の画素の特性値（画素特性
値）を取得する。そして、２つの画像の対応する領域の間で画素特性値の分布を比較する
ことによって、その領域が互いに類似しているか否かを判断する。ここで、画素特性値の
分布を比較する際には、明度値の範囲の中の中央値を含んだ半分以上の範囲においては、
明度値の違いを考慮しない。こうして、領域ごとに類否判断を行ったら、各領域の類否判
断の結果に基づいて、２つの画像が類似しているか否かを判断する。こうすると、フラッ
シュの有無や日の当り方などの要因によって画像ごとに明度値がバラついた場合であって
も、明度値の違いによって非類似と判断してしまうことはないので、類否判断をより的確
に行うことが可能となる。
【選択図】図２

Description

本発明は、画像データを解析することによって、画像が相互に類似しているか否かを判
断する技術に関する。

近年では、デジタルカメラを用いて画像を撮影することが一般的になってきた。こうし
たデジタルカメラでは、ユーザーは、手軽に沢山の画像を撮影することが可能となってい
る。例えば、同じ場所で同じ構図の画像を撮影する場合であっても、できるだけ良好な画
像を撮影するために、同じ画像を何枚も撮影することが可能となっている。

一方で、このように多数の画像を撮影した場合、デジタルカメラの記録媒体やコンピュ
ータの記録媒体などには多数の画像データが記録されることになるので、画像データの管
理が煩雑になってしまう。そこで、多数の画像の中で互いに類似する画像をひとまとめに
することによって、画像を簡便に管理可能とする技術が考案されるようになってきた。こ
うした技術では、ある画像と別の画像とが類似しているか否かを判断するための各種の技
術が提案されている。例えば、画像に用いられている色を比べることによって画像が互い
に類似しているか否かを判断する技術等が提案されている（特許文献１）。

特開２０００−１３７７２２号公報

しかし、提案されている技術では、同じ場所で連続して撮影した画像であるにも拘わら
ず、何故か画像の類否判断を誤ってしまうことがあるという問題があった。すなわち、同
じ場所で連続して撮影していることから、当然、同じ被写体を同じ構図で撮影しているに
も拘わらず、何故か類似していないと判断されてしまうことがあるという問題があった。

本発明は、従来の技術が有する上述した課題を解決するためになされたものであり、画
像が互いに類似しているか否かを的確に判断可能とする技術の提供を目的とする。

上述した課題の少なくとも一部を解決するために、本発明の画像処理装置は次の構成を
採用した。すなわち、
２つの画像を比較することにより、該画像の類否を判断する画像処理装置であって、
前記２つの画像を複数の領域に分割する画像分割手段と、
前記分割して生成された各領域の各画素について、明度値と、色相および彩度に関する
色彩値とによって構成される画素特性値を取得する画素特性値取得手段と、
前記２つの画像の対応する領域毎に、該領域内での前記画素特性値の分布を比較するこ
とによって、該対応する領域間の類否を判断する領域類否判断手段と、
前記各領域間での類否の判断結果に基づいて、前記２つの画像についての類否を判断す
る画像類否判断手段と
を備え、
前記領域類否判断手段は、前記明度値が取り得る範囲の中央値を含んで少なくとも過半
の範囲に設定された所定の明度範囲内では、前記画素特性値の明度値を用いることなく、
前記２つの画像の対応する領域についての類否を判断する手段であることを要旨とする。

また、上記の画像処理装置に対応する本発明の画像処理方法は、
２つの画像を比較することにより、該画像の類否を判断する画像処理方法であって、
前記２つの画像を複数の領域に分割する画像分割工程と、
前記分割して生成された各領域の各画素について、明度値と、色相および彩度に関する
色彩値とによって構成される画素特性値を取得する画素特性値取得工程と、
前記２つの画像の対応する領域毎に、該領域内での前記画素特性値の分布を比較するこ
とによって、該対応する領域間の類否を判断する領域類否判断工程と、
前記各領域間での類否の判断結果に基づいて、前記２つの画像についての類否を判断す
る画像類否判断工程と
を備え、
前記領域類否判断工程は、前記明度値が取り得る範囲の中央値を含んで少なくとも過半
の範囲に設定された所定の明度範囲内では、前記画素特性値の明度値を用いることなく、
前記２つの画像の対応する領域についての類否を判断する工程であることを要旨とする。

かかる本発明の画像処理装置および画像処理方法では、類否を判断する２つの画像をそ
れぞれ複数の領域に分割し、分割した領域ごとに、領域内の画素の特性値（画素特性値）
を取得する。ここで、画素特性値とは、画素の明度値と画素の色彩値とから構成される値
であり、例えば、ＨＳＶ形式の画像データにおけるＨ階調値、Ｓ階調値、Ｖ階調値の各階
調値や、Ｌａｂ形式の画像データにおけるＬ階調値、ａ階調値、ｂ階調値の各階調値など
を画素特性値として用いることができる。画素特性値を取得したら、２つの画像の対応す
る領域の間で画素特性値の分布を比較することによって、２つの画像がその領域において
互いに類似しているか否かを判断する。ここで、画素特性値の中の明度値については、明
度値の範囲の中央値を含む少なくとも半分以上の範囲においては、明度値の違いを考慮す
ることなく、領域間の類否判断を行う。例えば、画素特性値が明度値および色彩値のみか
ら構成される場合には、色彩値のみを用いて領域間の類否判断を行う。こうして、画素特
性値の分布を比較して領域ごとの類否判断を行ったら、この各領域の類否判断の結果に基
づいて、２つの画像が類似しているか否かを判断する。

本願の発明者が見出した知見によれば、画像の明度値は、画像の類否を判断する上での
ノイズになることがあり、このために、類否判断に誤りを生じさせ得るという性質がある
。例えば、同じ被写体を連続して撮影した画像を考えると、これらの画像は当然ながら類
似した画像となっているはずであるが、このような画像であっても、フラッシュを焚いて
撮影した画像と、フラッシュを焚かずに撮影した画像とでは、画像の明度値が変わってし
まっている。あるいは、フラッシュを焚いて撮影した画像同士であっても、被写体に対す
るフラッシュの当り方は撮影の度に若干変わってしまうので、画像ごとに明度値が変わっ
てしまう。更に、こうしたことは、フラッシュのみに起因したものではなく、例えば、被
写体に対する日の当り方や影の入り方などが変わることよっても、明度値が変わり得る。
このように、画像の明度値は、画像ごとにバラつきが生じ得るという性質を有しており、
このため、明度値に基づいて類否判断を行うと判断を誤ってしまう。実際、類否判断を誤
ってしまう画像を調べたところ、その多くは、こうした明度値の変化が原因となっている
ことが確認された。この様に、本願の発明者が見出した知見によれば、画像の明度値は、
画像の類否を判断する際にノイズとなることがあり、この性質のために、類否判断に誤り
を生じてしまう。そこで、この知見に基づいて、ノイズとなり易い明度値の中央値を含む
所定の範囲では、画像の類否判断を行う際に明度値の違いを考慮しないものとすれば、こ
うした明度値によるノイズが生じたとしてもその為に類否判断を誤ってしまうことはない
ので、画像の類否を適切に判断することが可能となる。

また、上述した本発明の画像処理装置では、分割した領域内の各画素において、画素特
性値が変化する方向（エッジ方向）を検出することとしてもよい。そして、２つの画像の
対応する領域の間でエッジ方向の分布を比較することによって領域間の類否を判断し、こ
のエッジ方向に基づく類否判断の結果と、画素特性値の分布に基づく類否判断の結果とに
基づいて、２つの画像の類否を判断することとしてもよい。

エッジ方向は、画像に描かれた物体の輪郭を反映しているので、２つの画像の対応する
領域の間でエッジ方向の分布を比較すれば、その領域の間の類否を判断することが可能で
ある。ここで、前述した様に、画像の明度値は画像ごとに変わることがあるが、こうした
場合であっても、画像に描かれた物体の輪郭が変わってしまうわけではないので、エッジ
方向の分布を比較することによって、領域間の類否を適切に判断することが可能である。
そこで、領域間の類否判断の結果に基づいて２つの画像の類否を判断するに際して、領域
間の画素特性値の分布を比較した判断結果に加えて、こうしたエッジに基づく領域間の類
否判断の結果を考慮すれば、２つの画像の類否をより適切に判断することが可能となる。

また、上述した本発明の画像処理装置では、画像の各領域での類否判断の結果から、２
つの画像の類否の程度を表す指標値（画像類否度）を算出し、同様に、各領域でのエッジ
方向の分布に基づく類否判断の結果から、２つの画像の類否の程度を表す別の指標値（エ
ッジ由来画像類否度）を算出してもよい。そして、これら２つの指標値のうちの一方の指
標値に基づいて定めた閾値と、他方の指標値とを比較することによって、２つの画像の類
否を判断することとしてもよい。

こうすれば、画素特性値の分布の比較に基づいて判断した際の類否の程度と、エッジ方
向の分布の比較に基づいて判断した際の類否の程度との２つの類否の程度を加味した判断
が可能となるので、画像の類否をより適切に判断することが可能となる。例えば、一方の
指標値は２つの画像がさほど類似していないと示している場合であっても、もう一方の指
標値は画像がよく類似していると示している場合には、２つの画像は類似していると判断
するのが適切である。この場合、一方の指標値がよく類似していると示していることに対
応して、他方の指標値に対する閾値を緩くしてやれば、２つの画像は類似していると適切
に判断することが可能となる。

更に本発明は、上述した画像処理方法を実現するためのプログラムをコンピュータに読
み込ませ、所定の機能を実行させることにより、コンピュータを用いて実現することも可
能である。従って、本発明は次のようなプログラムとしての態様も含んでいる。すなわち
、上述した画像処理方法に対応する本発明のプログラムは、
２つの画像を比較することにより、該画像の類否を判断する画像処理方法を、コンピュ
ータを用いて実現するためのプログラムであって、
前記２つの画像を複数の領域に分割する画像分割機能と、
前記分割して生成された各領域の各画素について、明度値と、色相および彩度に関する
色彩値とによって構成される画素特性値を取得する画素特性値取得機能と、
前記２つの画像の対応する領域毎に、該領域内での前記画素特性値の分布を比較するこ
とによって、該対応する領域間の類否を判断する領域類否判断機能と、
前記各領域間での類否の判断結果に基づいて、前記２つの画像についての類否を判断す
る画像類否判断機能と
を備え、
前記領域類否判断機能は、前記明度値が取り得る範囲の中央値を含んで少なくとも過半
の範囲に設定された所定の明度範囲内では、前記画素特性値の明度値を用いることなく、
前記２つの画像の対応する領域についての類否を判断する機能であることを要旨とする。

このプログラムをコンピュータに読み込んで、上記の各機能を実現させれば、画像の類
否を適切に判断することが可能となる。

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施
例を説明する。
Ａ．装置構成：
Ｂ．類否判断処理：
Ｃ．変形例：

Ａ．装置構成 ：
図１は、本実施例の画像処理装置を搭載した印刷装置１０を示した斜視図である。図示
されるように、印刷装置１０は、スキャナ部１００と、プリンタ部２００と、スキャナ部
１００およびプリンタ部２００の動作を制御する制御部３００などから構成されている。
スキャナ部１００は、印刷された画像を読み込んで画像データを生成するスキャナ機能を
有しており、プリンタ部２００は、画像データを受けとって印刷媒体上に画像を印刷する
プリンタ機能を有している。また、スキャナ部１００で読み取った画像をプリンタ部２０
０から出力すれば、コピー機能を実現することも可能である。すなわち、本実施例の印刷
装置１０は、単独でスキャナ機能、プリンタ機能、コピー機能を実現可能な、いわゆるス
キャナ・プリンタ・コピー複合装置となっている。

制御部３００には、ＣＰＵやＲＯＭ、ＲＡＭなどが搭載されており、スキャナ部１００
やプリンタ部２００の制御に加えて、スキャナ部１００で読み取った画像データやメモリ
カード等の記録媒体から読み出した画像データに所定の画像処理を施すことが可能となっ
ている。また、制御部３００には、モニタ画面３２０および操作パネル３１０が備えられ
ており、ユーザーは、モニタ画面３２０で画像を確認しながら操作パネル３１０を操作す
ることによって、印刷する画像を簡単に選択することが可能となっている。とはいえ、記
録媒体に多数の画像が記録されている場合には、沢山の画像の中から所望の画像を選び出
さなければならないので、画像を簡単に選択できないことがある。こうした点に鑑みて、
本実施例の印刷装置１０は、記録されている画像データの中で類似している画像同士をひ
とまとめにグループ化しておく画像処理装置を搭載しており、このため、多数の画像デー
タが記録されている場合であってもユーザーが印刷したい画像を簡単に選択可能となって
いる。

図１には、本実施例の画像処理装置が印刷装置１０に搭載されている様子が概念的に示
されている。図示されているように、画像処理装置は、制御部３００に搭載されたＣＰＵ
やＲＡＭ等によって構成されており、これらのＣＰＵやＲＡＭ等の機能によって画像処理
装置の処理が実行される。本実施例の画像処理装置は、印刷装置１０にメモリカード等の
記録媒体が接続されると、記録媒体から画像データを順番に読み出し、読み出した２つの
画像が互いに類似しているか否かを判断していく。もし、２つの画像が互いに類似してい
れば、これらの画像は同じ場面を撮影したものと判断して、同じグループに類別する。一
方、画像が類似していなければ、別の場面を撮影したものとして別のグループに類別する
。こうした処理を記憶媒体内の全ての画像データに対して行うことによって、記憶媒体内
の画像データを撮影場面ごとのグループに分けていく。ここで、本実施例の画像処理装置
では、後述する特別な方法を用いることによって２つの画像の類否判断を的確に行うこと
が可能となっており、その結果、メモリカード等の記録媒体に多数の画像データが記録さ
れている場合であっても、ユーザーは、印刷したい画像を簡単に選ぶことが可能となって
いる。以下では、制御部３００が行うこうした処理について詳しく説明する。

Ｂ．類否判断処理 ：
図２は、本実施例の「類否判断処理」の流れを示したフローチャートである。かかる処
理は、２つの画像が互いに類似しているか否かを判断する処理である。制御部３００は、
この「類否判断処理」を記録媒体内の全ての画像データに対して順次行うことによって、
類似する画像をひとまとめにしていく。尚、記録媒体内の画像データを処理していく際に
は、画像が撮影された日時が古い方から順番に処理していくものとして説明する。これは
、ある画像に対して類似している可能性が最も高いのは、撮影日時がその画像に最も近い
画像であり、従って、撮影日時が最も近い画像がその画像に類似していなければ、その他
の画像は、ほぼ間違いなく類似していないと判断できるので、画像の撮影日時の順番で判
断することが最も効率的であると考えられるためである。

ユーザーが操作パネル３１０を操作して類似する画像をまとめるように指示を送ると、
これを受けて、制御部３００は図２の「類否判断処理」を開始する。処理を開始すると、
先ず、記録媒体内の画像データの中で撮影日時が古い方から２つの画像データを読み込む
（ステップＳ１００）。通常、画像データのヘッダ部分には、画像が撮影された日時が記
録されているので、このヘッダ部分を読み出すことで撮影日時を簡単に調べることが可能
である。あるいは、各画像データの撮影日時を記録した画像管理ファイルが記録媒体に記
録されている場合には、こうした画像管理ファイルを調べれば撮影日時を知ることが可能
である。こうして、撮影日時が古い方から２つの画像データを読み込んだら、次いで、読
み込んだ２つの画像データを複数の領域に分割する処理を行う（ステップＳ１０２）。

図３は、２つの画像をそれぞれ複数の領域に分割した様子を例示した説明図である。図
示されている様に、画像の縦横をそれぞれ３つに分割することによって、２つの画像をそ
れぞれ［１］から［９］までの９個の領域に分割している。こうして画像を複数の領域に
分割したら、２つの画像を領域ごとに比較していくことにより、画像が互いに類似してい
るか否かを判断する。２つの画像を領域ごとに比較するに際しては、先ず、画像データか
ら明度成分と色彩成分（色相および彩度）とを分離する処理を行う（図２のステップＳ１
０４）。詳細には後述するが、領域ごとの類否判断に先立って、明度成分と色彩成分とを
分離しておくのは、本願の発明者が見出した新たな知見に基づいて画像の類否判断をより
的確に行うためである。

画像データから明度成分と色彩成分とを分離するには、種々の方法を用いることが可能
である。例えば、画像データを、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の３成分によって
画像を表現するＨＳＶ表色系の画像データに変換することによって、明度成分（Ｖ階調値
）とその他の成分とを分離することとしてもよいし、あるいは、いわゆるＬａｂ表色系の
画像データに変換することで明度成分（Ｌ階調値）とその他の成分とを分離してもよい。
尚、本実施例では、画像データをＨＳＶ表色系の画像データに変換することによって明度
成分と色彩成分とを分離するものとする。こうして、画像データをＨＳＶ表色系の画像デ
ータに変換したら、領域ごとに類似しているか否かを判断するために、各領域内の画素の
色相値（Ｈ）および彩度値（Ｓ）を調べる。

図４は、図３に示した画像Ａの領域［１］の画素について、色相値（Ｈ）および彩度値
（Ｓ）の分布を座標平面にとった様子を示した説明図である。画素の分布を調べる際には
、種々の座標平面を用いることが可能である。例えば、図４（ａ）では、座標軸の横軸お
よび縦軸にそれぞれ色相値（Ｈ）および彩度値（Ｓ）を取った直交座標の座標平面を用い
ている。あるいは、図４（ｂ）に示されているように、横軸からの角度を色相値とし、原
点からの距離を彩度値とした極座標の座標平面を用いてもよい。

こうして画素の分布を作れば、画素の分布がその領域に写っている被写体を反映するの
で、これを２つの画像で比較することによって、２つの画像がその領域において類似して
いるか否かを判断することができる。例えば、図４では、色相値６０度（黄色に対応）か
つ彩度値１９２の付近に画素の集団があるが（図中「Ａ」と表示）、この集団の画素は、
画像Ａの領域［１］（図３（ａ）参照）に写された車体の黄色に対応しており、また、そ
の集団の画素数（点の数）は描かれている車体の大きさに対応している。また、色相値２
００度（青色に対応）かつ彩度値１２８の付近にも画素の集団があるが（図中「Ｂ」と表
示）、これは、領域［１］に写された背景の空の青色に対応しており、集団の画素数は描
かれている空の大きさに対応している。このように、画素の色相値および彩度値を座標平
面にプロットすれば、その領域に写っている被写体を反映した分布が得られる。そこで、
もう一方の画像Ｂの領域［１］（図３（ｂ）参照）についても同様に、色相値および彩度
値に基づいて画素を座標平面にプロットすれば、画像Ｂの領域［１］に写っている被写体
を反映した分布が得られるので、２つの分布を比較することによって、２つの画像が領域
［１］において類似しているか否かを判断することができる。２つの分布を比較するには
、種々の方法を用いることができるが、ここでは、座標平面を分割して複数のグループを
作ることによってそれぞれの画素をグループ分けし（図２のステップＳ１０６）、グルー
プ分けした各グループに属する画素の数を比べることによって２つの分布を比較するもの
とする（図２のステップＳ１０８）。

図５は、各グループの画素数を比較することによって、画像Ａと画像Ｂとが領域［１］
において類似しているか否かを判断している様子を示した説明図である。図示されている
様に、２つの画像の間で対応するグループ同士の画素数を比較していく。そして、各グル
ープでの比較結果に基づいて、２つの画像が領域［１］において類似しているか否かを判
断する。例えば、図５（ｂ）に示されている様に、２つの画像の対応するグループごとに
画素数の差を求めて、それを全てのグループについて足し合わせた数値を算出する。もし
、この領域で２つの画像が類似していれば、２つの画像で各グループの画素数は近い画素
数となっているはずなので、得られる数値は小さくなる。一方、２つの画像が類似してい
なければ、２つの画像で各グループの画素数の差が大きくなるので、得られる数値は大き
くなる。従って、得られた数値が小さければ類似していると判断できるし、逆に、得られ
た数値が大きければ類似していないと判断することができる。

こうして、領域［１］において２つの画像が互いに類似しているか否かの判断を行った
ら（図２のステップＳ１０８）、今度は、こうした類否判断が全ての領域について行われ
たか否かを確認する（ステップＳ１１０）。領域［１］について類否判断が終わった段階
では、未だ全ての領域については類否判断を行っていないので（ステップＳ１１０：ｎｏ
）、再びステップＳ１０６に戻って、今度は、領域［２］について、類否判断を行う。こ
うして、領域［１］から領域［９］までの全ての領域について類否判断が終わるまで、繰
り返し類否判断を行っていく。

全ての領域について類否判断が終わったら（ステップＳ１１０：ｙｅｓ）、今度は、領
域［１］から領域［９］までの各領域での類否判断の結果に基づいて、２つの画像が全体
として互いに類似しているか否かを判断する（ステップＳ１１２）。各領域での類否判断
の結果に基づいて２つの画像が類似しているか否かを判断するには、種々の方法を用いる
ことができる。例えば、類似している領域が全体の半分以上ある場合（図３の例では、５
個以上の領域で類似していると判断された場合）に、２つの画像は互いに類似していると
判断すればよい。もちろん、類似している領域がもっと多くある場合（例えば、７個以上
）にのみ類似していると判断することとしてもよい。この場合には、類似している領域が
より多くなければ類似していると判断されないので、よりよく似ている画像同士のみを類
似していると判断することが可能である。こうした方法によって２つの画像が類似してい
るか否かを判断したら、制御部３００は、図２の類否判断処理を終了する。

以上に説明した様に、本実施例の類否判断処理では、画像の各領域ごとに２つの画像デ
ータを比較することによって、２つの画像が互いに類似しているか否かを判断する。ここ
で、前述した様に、２つの画像を領域ごとに比較する際には、画像データを明度成分と色
彩成分とに分離しておき（図２のステップＳ１０４参照）、色彩成分のみに基づいて領域
の類否判断を行っている。これは、本願の発明者が見出した新たな知見に基づく処理であ
り、こうした処理を行うことによって、本実施例の類否判断処理は、画像の類否判断をよ
り的確に行うことが可能となっている。以下では、この点について詳しく説明する。

一般に、画像データには、画像の明度や画像の彩度、画像の色相などの情報が記録され
ている。このため、一般には、これらの情報をすべて用いて２つの画像の各領域を比較す
ることで、２つの画像が互いに類似しているか否かを判断することが行われている。とこ
ろが、本願の発明者が見出した新たな知見によれば、明度に関する情報は、画像の類否を
判断する上でノイズになる場合があり得る。例えば、図６に例示した様に、同じ場面で同
じ構図で撮影した４つの画像を考える。ここで、図６に示された座標系は、画像の色相（
Ｈ）、彩度（Ｓ）、明度（Ｖ）の３つの成分をそれぞれ座標軸にとった座標系であり、図
示された４つの画像について画像中の同じ場所（図中、黒点で表示）の色相（Ｓ）、彩度
（Ｈ）、明度（Ｖ）の値がプロットしてある。

先ず、図中「ａ」で示した画像に注目すると、この画像は、暗めの画像となっており、
図中の黒点で示された場所の明度値は低い値となっている。ここで、こうした暗めの被写
体を撮影する場合には、フラッシュを焚いて撮影することがある。図中「ｂ」で示した画
像は、こうしてフラッシュを焚いて撮影した画像である。フラッシュを焚いて撮影した画
像では、フラッシュを焚かずに撮影した画像（図中「ａ」で示した画像）に比較して、色
相値と彩度値とはほとんど同じであるが、明度値は大きく異なっている。

また、図中「ｃ」で示した画像は、「ｂ」と示した画像と同じくフラッシュを焚いて撮
影した画像であるが、フラッシュを連続して焚いた場合などには、フラッシュ用のコンデ
ンサに充電される電荷量の違いによってフラッシュの明るさがバラついてしまい、撮影さ
れた画像の明度にバラつきが生じてしまうことがある。あるいは、カメラの向きや被写体
の向きによってフラッシュの当り方が変わって被写体の明度が変わってしまうことも起こ
り得る。

更に、図中「ｄ」で示した画像は、「ａ」の画像と同様にフラッシュを焚かずに撮影し
た画像であるが、「ｄ」の画像では人物に日が射しているために、画像の明度が高くなっ
ている。このように、同じ被写体を撮影しているにもかかわらず異なった明度の画像が得
られる現象は、どのような画像についても生じ得る現象である。実際、同じ場面を連続し
て撮影した画像であるにも拘わらず非類似の画像だと誤判定している事例を解析すると、
その多くは、上述した様に、フラッシュの有無や日の射し方などにより画像の明度が変化
したために、非類似の画像と判断されていることが確認できた。

こうした知見に基づいて、本実施例の類否判断処理では、画像データを明度成分と色彩
成分とに分離し、色彩成分のみを用いて類否判断を行っている。このため、画像の明度に
バラつきが生じた場合であっても、的確に類否判断をすることが可能となっている。した
がって、図６の例の様に、フラッシュを焚いて撮影したか否かによって類否判断を誤って
しまうことがなく、また、フラッシュを焚いた際のフラッシュの光量のバラつきによって
類否判断を誤ってしまうこともない。もちろん、被写体に対する日の当り方や影の入り方
などの光加減が変わった場合であっても、類否判断を誤ってしまうことがない。これによ
り、類似する画像同士を的確にグループ分けすることが可能となっている。

この様に、本実施例の類否判断処理では、画像データを明度成分と色彩成分とに分離し
てから類否判断を行うことによって、類似する画像ごとに適切にグループ分けすることが
可能となっている。そして、このように画像データを類似する画像ごとに適切にグループ
分けすることができれば、まとめたグループごとに画像をモニタ画面３２０に表示するこ
とによって、ユーザーに印刷したい画像を簡単に選択させることが可能となる。

図７は、類似している画像をまとめた状態でモニタ画面３２０に表示した様子を示した
説明図である。図示されている様に、類似する画像同士が重ねられた状態で表示されてお
り、重ねられた画像の一番上の画像が確認できるようになっている。この様な状態で画像
データを表示すれば、一番上の画像によってそのグループがどの様な場面を撮影した画像
であるかを簡単に把握することができるので、ユーザーは、印刷したい場面を簡単に見つ
けることができる。そして、印刷したい場面を見つけたら、今度は、その場面のグループ
の中から好みの画像を選ぶことによって、印刷したい画像を簡単に指定することが可能で
ある。

もちろん、モニタ画面３２０に表示するだけでなく、記録媒体上にグループごとにフォ
ルダを作り、グループに属する画像データをそのフォルダ内にコピーすることによって、
画像データを整理することとしてもよい。こうすれば、本実施例の印刷装置１０によって
画像データを一度整理しておけば、ユーザーはその後も画像データを整理された状態で取
り扱うことが可能となり、好適である。

尚、前述した本実施例の類否判断処理では、画像の各領域ごとに類否判断を行っておき
（図２のステップＳ１０８参照）、最後に各領域の類否判断結果に基づいて画像全体の類
否を判断するものとして説明したが、各領域ごとには類否判断を行わずに、類似の程度を
表す数値を算出しておくものとしてもよい。そして、最後に、各領域の類似の程度を表す
数値に基づいて、２つの画像が全体として類似しているか否かを判断するものとしてもよ
い。例えば、各領域において図５（ｂ）に示されている数値を算出しておき、最後にすべ
ての数値を足し合わせて、これが所定の値よりも小さい場合に類似していると判断するこ
ととしてもよい。こうした場合でも、明度成分を分離した後に類否判断を行っていること
から、フラッシュや光の加減による影響を受けることがないので、類否判断を適切に行う
ことが可能である。

以上に説明した様に、本実施例の印刷装置１０は、記憶媒体内の画像データを類似して
いる画像ごとにまとめることによって、ユーザーが印刷したい画像データを簡単に指定可
能としている。そして、類似している画像をまとめる際には、本願の発明者が見出した新
たな知見に基づいて、画像データの明度成分と色彩成分とを分離してから類否判断を行っ
ている。このため、画像の明度にバラつきが生じた場合であっても、的確に類否判断をす
ることが可能となっている。これにより、類似する画像同士を的確にグループ分けするこ
とが可能となり、この結果、ユーザーに印刷する画像を簡単に選択させることが可能とな
っている。

Ｃ．変形例 ：
上述した実施例では、画像データを明度成分と色彩成分とに分離して、色彩成分（色相
および彩度）のみを用いて画像の類否判断を行うものとして説明した。しかし、こうした
色彩成分に基づく類否判断に加えて、分離した明度成分から被写体の輪郭（エッジ）を抽
出して比較する処理を行うことによって、より適切に類否判断を行うことも可能である。
すなわち、互いに類似している画像では、同じ被写体が写っていることからエッジも互い
に類似しているはずなので、２つの画像の各領域についての色彩に加えてエッジも比較す
ることによって、画像が互いに類似しているか否かをより適切に判断することができる。
以下では、こうした変形例について説明する。

図８は、画像のエッジを明度成分から抽出する方法を示した説明図である。図８（ａ）
は、エッジを検出するためのソーベルフィルタである。尚、ソーベルフィルタには、検出
するエッジの向きに応じていくつかの形態が存在するが、ここでは、右向きのエッジを検
出するソーベルフィルタを例示している。図８（ｂ）は、このソーベルフィルタを用いて
エッジを検出する様子を示した説明図である。図中に細線で示した矩形は、ソーベルフィ
ルタを模式的に表したものである。ソーベルフィルタが「ａ」の位置（すなわち、明度階
調値が変化していない位置）では、ソーベルフィルタの中心から、前方の画素に重みを付
けた値と、後方の画素に重みを付けた値とが相殺するので、ソーベルフィルタの出力値（
すなわち、エッジ強さ）はほとんど「０」となる。これに対して、「ｂ」の位置のように
、ソーベルフィルタの前方が右向きのエッジ（右肩上がりのエッジ）にかかると、エッジ
強さは正の値を取り、そして「ｃ」の位置のように、ソーベルフィルタ全体がエッジの中
に含まれた状態になると、エッジ強さは増加する。また、「ｅ」の位置のように、右肩下
がりのエッジ（すなわち、左向きのエッジ）の場合は、エッジ強さは負の値となる。この
ように、右向きのソーベルフィルタでは、右向きのエッジの部分でソーベルフィルタの出
力値が大きくなる特徴がある。同様に、左向きのソーベルフィルタでは、左向きのエッジ
の部分で出力値が大きくなる。その他の向きのソーベルフィルタについても同様に、それ
ぞれの向きのエッジの部分で出力値が大きくなる特徴がある。そこで、各向きのソーベル
フィルタを画素に作用させて、出力値が最大となるソーベルフィルタを探せば、その画素
におけるエッジの向きを知ることができる。

このように、ソーベルフィルタを画像の明度階調値に適用すれば、画素のエッジの向き
を調べることができる。そこで、こうした操作を、画像を分割して作った領域内の全ての
画素について行えば、その領域内のエッジの向きの分布を得ることができるので、得られ
た分布を２つの画像の間で比較することによって、その領域が互いに類似しているか否か
を判断することができる。

図９は、８つの向きのソーベルフィルタを用いてエッジの向きの分布を取得する様子を
示した説明図である。図９（ａ）には、上下左右および斜めの８つの向きについて、それ
ぞれの向きのエッジを検出するソーベルフィルタが示されている。この８つのソーベルフ
ィルタをそれぞれ画素に作用させて、得られた数値が最も大きいソーベルフィルタを選べ
ば、そのソーベルフィルタの向きに応じて画素を８つのグループ（８つの向きに対応）に
類別することができる。この操作を領域内の全ての画素に対して行えば、図９（ｂ）に示
されている様に、８つのグループからなるヒストグラムを得ることができる。こうして、
エッジの向きのヒストグラムを得たら、このヒストグラムを２つの画像の間で比較するこ
とによって、領域の類否判断を行う。

図１０は、エッジの向きのヒストグラムに基づいて、領域が互いに類似しているか否か
を判断している様子を例示した説明図である。２つのヒストグラムを比較する際には、種
々の方法を用いることができるが、簡単には、図１０（ａ）に示されている様に、ヒスト
グラムの各グループごとに、画素数を比較していけばよい。そして、図１０（ｂ）に示さ
れているように、各グループごとに画素数の差の絶対値を算出し、この値を全てのグルー
プについて足し合わせた数値を算出すればよい。２つの画像が類似していれば、２つのヒ
ストグラムは同じような分布となるので、算出される数値は小さな値となる。一方、２つ
の画像が類似していなければ、ヒストグラムの差が大きくなるので、算出される数値は大
きな値となる。したがって、算出された数値が小さければ、類似していると判断できるし
、逆に、数値が大きければ、類似していないと判断することができる。

こうした処理を画像の各領域について行えば、各領域での類否判断の結果から、２つの
画像が全体として類似しているか否かを判断することができる。例えば、全体の半分以上
の領域で類似していると判断されている場合に、２つの画像が全体として類似していると
判断すればよい。

この様に、エッジの向きに基づいて類否判断を行うと、画像の明度が変化してしまった
場合であっても、適切に類否判断を行うことが可能である。すなわち、フラッシュの有無
や光の当り方などによってエッジを抽出する際に用いる明度値そのものは変わり得るが、
エッジの向き自体が変わってしまうわけではない。このため、エッジの向きを明度値から
抽出しているにも拘わらず、適切に類否判断を行うことが可能である。また、前述した実
施例の類否判断処理では、画像データから分離した色彩成分に基づいて類否判断を行って
いるが、分離した他方の成分である明度成分に基づいた類否判断と組み合わせることによ
って、いっそう的確に類否判断を行うことが可能となる。

図１１は、色彩に基づく類否判断とエッジに基づく類否判断とを組み合わせて、類否判
断を行う方法を例示した説明図である。図１１（ａ）の表の縦方向には、色彩に基づく類
否判断の判断結果が示されており、表の横方向には、エッジに基づく類否判断の判断結果
が示されている。そして、それぞれの判断結果の組合せごとに、画像の類否判断が示され
ている。図示されている様に、この表では、色彩に基づく類否判断とエッジに基づく類否
判断とのうちのいずれか一方が類似していると判断した場合に、２つの画像は互いに類似
しているものと判断する。こうすると、一方で判断を誤って非類似と判断してしまった場
合であっても、もう一方によって正しく判断することが可能である。例えば、偏向フィル
タ等のレンズフィルタを使用した場合には、連続して撮影した画像であっても画像の色彩
が若干変わってしまい、色彩による類否判断では非類似と判断されてしまうことがあるが
、こうした場合でも、被写体の輪郭は変わらないので、エッジに基づく類否判断によって
２つの画像は類似していると正しく判断することが可能である。

また、色彩に基づく類否判断およびエッジに基づく類否判断を行った際に、それぞれ類
似の程度を表す指標値を算出しておき、この指標値に基づいて２つの画像が類似している
か否かを決定することとしてもよい。例えば、色彩に基づいて画素を類別した際の画素数
の差（図５（ｂ）参照）と、エッジの向きに基づいて画素を類別した際の画素数の差（図
１０（ｂ）参照）とを指標値として類否判断を行うことができる。図１１（ｂ）には、こ
の２つの指標値に基づいて２つの画像が類似しているか否かを判断する様子が示されてい
る。前述した様に、図５（ｂ）および図１０（ｂ）の２つの指標値は、２つの画像の間で
画素の色彩の差あるいはエッジの向きの差が大きいほど大きな値となるので、図１１（ｂ
）に示されている様に、２つの指標値が両方とも小さな値の場合や、あるいは、２つの指
標値のうちのいずれか一方は大きな値であってももう一方は小さな値の場合に、２つの画
像は類似しているものと判断することとする。こうすれば、一方で判断を誤って非類似と
判断してしまった場合（指標値が大きな値となった場合）であっても、もう一方の指標値
によって２つの画像は類似していると正しく判断することが可能である。また、一方の指
標値が類否判断の境界値付近の値となっており、その指標値だけでは類似しているのか否
かの判断に確信が得られない場合であっても、もう一方の指標値によって類似しているか
否かを適切に判断することが可能となる。

尚、画像データからエッジを抽出する際には、画像データの各種の階調値を用いること
も可能である。例えば、画像データのＲ、Ｇ、Ｂの各階調値のいずれか用いることとして
もよいし、あるいは、Ｒ、Ｇ、Ｂの階調値を合成していわゆるグレースケールの階調値を
作り、この階調値を用いてエッジを検出してもよい。しかし、本変形例で説明した様に、
画像データを明度成分と色彩成分とに分離した際の明度成分を利用すれば、エッジ検出の
ために別の階調値を新たに取得する必要がないので、より好適である。

以上、本実施例の画像処理装置について説明したが、本発明は上記すべての実施例およ
び変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施
することが可能である。

例えば、上述の実施例では、本実施例の画像処理装置を印刷装置に搭載した場合につい
て説明したが、本実施例の画像処理装置をデジタルカメラに搭載することも可能である。
デジタルカメラに搭載した場合には、ユーザーが画像を撮影する度に、撮影した画像を類
似しているグループにまとめることが可能となる。こうすれば、ユーザーは、常に、類似
するグループごとに整理された状態で画像データを扱うことができるので、好適である。

もちろん、デジタルカメラや印刷装置に限られず、本実施例の画像処理装置を各種の装
置に搭載することが可能である。例えば、液晶ディスプレイやＣＲＴディスプレイなどの
画像表示装置に搭載することも可能であるし、フォトビューワーや携帯電話端末などの携
帯型表示装置に搭載することも可能である。更には、街角や公共の場などに置かれた無人
の写真印刷端末などに搭載することも可能である。こうした場合も、本実施例の画像処理
装置によって画像データが適切にグループ分けされるので、表示する画像データや印刷す
る画像データを簡便に選択したり、あるいは、画像データを整理された状態で簡便に取り
扱うことが可能となる。

本実施例の画像処理装置を搭載した印刷装置を示す説明図である。 本実施例の類否判断処理の流れを示したフローチャートである。 画像を複数の領域に分割した様子を例示した説明図である。 領域内の画素について色相値（Ｈ）および彩度値（Ｓ）の分布を座標平面にプロットした様子を示した説明図である。 画素数を比較することによって２つの画像が互いに類似しているか否かを判断する様子を示した説明図である。 画像の明度が変ってしまう様子を概念的に示した説明図である。 類似している画像をまとめた状態でモニタ画面３２０に表示した様子を示した説明図である。 ソーベルフィルタを用いて画像のエッジを調べる様子を示した説明図である。 ８つの向きのソーベルフィルタを用いてエッジの向きの分布を取得する様子を示した説明図である。 エッジの向きのヒストグラムに基づいて領域が互いに類似しているか否かを判断している様子を例示した説明図である。 色彩に基づく類否判断の結果およびエッジに基づく類否判断の結果に基づいて、２つの画像が類似しているか否かを判断する方法を例示した説明図である。

符号の説明

１０…印刷装置、 １００…スキャナ部、 ２００…プリンタ部
３００…制御部、 ３１０…操作パネル、 ３２０…モニタ画面

Claims (5)

1. ２つの画像を比較することにより、該画像の類否を判断する画像処理装置であって、
   前記２つの画像を複数の領域に分割する画像分割手段と、
   前記分割して生成された各領域の各画素について、明度値と、色相および彩度に関する
   色彩値とによって構成される画素特性値を取得する画素特性値取得手段と、
   前記２つの画像の対応する領域毎に、該領域内での前記画素特性値の分布を比較するこ
   とによって、該対応する領域間の類否を判断する領域類否判断手段と、
   前記各領域間での類否の判断結果に基づいて、前記２つの画像についての類否を判断す
   る画像類否判断手段と
   を備え、
   前記領域類否判断手段は、前記明度値が取り得る範囲の中央値を含んで少なくとも過半
   の範囲に設定された所定の明度範囲内では、前記画素特性値の明度値を用いることなく、
   前記２つの画像の対応する領域についての類否を判断する手段である画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記領域内の各画素について得られた前記画素特性値に基づいて、各画素において該画
   素特性値が変化する方向であるエッジ方向を検出するエッジ方向検出手段と、
   前記領域内での前記エッジ方向の分布を、前記２つの画像の対応する領域間で比較する
   ことによって、該領域間の類否を判断するエッジ由来領域類否判断手段と
   を備え、
   前記画像類否判断手段は、前記領域類否判断手段の判断結果と、前記エッジ由来領域類
   否判断手段の判断結果とに基づいて、前記２つの画像についての類否を判断する手段であ
   る画像処理装置。
3. 前記画像類否判断手段は、
   前記領域類否判断手段によって得られた前記領域毎の判断結果に基づいて、前記２つ
   の画像の類否の程度を表す画像類否度を算出する画像類否度算出手段と、
   前記エッジ由来領域類否判断手段によって得られた前記領域毎の判断結果に基づいて
   、前記２つの画像の類否の程度を表すエッジ由来画像類否度を算出するエッジ由来画像類
   否度算出手段と
   を備えるとともに、
   前記画像類否度および前記エッジ由来画像類否度のいずれか一方の類否度に基づいて
   定めた閾値と、他方の類否度とを比較することによって、前記２つの画像についての類否
   を判断する手段である画像処理装置。
4. ２つの画像を比較することにより、該画像の類否を判断する画像処理方法であって、
   前記２つの画像を複数の領域に分割する画像分割工程と、
   前記分割して生成された各領域内の各画素について、明度値と、色相および彩度に関す
   る色彩値とによって構成される画素特性値を取得する画素特性値取得工程と、
   前記２つの画像の対応する領域毎に、該領域内での前記画素特性値の分布を比較するこ
   とによって、該対応する領域間の類否を判断する領域類否判断工程と、
   前記各領域間での類否の判断結果に基づいて、前記２つの画像についての類否を判断す
   る画像類否判断工程と
   を備え、
   前記領域類否判断工程は、前記明度値が取り得る範囲の中央値を含んで少なくとも過半
   の範囲に設定された所定の明度範囲内では、前記画素特性値の明度値を用いることなく、
   前記２つの画像の対応する領域についての類否を判断する工程である画像処理方法。
5. ２つの画像を比較することにより、該画像の類否を判断する画像処理方法を、コンピュ
   ータを用いて実現するためのプログラムであって、
   前記２つの画像を複数の領域に分割する画像分割機能と、
   前記分割して生成された各領域内の各画素について、明度値と、色相および彩度に関す
   る色彩値とによって構成される画素特性値を取得する画素特性値取得機能と、
   前記２つの画像の対応する領域毎に、該領域内での前記画素特性値の分布を比較するこ
   とによって、該対応する領域間の類否を判断する領域類否判断機能と、
   前記各領域間での類否の判断結果に基づいて、前記２つの画像についての類否を判断す
   る画像類否判断機能と
   を備え、
   前記領域類否判断機能は、前記明度値が取り得る範囲の中央値を含んで少なくとも過半
   の範囲に設定された所定の明度範囲内では、前記画素特性値の明度値を用いることなく、
   前記２つの画像の対応する領域についての類否を判断する機能であるプログラム。

Images