JP2007048108A - 画像評価システム及び画像評価方法並びに画像評価プログラム - Google Patents

Abstract

【課題】 人物の顔等の被撮影部位に係る撮影結果に関する簡易で効果的な画像評価システム及び画像評価方法並びに画像評価プログラムを具体的に提供し、所要に応じて撮影のやり直しを促したり、良好な状態の画像の抽出を行うに便宜を提供する。
【解決手段】 被評価画像に別段の前処理を施すことなく顔画像を抽出し判定手段１２６に供給する第１の処理系統Ｓ１と、被評価画像に前処理手段１２４による前処理を施して顔検出手段１２５−２によって顔画像を抽出し判定手段１２６に供給する第２の処理系統Ｓ２とによる画像認識結果を対比して顔画像の映り栄えの良否を判定する。例えば、系統Ｓ１による結果のみが良好なものを映り栄えの良いものと判定する。
【選択図】 図１０

Description

本発明は、例えば、人物の顔等のような予定した種類の被写体の予定した被撮影部位に係る撮影結果に対して、予め規定したその良否判定の評価尺度によって自動的に評価を行う、画像評価システム及び画像評価方法並びに画像評価プログラムに関する。

近年、デジタルカメラが急速に普及し、あらゆる静止画の撮影場面で多用されている。撮影の種々の場面で、写りの良い顔写真を撮影し、そのような撮影による良好な画像を保存したい、更には、多くの記録画像のうちから写りの良い顔写真を抽出して印刷したいという要求がある。しかし、デジタルカメラ等で得られた記録画像のうちには、ユーザの力量により撮り損ねた画像も存在する。

このため、撮り損ねた画像のうち、後に処理を施すことが可能な範囲のものについては、輝度レベルを補正し、コントラストや色バランスを自動的に調整することによって、より鮮明な画像へと修正する技術が提案されている（例えば、特許文献１参照）。この提案では、画像の部分領域ごとにレベル補正して画像補正することにより、画像の低輝度部分および高輝度部分が中程度輝度化することを抑制する。

より具体的には、ヒストグラム生成部とレベル補正部とを含む輝度補正部、および、加算処理部とによって画像補正装置を構成する。輝度補正部は、画像中の対象画素の輝度補正をするために、ヒストグラム生成部で対象画素を含む部分領域の輝度ヒストグラムを生成し、レベル補正部で輝度ヒストグラムを変形する。加算処理部は、輝度補正部で輝度補正された画像と、補正前の画像とを重み付け加算するというものである。

また一方、写真撮影の際に人物の撮影状態を解析評価するという画像処理系を組み込むだけで、人物撮影の失敗を自動検知してその人物を連続撮影できるようにしようとする提案もある（例えば、特許文献２参照）。この提案では、ＣＰＵによって、写真撮影の際に、人物を撮影した撮影画像の中から人物部分を抽出すると共に、抽出した人物部分を解析しながらその人物の撮影状態を予め決められている評価方法にしたがって評価し、この撮影状態が悪いと評価された時点で、その人物の連続撮影を指示するというものである。
特開２００４−１４０６９２号公報（段落００２８〜段落００３６、図３） 特開２００５−４５６０１号公報（段落０００５〜段落００１０、図６）

しかしながら、上述した特許文献１に提案の技術では以下の課題を残す。即ち、画像の輝度レベルを補正するもので、実際補正を加えた画像については、コントラストが強調されすぎる矩形領域が発生したり、隣接する領域間の境界でコントラストが不連続になり、画像の自然な感じが損なわれたりする可能性がある。
また、方向性を持つ照明環境下において顔を撮影した場合などは、鼻や骨格などの凹凸により陰影が発生する。このような陰影を正面から顔を照らした画像に近づける補正処理としても上記の技術は期待されるが、画像の自然な感じを損ない違和感のある仕上がりとなってしまう場合があり、その効果は十分であると言えない。

証明写真などは、本人を正確に特定できることが大変重要で、且つ、容易に人物特定が出来ることが必要である。画像中の顔部分に無用な陰影が含まれた場合や、フラッシュ光による光が眼鏡レンズにより反射しているような場合には、不自然な補正処理を行うよりは、むしろ、不適当な写真であることが撮影者に明確に認識できるようにして、撮り直しを促し、写りの良い撮影を行う方が望ましい。

しかしながら、特許文献１に所載の技術では、専ら、不適切な撮影条件で撮影された画像を如何に正規の状態に近付けるよう補正するかといった視点からの解決策が提案されるに留まり、撮影結果の適否を判定し、その結果に応じて、撮影者が適切な条件によって再度撮影を行うことの必要を認識可能にするといった着想がなく、当然ながら、そのための方途については別段の開示もなされていない。

また一方、特許文献２には、人物の撮影状態を解析評価するという画像処理系自体について、例えば、解析評価に関する尺度の設定等実施に当たって肝要な点については、新規な乃至は具体的な提案がなされていない。
本発明は、上述のような事情に鑑みてなされたものであり、例えば、人物の顔等の予定した種類の被写体の予定した被撮影部位に係る撮影結果に関する簡易で効果的な画像評価システム及び画像評価方法並びに画像評価プログラムを具体的に提供し、以って、所謂映り栄えの良い画像の取得のために所要に応じて撮影のやり直しを促したり、或いは、多数の画像の中から良好な状態の画像の抽出を行うに便宜を提供することを目的としている。

上記課題を解決するべく、本願では次に列記するような技術を提案する。
（１）予定した種類の被写体の予定した被撮影部位に係る撮影結果に対する予め規定した良否判定の評価尺度による評価が所定の水準に達している適格画像に該当する複数の学習画像に基づいて形成した基準画像を表す基準画像データを保持する基準画像データ保持部と、評価対象とする被評価画像に前記評価尺度に関する改善処理を施すことなく前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する未処理画像評価手段と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する一または複数種類の前処理画像評価手段と、前記未処理画像評価手段による評価結果と前記一または複数種類の前処理画像評価手段による各評価結果との比較に基づいて前記被評価画像が前記適格画像に該当するか否かを判定する判定手段とを備えたことを特徴とする画像評価システム。

上記（１）の画像評価システムによれば、予め規定した良否判定の評価尺度に関する改善処理を施すことなく前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する未処理画像評価手段と、上記のような改善処理を施して前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する一または複数種類の前処理画像評価手段との、各評価手段による評価の結果を比較して、例えば、改善処理を施さずとも良好な評価結果が得られた被評価画像は前記適格画像に該当すると判定する等の簡易な手法によって判定し、簡単な構成のシステムによって効果的な画像評価を行うことができる。

（２）前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であることを特徴とする（１）の画像評価システム。
上記（２）の画像評価システムによれば、上記（１）の画像評価システムによる作用において特に、人物の顔部分の画像を被評価画像とした場合について、その映り栄えの適否について、的確な評価を提供し、以って、良好な画像の取得のために所要に応じて撮影のやり直しを促したり、或いは、多数の画像の中から良好な状態の画像の抽出を行うに便宜を提供できる。

（３）前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であり、前記人物の顔部分に係る撮影結果に対する前記良否判定の評価尺度は、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであることを特徴とする（１）の画像評価システム。

上記（３）の画像評価システムによれば、上記（１）の画像評価システムによる作用において特に、人物の顔部分の画像を被評価画像とした場合について、評価を行うに依拠する尺度を、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであることを明確にして、これに応じたものとして、映り栄えの適否について、的確な評価を提供し、以って、良好な画像の取得のために所要に応じて撮影のやり直しを促したり、或いは、多数の画像の中から良好な状態の画像の抽出を行うに便宜を提供できる。

（４）前記判定手段は、前記未処理画像評価手段によって前記適格画像に該当すると判定され、且つ、前記前処理画像評価手段によって前記適格画像に該当しないと判定された被評価画像のみを最終的に前記適格画像であると判定することを特徴とする（１）の画像評価システム。

上記（４）の画像評価システムによれば、上記（１）の画像評価システムによる作用において特に、上記の改善処理を施さずとも良好な評価結果が得られた被評価画像のみについて前記適格画像に該当すると判定するといった簡易な手法によって画像の映り栄えを判定するため、簡単な構成のシステムによって効果的な画像評価を行うことができる。

（５）前記判定手段は、前記未処理画像評価手段によって前記適格画像に該当しないと判定され、且つ、前記前処理画像評価手段によって前記適格画像に該当すると判定された被評価画像を最終的に前記適格画像ではないと判定することを特徴とする（１）の画像評価システム。

上記（５）の画像評価システムによれば、上記（１）の画像評価システムによる作用において特に、上記の改善処理を施さずには良好な評価結果が得られず、且つ、改善処理を俟ってはじめて良好な評価結果が得られるような被評価画像については、最終的に前記適格画像ではないと判定するといった簡易な手法によって画像の映り栄えを判定するため、簡単な構成のシステムによって効果的な画像評価を行うことができ、撮影のやり直しが必要である旨を的確にユーザに認識させることができる。

（６）前記未処理画像評価手段、前記前処理画像評価手段、および、前記判定手段の何れかによる判定結果を表すデータを、後に検索可能な形態で、当該被評価画像を表す画像データに関連付けて記録する関連情報記録手段を更に備えたことを特徴とする（１）の画像評価システム。

上記（６）の画像評価システムによれば、上記（１）の画像評価システムによる作用において特に、被評価画像に関する結果的な判定、並びに、この判定に資する中間的な評価過程での判定のデータを、その被評価画像のデータに関連付けて、例えば、メタデータとして、検索情報や撮影したカメラ、その他必要なデータを添付して記録しておくことにより、カテゴリ分けなどをこれらの検索情報に依拠して行うことが出来る。

（７）前記未処理画像評価手段は、前記基準画像に依拠して前記改善処理を施すことなく当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当するものであると判定するように構成され、前記前処理画像評価手段は、前記基準画像に依拠して前記改善処理を施した当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当しないものであると判定するように構成されていることを特徴とする（１）の画像評価システム。

上記（７）の画像評価システムによれば、上記（１）の画像評価システムによる作用において特に、被評価画像に対して上記の改善処理を施すことなくその被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位である、例えば、人物の顔であると識別できたときには、その被評価画像は改善処理を俟たずとも良好な状態であったからその識別ができたので、元々適格画像に該当するものであると判定する。一方、被評価画像に対して上記の改善処理を施してからその被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位である、例えば、人物の顔であると識別できたときには、その被評価画像は改善処理を俟ってはじめてその識別ができたので、改善処理を施す前の元の状態では良好な状態ではなかったので適格画像に該当しないものであると判定する。このように、被評価画像に、改善処理を施さず、および、改善処理を施して、それぞれその被評価画像について、何を表す画像であるかの識別（画像認識）を行って、その可否に着目して、その映り栄えの評価を行うという簡易な構成によって的確な評価を行うことができる。

（８）予定した種類の被写体の予定した被撮影部位に係る撮影結果に対してその良否判定の評価尺度を予め規定し、当該評価尺度による評価の結果が所定の水準に達している適格画像に該当する複数の学習画像に基づいて基準画像を形成し、評価対象とする被評価画像に前記評価尺度に関する改善処理を施すことなく前記基準画像を用いて評価する未処理画像評価と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像を用いて評価する一または複数種類の前処理画像評価とを実行し、前記未処理画像評価による評価結果と前記一または複数種類の前処理画像評価による各評価結果との比較に基づいて前記被評価画像が前記適格画像に該当するか否かを判定することを特徴とする画像評価方法。

上記（８）の画像評価方法によれば、予め規定した良否判定の評価尺度に関する改善処理を施すことなく上記の基準画像を用いて評価する未処理画像評価と、上記のような改善処理を施して基準画像を用いて評価する一または複数種類の前処理画像評価との、各評価による評価の結果を比較して、例えば、改善処理を施さずとも良好な評価結果が得られた被評価画像は前記適格画像に該当すると判定する等の簡易な手法によって被評価画像を評価し、的確な評価結果を得ることができる。

（９）前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であることを特徴とする（８）の画像評価方法。
上記（９）の画像評価方法によれば、上記（８）の画像評価方法による作用において特に、人物の顔部分の画像を被評価画像とした場合について、その映り栄えの適否について、的確な評価を提供し、以って、良好な画像の取得のために所要に応じて撮影のやり直しを促したり、或いは、多数の画像の中から良好な状態の画像の抽出を行うに便宜を提供できる。

（１０）前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であり、前記人物の顔部分に係る撮影結果に対する前記良否判定の評価尺度は、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであることを特徴とする（８）の画像評価方法。

上記（１０）の画像評価方法によれば、上記（８）の画像評価方法による作用において特に、人物の顔部分の画像を被評価画像とした場合について、評価を行うに依拠する尺度を、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであることを明確にして、これに応じたものとして、映り栄えの適否について、的確な評価を提供し、以って、良好な画像の取得のために所要に応じて撮影のやり直しを促したり、或いは、多数の画像の中から良好な状態の画像の抽出を行うに便宜を提供できる。

（１１）前記未処理画像評価の結果前記適格画像に該当すると判定され、且つ、前記前処理画像評価の結果前記適格画像に該当しないと判定された被評価画像のみを最終的に前記適格画像であると判定することを特徴とする（８）の画像評価方法。
上記（１１）の画像評価方法によれば、上記（８）の画像評価方法による作用において特に、上記の改善処理を施さずとも良好な評価結果が得られた被評価画像のみについて前記適格画像に該当すると判定するといった簡易な手法によって画像の映り栄えを判定するため、簡単な方法によって効果的な画像評価を行うことができる。

（１２）前記未処理画像評価の結果前記適格画像に該当しないと判定され、且つ、前記前処理画像評価の結果前記適格画像に該当すると判定された被評価画像を最終的に前記適格画像ではないと判定することを特徴とする（８）の画像評価方法。
上記（１２）の画像評価方法によれば、上記（８）の画像評価方法による作用において特に、上記の改善処理を施さずには良好な評価結果が得られず、且つ、改善処理を俟ってはじめて良好な評価結果が得られるような被評価画像については、最終的に前記適格画像ではないと判定するといった簡易な手法によって画像の映り栄えを判定するため、簡単な方法によって効果的な画像評価を行うことができ、撮影のやり直しが必要である旨を的確にユーザに認識させることができる。

（１３）前記未処理画像評価は、前記基準画像に依拠して前記改善処理を施すことなく当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当するものであると判定する評価方法であり、前記前処理画像評価は、前記基準画像に依拠して前記改善処理を施した当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当しないものであると判定する評価方法であることを特徴とする（８）の画像評価方法。

上記（１３）の画像評価方法によれば、上記（８）の画像評価方法による作用において特に、被評価画像に対して上記の改善処理を施すことなくその被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位である、例えば、人物の顔であると識別できたときには、その被評価画像は改善処理を俟たずとも良好な状態であったからその識別ができたので、元々適格画像に該当するものであると判定する。一方、被評価画像に対して上記の改善処理を施してからその被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位である、例えば、人物の顔であると識別できたときには、その被評価画像は改善処理を俟ってはじめてその識別ができたので、改善処理を施す前の元の状態では良好な状態ではなかったので適格画像に該当しないものであると判定する。このように、被評価画像に、改善処理を施さず、および、改善処理を施して、それぞれその被評価画像について、何を表す画像であるかの識別（画像認識）を行って、その可否に着目して、その映り栄えの評価を行うという簡易な方法によって的確な評価を行うことができる。

（１４）評価対象とする被評価画像に所定の評価尺度に関する改善処理を施すことなく所定の基準画像を用いて評価する未処理画像評価の処理と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像を用いて評価する一または複数種類の前処理画像評価の処理と、前記未処理画像評価による評価結果と前記一または複数種類の前処理画像評価による各評価結果との比較に基づいて前記被評価画像が前記評価尺度に関して所定の水準に達している適格画像に該当するか否かを判定する判定処理と、を含む処理をコンピュータに実行させることを特徴とする画像評価プログラム。

上記（１４）の画像評価プログラムによれば、例えば、予め規定した良否判定の評価尺度に関するものとして設定した、所定の改善処理を施すことなく、所定の基準画像を用いて評価する未処理画像評価の処理と、上記のような改善処理を施して基準画像を用いて評価する一または複数種類の前処理画像評価の処理とによる、各の結果を比較して、例えば、改善処理を施さずとも良好な評価結果が得られた被評価画像は前記適格画像に該当すると判定する等の上記判定処理とを含む処理を、コンピュータに実行させることにより、比較的軽微な演算量によって、被評価画像について、その映り栄えの評価を行うことができる。

（１５）前記基準画像として、予定した種類の被写体の予定した被撮影部位に係る撮影結果に関して予め規定した良否判定の評価尺度による評価の結果が所定の水準に達している適格画像に該当する複数の学習画像に基づいて形成する処理によって得た画像を適用することを特徴とする（１４）の画像評価プログラム。

上記（１５）の画像評価プログラムによれば、上記（１４）の画像評価プログラムによる作用において特に、上記の基準画像として、例えば、人物の顔等の、予定した種類の被写体の予定した被撮影部位に係る撮影結果に関して予め規定した良否判定の評価尺度による評価の結果が所定の水準に達している適格画像に該当する複数の学習画像に基づいて形成する処理によって得た画像を適用するため、明確な判断基準による被評価画像の評価をコンピュータに実行させることができる。

以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
図１は、本発明のシステムおよび方法の概念を表すブロック図である。また、図２は、本発明のシステムが構築され、および、本発明の方法が本発明のプログラムに基づいて実行されるハードウェアの構成を示す概念図である。図２において、ＣＰＵ２０１にはバス２０２を介してＲＡＭ２０３およびＲＯＭ２０４が接続され、更に、バス２０２に結ばれたインタフェース２０５を介して入力装置２０６、出力装置２０７、および、補助記憶装置２０８が接続されている。

以上、図２における、ＣＰＵ２０１を中心とし、このＣＰＵ２０１によって系全体が統括的に制御されるハードウェアの構成自体は、種々の情報処理の目的に用いられるこの種の汎用性のある一般的なシステムにおけるものと同様である。
図１は、図２における、ＣＰＵ２０１を中心として構成されるシステムにおいて、機能上構築される、本発明のシステムおよび方法の概念を表している。

図１において、例えば、公知のスキャナーなどによって、予め、この画像評価システム１００の記憶部に蓄積された既得の複数の画像（画像データ。以下、適宜、画像と略記する）１１１のうちから、ユーザが指定した画像を取り込む機能を持つ画像入力手段１１２によって、該当する複数の画像がメモリ（図２におけるＲＡＭ２０３）に読み込まれる。読み込まれた画像は次段の学習画像生成手段１１３によって処理され、複数の学習画像でなる学習画像セット１１４が生成される。学習画像生成手段１１３における処理については、図３を参照して後に詳述する。

一方、ユーザによって選出された一または複数の被評価画像１２１が、画像入力手段１１２と同様の画像入力手段１２２によって、メモリ（図２におけるＲＡＭ２０３）に読み込まれる。読み込まれた画像は次段の探索窓切り出し手段１２３によって、既述の学習画像セット１１４と対比されるべき領域が該当する画面内を走査するようにして順次の部分画像領域のデータが漸次抽出され、同じ画像を表す画像データが、一方の系統のとしては、前処理手段１２４を介して前処理を施した後に、顔検出手段１２５に供給され、他方の系統としては、直接、顔検出手段１２５に供給される。

顔検出手段１２５では、上述の一方の系統の前処理を施した画像と、他方の系統の前処理を施さない画像とを、学習画像セット１１４を基準画像として、顔検出の処理に付す。上述の双方の系統の画像に関する顔検出の処理結果に基づいて（映り栄え）判定手段１２６によって、上記双方の系統に分かれる前の、元の（各一の）被評価画像について、その（映り栄えの）良否を判定する。この判定結果をユーザに認識させるための情報を情報生成手段１２７で生成し、このようにして生成された情報を表示手段１２８によって表示する。

図１を参照して説明した画像評価システムの上述の各要素について、更に、他の図面を参照して以下に詳述する。
図３は、図１中の学習画像生成手段１１３で実行される学習画像の生成処理を説明する図である。図３中の各部において、図３（ａ）は上述のようにして読み込まれた一の画像を表す図である。また、図３（ｂ）はユーザによって、図２の入力装置２０６に該当する適宜のポインティングデバイス等を用いて手動で設定された矩形領域Ｗ１を示す図である。例えば、図２システムの出力装置２０７に該当するモニタに矩形領域Ｗ１を設定するための設定画面を表示させて、ユーザが操作して矩形領域を設定する。この矩形領域Ｗ１に顔領域が含まれている。即ち、この顔領域が、予定した種類の被写体たる人物の予定した被撮影部位に相応する。

図３（ｃ）は図３（ｂ）中の矩形領域Ｗ１内で、ユーザによって手動で入力された目、口の中心位置の設定例、図３（ｄ）は、図３（ｃ）の画像に対しアフィン変換を施した後の顔画像例、図３（ｅ）は基準画像として予め用意する顔画像例である。
即ち、図３（ｃ）から図３（ｄ）への処理過程で、矩形領域Ｗ１の顔画像について目、口などを基点とする画像サイズの正規化を行う。この正規化の方法として、基準画像と入力画像をアフィン変換で関係付ける。その対応点としては、例えば、左右の目の中心、口の中心の計３箇所を利用する。

アフィン変換により、図３（ｃ）の矩形領域内の顔領域に含まれる目、口の位置（これらのＸ，Ｙ座標については予めユーザによって手動で入力されている）を予め設定された位置（例えば、基準画像が図３（ｅ）の如くとなる場合は、矩形領域Ｗ１が２０×２０ピクセルサイズで、両眼は水平位置であり、目と上唇までの距離を６ピクセルとしている）に置換し、置換した結果が図３（ｄ）となる。

図４は、照明の光源方向を見極めて顔にかかる陰影のない画像を学習画像として抽出する処理過程を説明する図である。即ち、この処理過程では、正面から顔を照らした陰影の偏りの無い輝度バランスが取れた顔領域のみを学習画像として選び出す。自動的に選び出す方法としては、図４（ａ）のように矩形領域Ｗ１で区切るようにして夫々切り出した各画像ａ４１，ａ４２，ａ４３，ａ４４，…に、図４（ｂ）の線形関数（画像の輝度レベルを表す）ｂ４１，ｂ４２，ｂ４３，ｂ４４，ｂ４５のうちから、当てはめた結果が顔にかかる陰影のない状態の画像である図４（ｃ）のｃ４１，ｃ４２，ｃ４３，ｃ４４，…になるに適合（フィット）するものを選択して当てはめる（例えば、輝度値に関して差し引く）。

例えば、図４（ａ）のａ４２の画像に対しては図４（ｂ）の線形関数ｂ４１を選択して当てはめることによって、顔にかかる陰影のない画像図４（ｃ）のｃ４２を得る。上述の様に、当てはめると顔にかかる陰影のない画像を得ることになる、最もフィットする線形関数が光源方向の変化により顔に出来た陰影加減を表すと考え、顔にかかる陰影のないものだけを取り出し、学習画像として用いる。尚、学習画像の設定という準備作業自体は、目視による確認作業を行い陰影の偏りの無い顔領域のみを選び出して行っても良い。

図３および図４を参照して説明した処理によって得た、顔にかかる陰影のない複数の画像郡を図１における学習画像セット１１４として位置付ける。このような学習画像セット１１４の画像は、予定した種類の被写体の予定した被撮影部位（既述の例では、人物の顔）に係る撮影結果に対する予め規定した良否判定の評価尺度による評価が所定の水準に達している適格画像に該当する。

図５は、照明条件の変化による陰影を補正する前処理手段１２４における前処理について説明する図である。
また、図６は、探索窓切り出し手段１２３により被評価画像から矩形領域のデータを抽出する処理について説明する図である。図６において、被評価画像に対して図３（ｂ）を参照して既述の矩形領域Ｗ１に対応する矩形領域Ｗ２を特定の方向に走査する如く漸次移動させながら、その矩形領域Ｗ２内の画像データを抽出する（切り出す）処理を実行する。この結果、矩形領域Ｗ２の漸次の移動位置に該当するものとして、複数の部分画像のデータが順次抽出され（切り取られ）、矩形領域Ｗ２に応じた画像群のデータが出力される。上述のようにして得た画像（データ）から夫々特徴量を抽出するが、この処理については後述する。

図５（ａ）は探索窓切り出し手段１２３にて切り取られた画像群（顔の画像）を表わしている。この画像群に属する各画像ａ５１，ａ５２，ａ５３，ａ５４，…における濃淡は陰影を表している。
図５（ｂ）は、予め用意された線形関数（画像の輝度レベルを表す）の画像群ｂ５１，ｂ５２，ｂ５３，ｂ５４，…を表している。

図５（ｃ）は、図５（ａ）の各画像ａ５１，ａ５２，ａ５３，ａ５４，…に対して、図５（ｂ）の線形関数ｂ５１，ｂ５２，ｂ５３，ｂ５４，…から最も当てはまりの良いものとして選択された線形関数を差し引いた、差分画像各画像ｃ５１，ｃ５２，ｃ５３，ｃ５４，…を表している。尚、図５（ａ）と図５（ｂ）とでは、最も当てはまりの良い線形関数が上下で対応している。

上述のように、前処理手段１２４における前処理では、探索窓切り出し手段１２３から供給された各顔画像に対して最も当てはまりの良い線形関数を選択的に当てはめて、陰影の影響を除去する。また、線形関数によって陰影の影響を除くほか、コントラスト等の違いを低減させるための各種補正処理を行う。
予め学習画像生成手段による学習画像セットを用いて、特定の大きさの画像を顔と顔以外に識別する顔検出器を構成する。尚、特徴量は、輝度やエッジから生成される画像特徴量を用いる。また、検出器は、多層ニューラルネットワーク、サポートベクトルマシンや、学習画像セットの平均輝度値を標準顔画像としたテンプレートマッチングなどを使用する。

顔検出方法としては、探索窓を画像中で移動させながら顔検出の判定を行う（図６）。画像中の探索窓領域において、（その位置で前処理を含む輝度補正処理等を行い、）特徴量を抽出する。抽出した特徴ベクトルを上記で学習した顔検出器に入力し、探索窓領域が顔か顔でないかの判定を行う。この処理を入力画像中の全領域で行うことにより、画像中から顔を検出することが出来る。

顔検出手段１２５には、前処理手段１２４により前処理を施した画像と、探索窓切り出し手段１２３から上述の前処理を施すことなく供給される画像とが入力される。既述のように予め学習画像生成手段１１３によって生成された画像具による学習画像セットを適用するようにして、特定の大きさの画像を顔と顔以外に識別する顔検出手段１２５を構成する。

尚、特徴量としては、輝度やエッジから生成される画像特徴量を用いる。また、検出器には、多層ニューラルネットワーク、サポートベクトルマシンや、学習画像セットの平均輝度値を標準顔画像としたテンプレートマッチングなどを使用する。
顔検出方法としては、図６を参照して説明したように、探索窓を画像中で漸次その位置を移動させながら顔検出の判定を行う。画像中の探索窓領域について、（その移動過程での漸次の各位置で前処理を含む輝度補正処理等を行い、）特徴量を抽出する。抽出した特徴ベクトルを上述の学習画像を適用する顔検出器に入力し、探索窓領域が顔画像か否かの判定を行う。この処理を、探索窓を漸次移動させて、入力画像中の全領域を対象にして実行することにより、画像中から顔を検出する。

図７は、顔検出手段１２５の作用を説明する図である。図７（ａ）は画像入力手段へ入力された画像の例を表わしている。図７（ｂ）は、探索窓切り出し手段１２３から上述の前処理を施すことなく供給される画像を検出対象画像として顔検出手段１２５によって顔領域と判定されたことを示す矩形領域を例示する図である。図７（ｃ）は、探索窓切り出し手段１２３から上述の前処理を施して供給される画像を検出対象画像として顔検出手段１２５によって顔領域と判定されたことを示す矩形領域を例示する図である。

（映り栄え）判定手段１２６は、選択された探索窓において前処理を行わずに特徴量を抽出した特徴ベクトルを顔検出手段１２５に入力した結果である図７（ｂ）と、選択された探索窓において輝度補正を含む前処理を行った後に特徴量を抽出した特徴ベクトルを顔検出手段１２５に入力した結果である図７（ｃ）とを比較する。この比較には図８の判定テーブルを適用する。

図８は、（映り栄え）判定手段１２６における判定処理を説明するための図である。「顔検出手段」の欄における、ｆ１，ｆ２，ｆ３，ｆ４の４通りの顔検出結果について、「○」は、探索窓切り出し手段１２３による矩形領域が顔であることを示し、「×」は矩形領域が顔でないことを示す。「判定手段」の欄における「○」が映り栄えの良い顔画像を指し、「△」が映り栄えの良くない顔画像を示している。「×」については、顔画像が存在していないことを示す。

図８における判定処理では、前処理を経ずに判定処理を実行した結果（１）が顔領域として判定したものを映り栄えの良い顔画像と判定する。前処理を経て判定処理を実行した結果（２）のみが顔領域として判定したものは、輝度補正を含む前処理による陰影の補正の効果があった、つまり前処理を施さない状態では陰影が含まれており、映り栄えの良くない顔画像であると判定する。

図８を参照して説明した顔検出結果の良否が、本発明思想における、予定した種類の被写体の予定した被撮影部位（上記における顔）に係る、撮影結果に対する予め規定した良否判定の評価尺度（上記における、陰影がないなど）に照らして、所定の水準に達している適格画像に該当するか否かに、結果的に相応することになる。
ここに、評価尺度を要約的に例示すれば、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであると言うことができる。

図９は、情報生成手段１２７において生成される映り栄え顔画像の情報を例示する図である。図９（ａ）は矩形の画像の表示、図９（ｂ）はメッセージ文を表示部に出力する一例を示している。即ち、情報生成手段１２７は（映り栄え）判定手段１２６による判定結果を受けて、ユーザに情報を提示する。図９（ａ）の例では、映り栄えの良い顔画像と良くない顔画像について、ユーザに確認しやすく、それぞれ顔画像領域について異なる矩形で囲い表示体に出力する。図示の例では、映り栄えの良い顔画像を実線の矩形で囲むように表示し、映り栄えの良くない顔画像については一点鎖線で囲むように表示している。

デジタルカメラなどによる撮影後の確認時などは、図９（ｂ）に例示するように、再度撮影することを推奨するなどのコメントを表示手段１２８によって出力する
また、評価結果を得た画像を再度保存する際に、画像検索情報として活用出来る文字情報を挿入する諸手続きを行う。例えば、ＭＰＥＧ７によるメタデータで検索情報や撮影したカメラ、その他必要なデータを添付しておくことによって、カテゴリ分けなどを行うに際してそれらの検索情報に依拠して分類して扱うことが出来る。

上記を敷衍すれば、未処理画像評価手段、前処理画像評価手段、および、判定手段の何れかによる判定結果を表すデータを、後に検索可能な形態で、当該被評価画像を表す画像データに関連付けて記録する関連情報記録手段を更に備える技術であるということである。
例えば、画像検索時において、ａ…写りの良いもの（陰影が全く無いもの）、ｂ…陰影が多少なりともあるが大体良い、ｃ…陰影が含まれているもの、等など条件に合わせて区分した画像を所望に応じて選別された形で取り出すことが出来る。

図１０は、図１を参照して説明した画像評価システムおよび方法の要部を抽出して示すブロック図である。図１０において図１との対応部には同一の参照符合を用いて示し、それら各部の詳細な説明は省略する。ユーザによって選出された一または複数の被評価画像１２１が、画像入力手段１２２によって、メモリ（図２におけるＲＡＭ２０３）に読み込まれ蓄積される。メモリに蓄積されたこれらの画像について、同一の画像（の画像データ）が第１の処理系統Ｓ１と第２の処理系統Ｓ２との２系統の処理過程を経て判定手段１２６に供給される。

ここに、第１の処理系統Ｓ１は、画像入力手段１２２によってメモリに蓄積されたこれらの画像について、別段の前処理を施すことなく、顔検出手段１２５−１によって図７を参照して既述の方法と同様にして顔画像を抽出して、判定手段１２６に供給する。一方、第２の処理系統Ｓ２は、画像入力手段１２２によってメモリに蓄積されたこれらの画像について、前処理手段１２４による前処理を施してから、顔検出手段１２５−２によって顔画像を抽出して、判定手段１２６に供給する。

判定手段１２６では、前処理手段１２４による前処理を経ずに判定処理を実行する第１の系統を用いる方法（未処理画像評価）により顔領域として判定されたものを映り栄えの良い顔画像と判定する。一方、前処理手段１２４による前処理を経て判定処理を実行する第２の系統を用いる方法（前処理画像評価）によってのみ顔領域として判定されたものは、輝度補正を含む前処理による陰影の補正の効果があったということであるから、前処理を施さない状態では陰影が含まれており、映り栄えの良くない顔画像であると判定する。

上記を敷衍すれば、判定手段は、未処理画像評価手段によって適格画像に該当すると判定され、且つ、前処理画像評価手段によって適格画像に該当しないと判定された被評価画像のみを最終的に前記適格画像であると判定する技術であるということである。
また、判定手段は、未処理画像評価手段によって適格画像に該当しないと判定され、且つ、前処理画像評価手段によって適格画像に該当すると判定された被評価画像を最終的に適格画像ではないと判定する技術であるということである。

図１１は、図１０を参照して説明した画像評価システムおよび方法に準じた他の例を表す図である。図１１において、図１０との対応部には同一の参照符合を用いて示し、それら各部の詳細な説明は省略する。ユーザによって選出された一または複数の被評価画像１２１が、画像入力手段１２２によって、メモリ（図２におけるＲＡＭ２０３）に読み込まれ蓄積される。メモリに蓄積されたこれらの画像について、同一の画像（の画像データ）が第１の処理系統Ｓ１、第２の処理系統Ｓ２、…、第ｎの処理系統Ｓｎを夫々経て判定手段１２６に供給される。

既述のとおり、第１の処理系統Ｓ１は、画像入力手段１２２によってメモリに蓄積されたこれらの画像について、別段の前処理を施すことなく、顔検出手段１２５−１によって図７を参照して既述の方法と同様にして顔画像を抽出して、判定手段１２６に供給する。一方、第２の処理系統Ｓ２、乃至、第ｎの処理系統Ｓｎは、画像入力手段１２２によってメモリに蓄積されたこれらの画像について、前処理手段１２４−１，…，１２４−ｍによる前処理を施してから、顔検出手段１２５−２，…，１２５−ｎによって顔画像を抽出して、判定手段１２６に供給する。

ここに、前処理手段１２４−１，…，１２４−ｍは、夫々異なるものであり、参照符合１２４−１から始まって漸次１２４−ｍに向かう程、相対的に複雑な前処理を実行するものとする。種々の前処理の具体例としては、例えば、照明条件の変化による陰影強度の変化を補正する前処理、眼鏡着用者について、画像処理にて眼鏡除去を行う前処理、眼鏡のレンズへの光の反射を補正する前処理など、が挙げられる。

図１１を参照して説明した思想を敷衍して要約すれば、予定した種類の被写体の予定した被撮影部位に係る撮影結果に対する予め規定した良否判定の評価尺度による評価が所定の水準に達している適格画像に該当する複数の学習画像に基づいて形成した基準画像を表す基準画像データを保持する基準画像データ保持部と、評価対象とする被評価画像に前記評価尺度に関する改善処理を施すことなく前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する未処理画像評価手段と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する一または複数種類の前処理画像評価手段と、前記未処理画像評価手段による評価結果と前記一または複数種類の前処理画像評価手段による各評価結果との比較に基づいて前記被評価画像が前記適格画像に該当するか否かを判定する判定手段とを備える画像評価技術であるということができる。

図１２は、本発明の画像評価プログラムによる処理を表すフローチャートである。先ず、図１における被評価画像１２１のデータを読み込む（ステップＳ１２０１）。次いで、ステップＳ１２０１で読み込まれた同じ画像に対して、前処理を施す系統と施さない系統とに分けて（ステップＳ１２０２）、前処理を施す系統については、一または複数の前処理（所定の評価尺度に関する改善処理）を施して（ステップＳ１２０３）、顔検出に付す（ステップＳ１２０４）。

一方、ステップＳ１２０１で読み込まれた同じ画像に対して、前処理を施さない系統については、そのまま顔検出に付す（ステップＳ１２０５）。顔検出が正常に行なわれ得るのが、ステップＳ１２０３の前処理を施した方の系統の画像か、或いは、前処理を施さない系統の画像かに応じて（ステップＳ１２０６）、前処理を施さない系統の画像の方が良好に（上掲の例では、人物の顔であると）識別されるときには、被評価画像が前記評価尺度に関して所定の水準に達している適格画像に該当する、即ち、映り栄えが良好と判定する（ステップＳ１２０７）。一方、前処理を施した系統の画像が良好に識別されるときには、映り栄えが良好でないと判定する（ステップＳ１２０８）。

ステップＳ１２０３、および、ステップＳ１２０５の顔検出には所定の基準画像が用いられる。
図１３は、図１２のフローチャートによる処理に適用される基準画像を得るための処理を表すフローチャートである。図１の既得の複数の画像１１１について画像入力手段でそれらの画像のデータを読み込む（ステップＳ１３０１）。次いで、既述の、学習画像生成処理を施す（ステップＳ１３０２）。ステップＳ１３０２で生成した学習画像の枚数が予定の枚数に達したか否かが判断され（ステップＳ１３０３）、達していなければステップＳ１３０１からの処理が繰り返され、予定の枚数に達したときに、それら複数の画像でなる学習画像群を学習画像セットとして設定し、処理を終了する。

本発明の実施の形態としては、以上に説明したものの他に、集合写真などとして撮影する場合、予め被写体の人数を入力しておき、撮影段階で映り栄え状態にある人数を表示し取り直しを促すといった形態での実施も考えられる。また、デジタルカメラによる連続撮影モードにおけるベストショットや、動画撮影において、最も映り栄えの良いものを抽出するために適用して有効である。更に、録画されたドラマなどでの代表的なシーンを静止画として切り出す技術への応用も考えられる。この場合は、代表的なシーンに該当する画像群を、既述の学習画像セットとして適用すればよい。更にまた、メタデータの自動生成を行うためにも応用ができ、画像検索時に映り栄えの良いものから順に表示したり、自動整理するといった利便性が得られる。

本発明のシステムおよび方法の概念を表すブロック図である。 本発明のシステムが構築され、および、本発明の方法が本発明のプログラムに基づいて実行されるハードウェアの構成を示す概念図である。 図１中の学習画像生成手段で実行される学習画像の生成処理を説明する図である。 照明の光源方向を見極めて顔にかかる陰影のない画像を学習画像として抽出する処理過程を説明する図である。 照明条件の変化による陰影を補正する前処理手段における前処理について説明する図である。 図１中の探索窓切り出し部により被評価画像から矩形領域のデータを抽出する処理について説明する図である。 図１中の顔検出手段の作用を説明する図である。 図１中の（映り栄え）判定手段における判定処理を説明するための図である。 図１中の情報生成手段において生成される映り栄え顔画像の情報を例示する図である。 図１を参照して説明した画像評価システムおよび方法の要部を抽出して示すブロック図である。 図１０を参照して説明した画像評価システムおよび方法に準じた他の例を表す図である。 本発明の画像評価プログラムによる処理を表すフローチャートである。 図１２のフローチャートによる処理に適用される基準画像を得るための処理を表すフローチャートである。

符号の説明

１００…画像評価システム １１１…既得の複数の画像 １１２…画像入力手段 １１３…学習画像生成手段 １１４…学習画像セット １２１…被評価画像 １２２…画像入力手段 １２３…探索窓切り出し手段 １２４…前処理手段 １２５…顔検出手段 １２６…判定手段 １２７…情報生成手段 １２８…表示手段

Claims (15)

1. 予定した種類の被写体の予定した被撮影部位に係る撮影結果に対する予め規定した良否判定の評価尺度による評価が所定の水準に達している適格画像に該当する複数の学習画像に基づいて形成した基準画像を表す基準画像データを保持する基準画像データ保持部と、評価対象とする被評価画像に前記評価尺度に関する改善処理を施すことなく前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する未処理画像評価手段と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像データ保持部に保持された基準画像データによる基準画像を用いて評価する一または複数種類の前処理画像評価手段と、前記未処理画像評価手段による評価結果と前記一または複数種類の前処理画像評価手段による各評価結果との比較に基づいて前記被評価画像が前記適格画像に該当するか否かを判定する判定手段とを備えたことを特徴とする画像評価システム。
2. 前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であることを特徴とする請求項１に記載の画像評価システム。
3. 前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であり、前記人物の顔部分に係る撮影結果に対する前記良否判定の評価尺度は、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであることを特徴とする請求項１に記載の画像評価システム。
4. 前記判定手段は、前記未処理画像評価手段によって前記適格画像に該当すると判定され、且つ、前記前処理画像評価手段によって前記適格画像に該当しないと判定された被評価画像のみを最終的に前記適格画像であると判定することを特徴とする請求項１に記載の画像評価システム。
5. 前記判定手段は、前記未処理画像評価手段によって前記適格画像に該当しないと判定され、且つ、前記前処理画像評価手段によって前記適格画像に該当すると判定された被評価画像を最終的に前記適格画像ではないと判定することを特徴とする請求項１に記載の画像評価システム。
6. 前記未処理画像評価手段、前記前処理画像評価手段、および、前記判定手段の何れかによる判定結果を表すデータを、後に検索可能な形態で、当該被評価画像を表す画像データに関連付けて記録する関連情報記録手段を更に備えたことを特徴とする請求項１に記載の画像評価システム。
7. 前記未処理画像評価手段は、前記基準画像に依拠して前記改善処理を施すことなく当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当するものであると判定するように構成され、前記前処理画像評価手段は、前記基準画像に依拠して前記改善処理を施した当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当しないものであると判定するように構成されていることを特徴とする請求項１に記載の画像評価システム。
8. 予定した種類の被写体の予定した被撮影部位に係る撮影結果に対してその良否判定の評価尺度を予め規定し、当該評価尺度による評価の結果が所定の水準に達している適格画像に該当する複数の学習画像に基づいて基準画像を形成し、評価対象とする被評価画像に前記評価尺度に関する改善処理を施すことなく前記基準画像を用いて評価する未処理画像評価と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像を用いて評価する一または複数種類の前処理画像評価とを実行し、前記未処理画像評価による評価結果と前記一または複数種類の前処理画像評価による各評価結果との比較に基づいて前記被評価画像が前記適格画像に該当するか否かを判定することを特徴とする画像評価方法。
9. 前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であることを特徴とする請求項８に記載の画像評価方法。
10. 前記予定した種類の被写体の予定した被撮影部位は、人物の顔部分であり、前記人物の顔部分に係る撮影結果に対する前記良否判定の評価尺度は、顔部分に含まれる陰影の程度、鼻や骨格などの凹凸により発生した陰影の左右の対称の程度、高輝度部の諧調表現不能の程度、および、低輝度部の諧調表現不能の程度、の何れか一以上の程度に基づくものであることを特徴とする請求項８に記載の画像評価方法。
11. 前記未処理画像評価の結果前記適格画像に該当すると判定され、且つ、前記前処理画像評価の結果前記適格画像に該当しないと判定された被評価画像のみを最終的に前記適格画像であると判定することを特徴とする請求項８に記載の画像評価方法。
12. 前記未処理画像評価の結果前記適格画像に該当しないと判定され、且つ、前記前処理画像評価の結果前記適格画像に該当すると判定された被評価画像を最終的に前記適格画像ではないと判定することを特徴とする請求項８に記載の画像評価方法。
13. 前記未処理画像評価は、前記基準画像に依拠して前記改善処理を施すことなく当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当するものであると判定する評価方法であり、前記前処理画像評価は、前記基準画像に依拠して前記改善処理を施した当該被評価画像に対する識別処理を実行したときに当該被評価画像が前記被撮影部位に該当するものであるという識別結果を得た場合に、その被評価画像を前記適格画像に該当しないものであると判定する評価方法であることを特徴とする請求項８に記載の画像評価方法。
14. 評価対象とする被評価画像に所定の評価尺度に関する改善処理を施すことなく所定の基準画像を用いて評価する未処理画像評価の処理と、当該被評価画像に前記評価尺度に関する一または複数種類の改善処理を施して前記基準画像を用いて評価する一または複数種類の前処理画像評価の処理と、前記未処理画像評価による評価結果と前記一または複数種類の前処理画像評価による各評価結果との比較に基づいて前記被評価画像が前記評価尺度に関して所定の水準に達している適格画像に該当するか否かを判定する判定処理と、を含む処理をコンピュータに実行させることを特徴とする画像評価プログラム。
15. 前記基準画像として、予定した種類の被写体の予定した被撮影部位に係る撮影結果に関して予め規定した良否判定の評価尺度による評価の結果が所定の水準に達している適格画像に該当する複数の学習画像に基づいて形成する処理によって得た画像を適用することを特徴とする請求項１４に記載の画像評価プログラム。

Images