JP2018156246A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像に基づく処理を適切に行うことができる撮像画像を生成することが可能な画像処理装置等を提供する。【解決手段】コンピュータは、カメラで撮像して得られた撮像画像から被写体の人の顔領域を検出し、検出した顔領域から白目又は歯等の所定器官の領域を検出する。コンピュータは、検出した器官の領域における画像の特徴量を特定し、特定した特徴量を、予め記憶部に記憶してある人の顔の所定器官における画像に係る目標値に補正するための補正関数を生成する。コンピュータは、生成した補正関数に基づく補正処理を、撮像画像の全部又は一部に行う。【選択図】図１

Description

本発明は、人を撮影して得られた画像に画像処理を行う技術に関する。

人を撮影して得られた画像に各種の補正処理を行うことにより、被写体の人を美しく見せる画像を生成する技術が用いられている。特許文献１には、画像中の顔領域を検出し、検出した顔領域に対して美肌処理（補正処理）を行うことにより、被写体の人を美しく見せる画像を生成する装置が開示されている。

特開２０１２−３３２４号公報

しかしながら、画像中の顔領域の特徴量に基づいて、この顔領域に対して美肌処理等の処理を行う構成では、画像全体又は顔領域の色味、輝度等が良好でない撮像画像に基づくと適切な処理を行うことができない虞がある。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、画像に基づく処理を適切に行うことができる撮像画像を生成することが可能な画像処理装置等を提供することにある。

本発明の一態様に係る画像処理装置は、人の撮像画像に画像処理を行う画像処理装置において、人の顔の所定器官における画像に係る目標値を記憶する記憶部と、撮像画像から人の顔領域を検出する顔検出部と、該顔検出部が検出した顔領域から前記所定器官の領域を検出する器官検出部と、該器官検出部が検出した所定器官の領域における特徴量を特定する特徴量特定部と、該特徴量特定部が特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する補正関数生成部とを備えることを特徴とする。

本発明の一態様に係る画像処理方法は、人の撮像画像に画像処理を行う画像処理装置による画像処理方法において、前記画像処理装置が、撮像画像から人の顔領域を検出し、検出した顔領域から顔の所定器官の領域を検出し、検出した所定器官の領域における特徴量を特定し、特定した特徴量を、記憶部に記憶してある人の顔の所定器官における画像に係る目標値に補正するための補正関数を生成することを特徴とする。

本発明の一態様に係るプログラムは、人の顔の所定器官における画像に係る目標値を記憶する記憶部を有するコンピュータに、人の撮像画像を処理させるためのプログラムであって、前記コンピュータに、撮像画像から人の顔領域を検出し、検出した顔領域から前記所定器官の領域を検出し、検出した所定器官の領域における特徴量を特定し、特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する処理を実行させることを特徴とする。

本発明の一態様にあっては、画像に基づく処理を適切に行うことが可能な撮像画像を生成することができる。

実施形態１に係るコンピュータの構成例を示すブロック図である。 制御部によって実現される機能を示すブロック図である。 制御部が行う処理の説明図である。 コンピュータが行う処理の手順を示すフローチャートである。 実施形態２のコンピュータの制御部によって実現される機能を示すブロック図である。 実施形態２のコンピュータの制御部が行う処理の説明図である。 実施形態２のコンピュータが行う処理の手順を示すフローチャートである。 実施形態３に係るロボットの模式図である。 実施形態３に係るロボットの構成例を示すブロック図である。 実施形態３のコンピュータの制御部によって実現される機能を示すブロック図である。 実施形態３のコンピュータが行う処理の手順を示すフローチャートである。

以下、図面を用いて、実施の形態を具体的に説明する。

（実施形態１）
図１は、実施形態１に係るコンピュータの構成例を示すブロック図である。
コンピュータ１は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等である。コンピュータ１は、制御部１０、記憶部１１、操作部１２、表示部１３及びカメラ接続部１４等を含み、これらの各部はバスを介して相互に接続されている。

制御部１０は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等のプロセッサを含む。制御部１０は、記憶部１１に記憶してある制御プログラムを適宜実行することにより、コンピュータ１が行う種々の制御処理を行う。
記憶部１１は、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１１は、制御部１０が実行する制御プログラム（例えば、画像処理プログラム１１ａ）及び各種のデータ（例えば、目標値データ１１ｂ）等を予め記憶している。また記憶部１１は、制御部１０が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。

操作部１２は、例えばキーボード、マウス等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１０へ送出する。
表示部１３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等を含み、制御部１０からの指示に従って各種の情報を表示する。
操作部１２及び表示部１３は、一体として構成されたタッチパネルとすることもできる。

カメラ接続部１４には、例えばケーブルを介してカメラ１４ａが接続される。カメラ１４ａは、静止画データ又は動画データ等の画像データを取得し、取得した画像データをコンピュータ１へ出力する。コンピュータ１の制御部１０は、カメラ１４ａから出力された画像データ（以下では、撮像画像という）をカメラ接続部１４を介して取得し、記憶部１１に記憶させる。
なお、カメラ１４ａとコンピュータ１とは無線通信できるように構成されていてもよく、また、カメラ１４ａはコンピュータ１に内蔵された構成でもよい。

実施形態１のコンピュータ１は、上述した構成のほかに、インターネット等のネットワークに接続するための通信部を備えていてもよい。
実施形態１では、コンピュータ１に、本願のプログラムである画像処理プログラム１１ａをインストールし、制御部１０が画像処理プログラム１１ａを実行することにより、コンピュータ１が本願の画像処理装置として動作する。

次に、コンピュータ１の制御部１０が画像処理プログラム１１ａを実行することによって実現される機能について説明する。図２は、制御部１０によって実現される機能を示すブロック図、図３は、制御部１０が行う処理の説明図である。コンピュータ１の制御部１０は、記憶部１１に記憶してある画像処理プログラム１１ａを実行した場合、顔検出部２１、器官検出部２２、特徴量特定部２３、補正関数生成部２４、補正部２５の各機能を実現する。なお、本実施形態では、上述した各機能を制御部１０が画像処理プログラム１１ａを実行することにより実現するが、上述した各機能の一部を専用のハードウェア回路で実現してもよい。

顔検出部２１は、カメラ接続部１４を介してカメラ１４ａから取得した撮像画像（画像データ）から人の顔領域を検出する。カメラ１４ａは、例えば被写体の人の全身又は上半身を撮影しており、顔検出部２１は、撮像画像に含まれる被写体の人の顔領域を検出する。顔検出部２１は、例えばテンプレートマッチング技術によって撮像画像中の顔領域を検出する。具体的には、一般的な人の顔の画像を示すテンプレートが予め記憶部１１に記憶されており、顔検出部２１は、撮像画像からテンプレートに一致する領域を検出した場合、検出した領域を顔領域として抽出する。
例えば、図３（Ａ）に示す撮像画像では、破線で囲った領域Ｆが顔領域として検出されている。

器官検出部２２は、顔検出部２１が検出した顔領域から所定器官の領域を検出する。所定器官は、例えば白目、歯、鼻、頬であり、器官検出部２２は、顔領域中の白目、歯、鼻及び頬の領域を検出する。器官検出部２２は、例えばテンプレートマッチング技術によって各器官の領域を検出する。具体的には、一般的な人の各器官（白目、歯、鼻及び頬）の画像を示すテンプレートが予め記憶部１１に記憶されており、器官検出部２２は、顔領域からテンプレートに一致する領域を検出した場合、検出した領域を各器官の領域として抽出する。
例えば、図３（Ｂ）に示す顔領域では、実線で囲った領域Ａ１が白目領域として検出され、領域Ａ２が歯領域として検出され、領域Ａ３が頬領域として検出され、領域Ａ４が鼻領域として検出されている。

なお、器官検出部２２は、予めテンプレートが用意された全ての器官の領域を検出する必要はなく、少なくとも１つの器官の領域を検出すればよい。
また、一般的な人の顔領域に対する各器官の相対位置を示す情報を予め記憶部１１に記憶しておき、器官検出部２２は、顔検出部２１が検出した顔領域に対して、記憶部１１に記憶された情報に基づいて各器官の位置及び領域を検出してもよい。

特徴量特定部２３は、器官検出部２２が検出した器官領域における画像の特徴量を特定する。特徴量は、例えば器官領域における代表色及び平均輝度であり、特徴量特定部２３は、器官領域に含まれる画像データ（画素値）に基づいて、器官領域の代表色及び平均輝度を算出する。
器官検出部２２が複数の器官領域を検出した場合、特徴量特定部２３は、各器官領域の代表色及び平均輝度を特定する。そして、特徴量特定部２３は、例えば器官毎に設定された重み係数を用いて重み付け加算を行い、複数の器官領域（１つの顔領域）における代表色及び輝度を算出（特定）する。

補正関数生成部２４は、記憶部１１から目標値データ１１ｂを読み出し、特徴量特定部２３が特定した代表色及び輝度（特徴量）を、記憶部１１から読み出した目標値データ１１ｂに補正するための補正関数を生成する。目標値データ１１ｂは、器官検出部２２が検出すべき器官領域における目標値のデータであり、器官領域の画像において目標とすべき色及び輝度である。補正関数生成部２４は、例えばガンマ補正関数又は線形関数を生成し、ガンマ補正関数を生成する場合はガンマ値を算出し、線形補正関数を生成する場合は係数を算出する。

補正部２５は、補正関数生成部２４が生成した補正関数に基づく補正処理を撮像画像に対して行う。なお、補正部２５は、補正処理を、撮像画像の全体に対して行う構成でもよいし、顔検出部２１が検出（抽出）した顔領域に対してのみ行う構成でもよい。例えば、図３（Ｃ）には、補正処理が撮像画像全体に行われた場合の撮像画像を示す。実施形態１では、上述した各部によって、被写体の人の顔における器官の画像情報に基づいて導出された補正関数に基づく補正処理が行われるので、撮像画像全体を適切な色味及び輝度に補正することができる。よって、撮像画像が例えば図３（Ａ）に示すように全体的に暗い場合であっても、上述した補正処理によって、図３（Ｃ）に示すような明るい画像に補正できる。
また、制御部１０が、顔検出部２１が検出した顔領域を含む被写体の人の領域を検出（抽出）する処理を更に行うようにした場合、補正部２５は、被写体の人の領域全体に対して補正処理を行う構成とすることもできる。

次に、コンピュータ１が行う処理について説明する。図４は、コンピュータ１が行う処理の手順を示すフローチャートである。以下の処理は、コンピュータ１の記憶部１１に記憶してある制御プログラムに従って制御部１０によって実行される。
コンピュータ１が画像処理対象として人の撮像画像を取得した場合、制御部１０（顔検出部２１）は、取得した撮像画像から人の顔領域を検出する（Ｓ１）。撮像画像中に複数の人が含まれている場合、制御部１０は、複数の人の顔領域をそれぞれ検出する。

制御部１０は、検出した顔領域のうちの１つの顔領域を抽出する（Ｓ２）。具体的には、制御部１０は、検出した顔領域に含まれる画像データ（画素値）を抽出する。
次に制御部１０（器官検出部２２）は、ステップＳ２で抽出された顔領域から所定器官の領域（器官領域）を検出する（Ｓ３）。制御部１０は、検出した器官領域に含まれる画像データ（画素値）を抽出し（Ｓ４）、抽出した画像データに基づいて、抽出した器官領域の特徴量（代表色及び平均輝度）を特定（算出）する（Ｓ５）。なお、ステップＳ３で複数の器官領域を検出した場合、制御部１０は、ステップＳ４で、それぞれの器官領域に含まれる画像データを抽出し、ステップＳ５で、それぞれの器官領域の特徴量を特定し、それぞれの器官領域の特徴量に基づいて、複数の器官領域（ステップＳ２で抽出した顔領域）における特徴量を特定（算出）する。

制御部１０（補正関数生成部２４）は、記憶部１１から目標値データ１１ｂを読み出し（Ｓ６）、ステップＳ５で特定した特徴量（代表色及び平均輝度）と、目標値データ１１ｂとに基づいて補正関数を生成する（Ｓ７）。
そして制御部１０（補正部２５）は、ステップＳ７で生成した補正関数に基づいて撮像画像を補正する（Ｓ８）。ここでは、例えばステップＳ２で抽出した顔領域に対して補正処理を行ってもよい。

制御部１０は、ステップＳ２で抽出した顔領域に対して上述した処理を行った場合、ステップＳ１で検出した顔領域のうちで、上述した処理を行っていない顔領域（未処理領域）が有るか否かを判断する（Ｓ９）。未処理領域が有ると判断した場合（Ｓ９：ＹＥＳ）、制御部１０は、ステップＳ１で検出した顔領域のうちで未処理の顔領域を１つ抽出し（Ｓ２）、抽出した顔領域に対して、ステップＳ３〜Ｓ８の処理を行う。
制御部１０は、未処理領域が無いと判断した場合（Ｓ９：ＮＯ）、この撮像画像に対する処理を終了する。

上述した処理において、ステップＳ８の補正処理は、ステップＳ２で抽出した各顔領域に対してそれぞれ行われるほかに、撮像画像全体に行われてもよい。この場合、例えば、ステップＳ１で検出した顔領域のそれぞれについてステップＳ３で検出した器官領域のそれぞれの特徴量から、例えば器官毎に設定された重み係数を用いた重み付け加算によって、この撮像画像としての器官領域の特徴量（代表色及び輝度）を特定（算出）する。そして、特定された特徴量と、目標値データ１１ｂとに基づいて補正関数を生成することにより、撮像画像全体を補正するための補正関数が得られる。

上述した実施形態１では、被写体の人の顔における器官の画像情報に基づいて導かれた補正関数を用いて撮像画像が補正される。撮像画像において、人の顔における白目、歯、鼻、頬等の器官の色及び輝度は化粧又は人種等の影響を受けにくく、補正後の目標値（目標とすべき色及び輝度）を設定し易い。よって、撮像画像中の人の白目及び歯等の器官領域における特徴量と、予め設定された目標値とに基づいて補正関数を生成することにより、撮像画像中の器官領域を目標の色及び輝度に近づける補正が可能な補正関数を得ることができる。また、器官領域を目標値に近づける補正が可能な補正関数を用いて撮像画像全体を補正した場合には、撮像画像全体を適切な色及び輝度に補正することができる。即ち、器官領域以外の領域においても、適切な色及び輝度に補正することができる。
よって、適切な色及び輝度に補正された撮像画像を用いることにより、適切な処理を行うことが可能となる。

（実施形態２）
上述した実施形態１のコンピュータ１の変形例について説明する。実施形態２のコンピュータ１は、上述した実施形態１のコンピュータ１と同様の構成により実現できる。よって、同一の構成については同一の符号を付して説明を省略する。
実施形態２のコンピュータ１において、画像処理プログラム１１ａが実施形態１と若干異なるので、制御部１０が画像処理プログラム１１ａを実行することにより実現される機能が実施形態１と若干異なる。なお、実施形態１と同一の機能については同一の符号を付して説明を省略する。以下では、実施形態１と異なる機能について説明する。

図５は、実施形態２のコンピュータ１の制御部１０によって実現される機能を示すブロック図、図６は、実施形態２のコンピュータ１の制御部１０が行う処理の説明図である。
実施形態２のコンピュータ１の制御部１０は、記憶部１１に記憶してある画像処理プログラム１１ａを実行した場合、顔検出部２１、器官検出部２２、特徴量特定部２３、補正関数生成部２４、補正部２５のほかに、衣服領域抽出部２６及び印象特定部２７の各機能を実現する。顔検出部２１、器官検出部２２、特徴量特定部２３及び補正関数生成部２４は実施形態１と同様の処理を行う。実施形態２においても、制御部１０が画像処理プログラム１１ａを実行することにより実現する各機能の一部を専用のハードウェア回路で実現してもよい。

衣服領域抽出部２６は、撮像画像から被写体の人が着ている衣服（衣類）の領域を抽出する。衣服領域抽出部２６は、例えば、撮像画像において、顔検出部２１が検出した顔領域を基準として、顔領域の下側の所定領域を衣服領域として抽出する。例えば図６（Ａ）に示す撮像画像では、２人の被写体が含まれており、顔検出部２１がそれぞれの被写体の顔領域Ｆ１，Ｆ２を検出した場合、衣服領域抽出部２６は、それぞれの顔領域Ｆ１，Ｆ２に対応して、それぞれの被写体の衣服領域Ｃ１，Ｃ２を抽出する。
実施形態２の補正部２５は、衣服領域抽出部２６が抽出した衣服領域に対して、補正関数生成部２４が生成した補正関数に基づく補正処理を行う。これにより、図６（Ａ）に示す撮像画像では、図６（Ｂ）に示すように、それぞれの被写体の衣服領域Ｃ１，Ｃ２のみが補正される。実施形態２では、被写体の顔（器官）の画像情報に基づいて導出された補正関数を用いて衣服領域が補正されるので、衣服領域を適切な色味及び輝度に補正することができる。

印象特定部２７は、補正部２５によって補正された衣服領域の画像に基づいて、この被写体の人の印象を特定する。即ち、被写体の人の服装に基づいて被写体の人の印象が特定される。印象特定部２７は、予め記憶部１１に記憶されている印象情報データベース（以下、印象情報ＤＢという）１１ｃに基づいて被写体の人の印象を特定する。
印象情報ＤＢ１１ｃには、例えばフォーマル、カジュアル、シック、ビビット等の印象に対応付けて、それぞれの印象を受ける衣服の平均的な色及び輝度の情報（印象情報）が予め記憶されている。

印象特定部２７は、まず、補正部２５によって補正された衣服領域における画像の特徴量を特定する。ここでの特徴量は、例えば衣服領域における代表色及び平均輝度であり、印象特定部２７は、衣服領域に含まれる画像データ（画素値）に基づいて、衣服領域の代表色及び平均輝度を算出する。そして、印象特定部２７は、算出した衣服領域の代表色及び平均輝度と、印象情報ＤＢ１１ｃに記憶してある印象情報とを比較し、衣服領域の代表色及び平均輝度に最も近い印象情報を特定する。印象特定部２７は、特定した印象情報における印象を、この衣服領域を含む被写体の人の印象に特定する。

次に、実施形態２のコンピュータ１が行う処理について説明する。図７は、実施形態２のコンピュータ１が行う処理の手順を示すフローチャートである。図７に示す各処理において、図４に示した実施形態１の処理と同一の処理については同一のステップ番号を付して説明を省略する。

実施形態２のコンピュータ１において、制御部１０は、図４中のステップＳ１〜Ｓ７と同様の処理を行う。
次に、制御部１０（衣服領域抽出部２６）は、処理対象の撮像画像から、ステップＳ２で抽出した顔領域を含む被写体の人の衣服領域を抽出する（Ｓ１１）。具体的には、制御部１０は、撮像画像において、ステップＳ２で抽出した顔領域の下側の所定領域を衣服領域とし、この衣服領域に含まれる画像データ（画素値）を抽出する。

そして制御部１０（補正部２５）は、ステップＳ１１で抽出した衣服領域に対して、ステップＳ７で生成した補正関数に基づく補正処理を行う（Ｓ１２）。
更に制御部１０（印象特定部２７）は、補正処理後の衣服領域に基づいて、ステップＳ２で抽出した顔領域を含む被写体の人の印象を特定する（Ｓ１３）。

制御部１０は、ステップＳ２で抽出した顔領域に対して上述した処理を行った場合、ステップＳ１で検出した顔領域のうちで、上述した処理を行っていない顔領域（未処理領域）が有るか否かを判断する（Ｓ９）。未処理領域が有ると判断した場合（Ｓ９：ＹＥＳ）、制御部１０は、ステップＳ１で検出した顔領域のうちで未処理の顔領域を１つ抽出し（Ｓ２）、抽出した顔領域に対して、ステップＳ３〜Ｓ７及びＳ１１〜Ｓ１３の処理を行う。
制御部１０は、未処理領域が無いと判断した場合（Ｓ９：ＮＯ）、この撮像画像に対する処理を終了する。

実施形態２では、ステップＳ２で抽出した顔領域に対してステップＳ３〜Ｓ７及びＳ１１〜Ｓ１３の処理が行われる。即ち、撮像画像に複数人の被写体が含まれる場合に、それぞれの被写体毎に、補正関数の生成、補正処理の実行及び印象の特定が行われる。よって、例えば日なたにいる人と日陰にいる人とを含む撮像画像において、それぞれの被写体について各被写体の画像情報に基づく処理が実行される。従って、他の被写体の撮影状況の影響を受けることなく、それぞれの被写体に応じた補正関数に基づく補正処理が行われ、また、補正処理後の衣服領域に基づく印象特定が行われるので、それぞれの被写体の印象を精度良く特定することができる。

実施形態２では、上述の実施形態１と同様の効果が得られる。即ち、被写体の人の顔（器官）の画像情報に基づいて導かれた補正関数を用いて衣服領域が補正されるので、被写体の衣服領域を適切な色及び輝度に補正することができる。

（実施形態３）
上述した実施形態２のコンピュータ１が搭載されたロボットの実施形態について説明する。図８は実施形態３に係るロボットの模式図、図９は実施形態３に係るロボットの構成例を示すブロック図である。
ロボット４０は、土台となる胴体部分４２の上に頭部分４１が連結されており、モータ１５ａによって頭部分４１が胴体部分４２に対して、鉛直方向を軸として回転するように、また、水平面に対して上下方向に適宜角度回動するように構成されている。頭部分４１にはカメラ１４ａ及びスピーカ１６ａが設けられており、モータ１５ａによって頭部分４１を回転させることにより、カメラ１４ａ及びスピーカ１６ａを任意の方向に向けることができる。ロボット４０は、近付いてきた人の顔を撮影できる位置にカメラ１４ａが配置されるように構成されている。

実施形態３のコンピュータ１は、実施形態２のコンピュータ１が有する構成のほかに、モータ１５ａを駆動するためのモータ駆動部１５と、スピーカ１６ａを接続するためのスピーカ接続部１６とを含む。また、実施形態３のコンピュータ１では、記憶部１１に会話処理プログラム１１ｄが記憶されている。その他の構成は、上述した実施形態２と同様であり、同一の構成については同一の符号を付して説明を省略する。なお、実施形態３では、画像処理プログラム１１ａ及び会話処理プログラム１１ｄは異なるプログラムとして説明するが、１つのプログラムとして構成してもよい。

スピーカ接続部１６は、例えばケーブルを介してスピーカ１６ａが接続され、制御部１０から音声出力を指示された内容をスピーカ１６ａにて音声出力する。
モータ駆動部１５は、制御部１０から指示されたモータ駆動量に従ってモータ１５ａを駆動する。

図１０は、実施形態３のコンピュータ１の制御部１０によって実現される機能を示すブロック図である。実施形態３のコンピュータ１において、記憶部１１に記憶してある画像処理プログラム１１ａは実施形態２と同一である。よって、実施形態３のコンピュータ１の制御部１０が画像処理プログラム１１ａを実行した場合、実施形態２と同様の機能を実現する。具体的には、実施形態３の制御部１０は、顔検出部２１、器官検出部２２、特徴量特定部２３、補正関数生成部２４、補正部２５、衣服領域抽出部２６及び印象特定部２７の各機能を実現する。なお、実施形態２と同一の機能については同一の符号を付して説明を省略する。

次に、実施形態３のコンピュータ１の制御部１０が、記憶部１１に記憶してある会話処理プログラム１１ｄを実行することによって実現される機能について説明する。実施形態３のコンピュータ１の制御部１０は、会話処理プログラム１１ｄを実行した場合、会話特定部２８、頭部駆動部２９及び音声出力部３０の各機能を実現する。

会話特定部２８は、印象特定部２７が特定した被写体の人の印象に基づいて、この人との会話内容を特定する。会話特定部２８は、予め記憶部１１に記憶されている印象情報ＤＢ１１ｃに基づいて会話内容を特定する。実施形態３の印象情報ＤＢ１１ｃには、フォーマル、カジュアル、シック、ビビット等の印象と、それぞれの印象を受ける衣服の平均的な色及び輝度の情報と、それぞれの印象の人に応じた会話内容とが対応付けて記憶されている。よって、会話特定部２８は、印象特定部２７が特定した印象に対応する会話内容を印象情報ＤＢ１１ｃから読み出す。

頭部駆動部２９は、例えば、撮像画像において、顔検出部２１が検出した顔領域の位置に基づいて、カメラ１４ａ及びスピーカ１６ａを、この顔領域を有する被写体の人に向けるために、頭部分４１を回転させるべき現在の状態からの回転量（モータの駆動量）を特定する。具体的には、この被写体の人が撮像領域の中央に位置するために頭部分４１を回転させるべき回転量（モータの駆動量）を特定する。そして、頭部駆動部２９は、特定した駆動量に基づいてモータ駆動部１５にモータ１５ａを駆動させることにより、特定した回転量だけ頭部分４１を回転させる。
音声出力部３０は、会話特定部２８が特定した会話内容に基づく音声を、スピーカ接続部１６を介してスピーカ１６ａから出力する。これにより、ロボット４０は、被写体の人との会話を始めることができる。

次に、実施形態３のコンピュータ１が行う処理について説明する。図１１は、実施形態３のコンピュータ１が行う処理の手順を示すフローチャートである。図１１に示す各処理において、図７に示した実施形態２の処理と同一の処理については同一のステップ番号を付して説明を省略する。

実施形態３のコンピュータ１において、制御部１０は、図７中のステップＳ１〜Ｓ７，Ｓ１１〜Ｓ１３と同様の処理を行う。
次に、制御部１０（会話特定部２８）は、ステップＳ１３で特定された印象に対応する会話内容を特定する（Ｓ２１）。具体的には、制御部１０は、印象情報ＤＢ１１ｃから会話内容を読み出す。
また、制御部１０（頭部駆動部２９）は、処理対象の撮像画像において、ステップＳ２で抽出した顔領域の位置に基づいて、カメラ１４ａ及びスピーカ１６ａを被写体の人に向けるために頭部分４１を回転すべき回転量（モータ１５ａの駆動量）を特定する（Ｓ２２）。

制御部１０は、ステップＳ２２で特定した駆動量でモータ１５ａを駆動させ（Ｓ２３）、頭部分４１を回転させる。これにより、頭部分４１のカメラ１４ａ及びスピーカ１６ａを被写体の人に向けることができる。
また制御部１０は、ステップＳ２１で特定した会話内容に基づく音声を、スピーカ接続部１６を介してスピーカ１６ａから出力する（Ｓ２４）。

制御部１０は、ステップＳ２で抽出した顔領域に対して上述した処理を行った場合、ステップＳ１で検出した顔領域のうちで、上述した処理を行っていない顔領域（未処理領域）が有るか否かを判断する（Ｓ９）。未処理領域が有ると判断した場合（Ｓ９：ＹＥＳ）、制御部１０は、ステップＳ１で検出した顔領域のうちで未処理の顔領域を１つ抽出し（Ｓ２）、抽出した顔領域に対して、ステップＳ３〜Ｓ７、Ｓ１１〜Ｓ１３及びＳ２１〜Ｓ２４の処理を行う。
制御部１０は、未処理領域が無いと判断した場合（Ｓ９：ＮＯ）、この撮像画像に対する処理を終了する。

実施形態３では、ステップＳ２で抽出した顔領域に対してステップＳ３〜Ｓ７、Ｓ１１〜Ｓ１３及びＳ２１〜Ｓ２４の処理が行われる。即ち、撮像画像に複数人の被写体が含まれる場合に、それぞれの被写体毎に、補正関数の生成、補正処理の実行、印象の特定及び音声出力（会話）が行われる。よって、撮像画像に複数人の被写体が含まれる場合に、それぞれの被写体の印象を特定し、特定した印象に応じた音声出力（会話）を行うことができる。

実施形態３でも、上述の実施形態１，２と同様の効果が得られる。即ち、被写体の人の顔（器官）の画像情報に基づいて導かれた補正関数を用いて衣服領域が補正されるので、被写体の衣服領域を適切な色及び輝度に補正することができる。また、適切に補正された衣服領域に基づいて被写体の人の印象が特定されるので、それぞれの被写体の印象を精度良く特定することができ、それぞれの被写体の印象に応じた音声出力（会話）を行うことができる。

人と対話するロボットは、カメラを搭載し、ロボットに近づく人を撮影して得られた画像（撮像画像）から被写体の人の印象を特定し、特定した印象から会話の取っ掛かりをつかむように構成されている場合がある。よって、このようなロボットにおいて、被写体の人の印象を精度良く特定できることは不可欠である。例えば、逆光状態での撮影のように被写体の領域が暗い撮像画像や、全体が暗い撮像画像に基づいて被写体の人の印象を特定すると、暗い印象に特定されてしまう場合がある。また、明るすぎる（輝度が高すぎる）撮像画像に基づいて被写体の人の印象を特定した場合にも、被写体の人の本来の印象よりも明るい印象に特定されてしまう可能性がある。これらの場合、被写体の人の印象を誤って特定してしまい、誤った印象に基づいて見当違いな会話を開始してしまう虞がある。よって、実施形態３のロボット４０では、コンピュータ１による処理によって撮像画像を適切に補正することができ、補正後の撮像画像に基づいて被写体の人の印象を適切に特定することができる。従って、被写体の人に合った会話を行うことが可能となる。

実施形態２，３のコンピュータ１は、撮像画像中の被写体（人）の衣服領域（服装）から被写体の人の印象を特定するので、実施形態２，３の補正部２５は、撮像画像中の衣服領域にのみ補正処理を行う構成であった。このほかに、被写体（人）の顔領域から被写体の印象を特定する構成とすることもできる。この場合、補正部２５は、顔検出部２１が検出した顔領域に補正処理を行い、印象特定部２７は、補正処理後の顔領域に基づいて、被写体の人の印象特定を行えばよい。

上述した実施形態１〜３のコンピュータ１は、監視カメラシステムに適用できる。実施形態１〜３のコンピュータ１を用いた場合、例えば夜間に屋外の暗闇で撮影して得られた画像であっても、被写体の人の顔（器官）の画像情報に基づいて撮像画像を適切な色及び輝度に補正できる。よって、撮像画像が全体的に暗い場合であっても、適切に補正された撮像画像に基づいて不審人物の有無を検出できる。
また、実施形態１〜３のコンピュータ１をデジタルスチールカメラ又はデジタルビデオカメラ等のカメラに搭載し、カメラにて実行可能な補正処理の１つとして、実施形態１〜３のコンピュータ１による補正処理を行うようにしてもよい。

上述した実施形態１〜３のコンピュータ１による補正処理は、全体が暗い撮像画像や、被写体の人の領域が暗い撮像画像に対して効果的である。よって、処理対象の撮像画像に対して、まず、この撮像画像の平均輝度が所定値（第１閾値）以下であるか否かを判断し、平均輝度が所定値以下である撮像画像に対して、上述したような補正関数の生成、補正処理の実行を行う構成としてもよい。また、処理対象の撮像画像に対して、平均輝度が所定値（第１閾値よりも高い第２閾値）以上であるか否かを判断し、平均輝度が所定値以上である撮像画像に対して、上述したような補正関数の生成、補正処理の実行を行う構成とすることもできる。

本発明の一態様に係る画像処理装置は、人の撮像画像に画像処理を行う画像処理装置において、人の顔の所定器官における画像に係る目標値を記憶する記憶部と、撮像画像から人の顔領域を検出する顔検出部と、該顔検出部が検出した顔領域から前記所定器官の領域を検出する器官検出部と、該器官検出部が検出した所定器官の領域における特徴量を特定する特徴量特定部と、該特徴量特定部が特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する補正関数生成部とを備えることを特徴とする。

本発明の一態様によれば、撮像画像中の人の顔の所定器官の領域に基づいて、この所定器官の領域を適切に補正できる補正関数を生成する。撮影状況等の影響を受け難い器官の領域に基づいて補正関数を生成することにより、撮像画像を適切に補正するための補正関数を得ることができる。

本発明の一態様に係る画像処理装置は、前記補正関数生成部が生成した補正関数に基づいて、前記撮像画像の一部を補正する補正部を備えることを特徴とする。
本発明の一態様によれば、撮影状況等の影響を受け難い器官の領域に基づいて生成された補正関数を用いて撮像画像を補正することにより、適切に補正された撮像画像を得ることができる。

本発明の一態様に係る画像処理装置は、前記補正部が補正する撮像画像の一部は、前記撮像画像に含まれる人の衣類領域であることを特徴とする。
本発明の一態様によれば、撮像画像中の被写体の人の衣類領域を適切に補正することができる。

本発明の一態様に係る画像処理装置は、前記補正部が補正した前記撮像画像の一部に基づいて、前記撮像画像に含まれる人の印象を特定する印象特定部を備えることを特徴とする。
本発明の一態様によれば、適切に補正された撮像画像を用いることにより、撮像画像中の被写体の人の印象を精度良く特定することができる。

本発明の一態様に係る画像処理装置は、前記所定器官は、複数の器官を含み、前記器官検出部が前記複数の器官の領域を検出した場合、前記特徴量特定部は、前記器官検出部が検出した前記複数の器官の領域のそれぞれにおける特徴量を特定し、特定した複数の特徴量に基づいて、前記複数の器官の領域における特徴量を特定することを特徴とする。
本発明の一態様によれば、撮像画像中の人の顔領域から複数の器官領域が検出された場合、それぞれの器官領域における特徴量に基づいて、複数の器官領域（１つの顔領域）における特徴量が特定される。よって、複数の器官領域が検出された場合には、検出された各器官領域の特徴量を考慮した補正関数を生成することができる。

本発明の一態様に係る画像処理装置は、前記顔検出部が複数人の顔領域を検出した場合、前記器官検出部は、前記顔検出部が検出した顔領域毎に、各顔領域から前記所定器官の領域を検出し、前記特徴量特定部は、前記顔検出部が検出した顔領域毎に、前記器官検出部が検出した所定器官の領域における特徴量を特定し、前記補正関数生成部は、前記顔検出部が検出した顔領域毎に、前記特徴量特定部が特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成することを特徴とする。
本発明の一態様によれば、撮像画像から複数人の顔領域が検出された場合、それぞれの顔領域（被写体の人）毎に各処理が行われるので、被写体の人毎に補正関数を生成することができる。

本発明の一態様に係る画像処理装置は、前記所定器官は、白目、歯、鼻及び頬のうちの少なくとも１つを含むことを特徴とする。
本発明の一態様によれば、撮像画像中の顔領域における白目、歯、鼻、頬の器官領域に基づいて補正関数が生成される。白目、歯、鼻、頬の各器官の領域は撮影状況等の影響を受け難いので、各器官領域に基づいて適切な補正関数を生成することができる。よって、これらの各器官の領域に基づいて生成された補正関数を用いることにより、撮像画像を適切に補正することができる。

本発明の一態様に係る画像処理方法は、人の撮像画像に画像処理を行う画像処理装置による画像処理方法において、前記画像処理装置が、撮像画像から人の顔領域を検出し、検出した顔領域から顔の所定器官の領域を検出し、検出した所定器官の領域における特徴量を特定し、特定した特徴量を、記憶部に記憶してある人の顔の所定器官における画像に係る目標値に補正するための補正関数を生成することを特徴とする。
本発明の一態様によれば、撮像画像中の人の顔の所定器官の領域に基づいて、この所定器官の領域だけでなく、撮像画像全体を適切に補正できる補正関数を生成することができる。

本発明の一態様に係るプログラムは、人の顔の所定器官における画像に係る目標値を記憶する記憶部を有するコンピュータに、人の撮像画像を処理させるためのプログラムであって、前記コンピュータに、撮像画像から人の顔領域を検出し、検出した顔領域から前記所定器官の領域を検出し、検出した所定器官の領域における特徴量を特定し、特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する処理を実行させることを特徴とする。
本発明の一態様によれば、コンピュータにインストールして実行させることにより、上述した画像処理装置をコンピュータにて実現することができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ コンピュータ（画像処理装置）
１０ 制御部
１１ 記憶部
２１ 顔検出部
２２ 器官検出部
２３ 特徴量特定部
２４ 補正関数生成部
２５ 補正部
２７ 印象特定部
１４ａ カメラ

Claims (9)

1. 人の撮像画像に画像処理を行う画像処理装置において、
   人の顔の所定器官における画像に係る目標値を記憶する記憶部と、
   撮像画像から人の顔領域を検出する顔検出部と、
   該顔検出部が検出した顔領域から前記所定器官の領域を検出する器官検出部と、
   該器官検出部が検出した所定器官の領域における特徴量を特定する特徴量特定部と、
   該特徴量特定部が特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する補正関数生成部と
   を備えることを特徴とする画像処理装置。
2. 前記補正関数生成部が生成した補正関数に基づいて、前記撮像画像の一部を補正する補正部を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部が補正する撮像画像の一部は、前記撮像画像に含まれる人の衣類領域であることを特徴とする請求項２に記載の画像処理装置。
4. 前記補正部が補正した前記撮像画像の一部に基づいて、前記撮像画像に含まれる人の印象を特定する印象特定部を備えることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記所定器官は、複数の器官を含み、
   前記器官検出部が前記複数の器官の領域を検出した場合、前記特徴量特定部は、前記器官検出部が検出した前記複数の器官の領域のそれぞれにおける特徴量を特定し、特定した複数の特徴量に基づいて、前記複数の器官の領域における特徴量を特定する
   ことを特徴とする請求項１から４までのいずれかひとつに記載の画像処理装置。
6. 前記顔検出部が複数人の顔領域を検出した場合、
   前記器官検出部は、前記顔検出部が検出した顔領域毎に、各顔領域から前記所定器官の領域を検出し、
   前記特徴量特定部は、前記顔検出部が検出した顔領域毎に、前記器官検出部が検出した所定器官の領域における特徴量を特定し、
   前記補正関数生成部は、前記顔検出部が検出した顔領域毎に、前記特徴量特定部が特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する
   ことを特徴とする請求項１から５までのいずれかひとつに記載の画像処理装置。
7. 前記所定器官は、白目、歯、鼻及び頬のうちの少なくとも１つを含むことを特徴とする請求項１から６までのいずれかひとつに記載の画像処理装置。
8. 人の撮像画像に画像処理を行う画像処理装置による画像処理方法において、
   前記画像処理装置が、
   撮像画像から人の顔領域を検出し、
   検出した顔領域から顔の所定器官の領域を検出し、
   検出した所定器官の領域における特徴量を特定し、
   特定した特徴量を、記憶部に記憶してある人の顔の所定器官における画像に係る目標値に補正するための補正関数を生成する
   ことを特徴とする画像処理方法。
9. 人の顔の所定器官における画像に係る目標値を記憶する記憶部を有するコンピュータに、人の撮像画像を処理させるためのプログラムであって、
   前記コンピュータに、
   撮像画像から人の顔領域を検出し、
   検出した顔領域から前記所定器官の領域を検出し、
   検出した所定器官の領域における特徴量を特定し、
   特定した特徴量を、前記記憶部に記憶してある目標値に補正するための補正関数を生成する
   処理を実行させることを特徴とするプログラム。