JP2014016687A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ピント状態を指定可能な画像データの処理にて、ユーザが行うピント指定操作によらずに精度良く画像内のオブジェクトを認識して認識適応処理を行うこと。
【解決手段】画像処理装置１００は、撮影された光の強度を示す光線情報および光の方向を示す方向情報（ライトフィールド画像データ）の入力を受け付ける入力部１０１と、該データを記憶する記憶部１０２を備える。再構築部１０３は複数のオブジェクトにピントが合った第１画像データを生成して認識処理部１０４に出力する。認識処理部１０４は画像内のオブジェクトを認識する。再構築部１０３は、特定のオブジェクトにピントが合った第２画像データを生成して適応処理部１０６に出力する。適応処理部１０６は、認識処理部１０４の認識処理結果に基づいて特定のオブジェクトに画像処理を施す。画像処理されたデータは出力部１０７から出力される。
【選択図】 図１

Description

本発明は、撮影後にピント状態を指定可能な画像に対して、画像内のオブジェクトを認識し、認識処理結果に応じて適応処理を行う技術に関するものである。

近年、ライトフィールドカメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することによって、任意の視点での画像や任意の位置にピントを合わせた画像を構築できる。ユーザはライトフィールドカメラで撮影した画像（以下、ライトフィールド画像という）を視聴する場合、任意の奥行きにピントを合わせる操作を行うことができる。
一方、表示装置では、画像内の特定のオブジェクトを認識し、該オブジェクトに適した画像処理（以下、認識適応処理という）を行うことができる。例えば、一般的に被写体の顔が映っている領域は重要な部分であることが多い。このため、顔領域を認識して、顔領域に対して優先的に階調を割り当てる階調補正処理が行われる。また、天空の認識処理結果に基づいて、視聴者がより「空らしい」と感じるように色味の補正を行う処理が知られている。なお、オブジェクトの認識処理では特徴点の抽出によるパターンマッチング等が用いられるため、ピントが合っているオブジェクトの方が精度良く認識できる。

特許文献１では、合焦位置の異なる複数画像を用いて文字認識の精度を高める技術が開示されている。合焦位置の異なる複数画像から文字認識を行い、前記複数画像の焦点情報に基づいて認識処理結果を統合して最終文字認識処理結果が生成される。また特許文献２に開示の技術では、立体をデジタルカメラで撮像した時の歪みや煽りを補正するために、被写体を異なるピント位置で複数回撮像し、それぞれの画像においてピントの合っている領域を検出する。該領域の合焦位置と画像データから歪みや煽りが補正される。

特開２００８−１７６７１６号公報 特開２０００−２００３４４号公報 特開２００９−１５９３５７号公報

上述したように、ライトフィールド画像は、視聴時にユーザがピント指定操作を行って、任意の奥行きにピントを合わせることができるため、この奥行きに位置するオブジェクトは精度良く認識処理を行える。しかし、ユーザが指定しなかった奥行きに位置するオブジェクトについては、ピントが合っていないため認識精度が低くなってしまう。また、ユーザが行う指定操作によっては、オブジェクトの認識精度が低くなり、認識適応処理の効果が十分に得られなくなってしまうという問題が起り得る。前記特許文献１や２では、ライトフィールド画像に対して、認識適応処理の精度を高めて画像を表示するための処理については言及されていない。
本発明は、ピント状態を指定可能な画像データの処理にて、ユーザが行うピント指定操作によらずに精度良く画像内のオブジェクトを認識して認識適応処理を行うことを目的とする。

上記課題を解決するために、本発明に係る装置は、撮影された光の強度を示す光線情報および光の方向を示す方向情報に基づいて、ピント状態を指定可能な画像データを処理する画像処理装置であって、前記光線情報および方向情報を取得して画像データを生成する画像構築手段と、前記画像データに含まれるオブジェクトを認識する認識処理手段と、前記認識処理手段によるオブジェクトの認識処理結果を取得し、特定のオブジェクトに画像処理を施す適応処理手段を備える。前記画像構築手段は、複数のオブジェクトにピントが合った第１画像データを前記認識処理手段に出力し、前記複数のオブジェクトのうちで前記特定のオブジェクトにピントが合った第２画像データを前記適応処理手段に出力する。

本発明によれば、ユーザが行うピント指定操作によらずに精度良くオブジェクトを認識して認識適応処理を行うことができる。

図２ないし図６と併せて本発明の第１実施形態を説明するために、画像処理装置の機能を説明するブロック図である。 ライトフィールドカメラの模式図である。 認識適応処理を説明するフローチャートである。 再構築された画像例を示す図である。 オブジェクトの認識用画像を再構築する処理例の説明図である。 ユーザ操作による指定ピント画像を再構築する処理例の説明図である。 本発明の第２実施形態に係る画像処理装置の機能を説明するブロック図である。 本発明の第２実施形態に係る処理例を説明するフローチャートである。

以下に添付図面を参照して、本発明の各実施形態を詳細に説明する。以下に説明する画像処理装置は、撮影後にピント状態を指定可能な画像データを処理する。本発明は画像処理装置を撮像装置に接続して使用する形態と、撮像装置と画像処理装置を１つの筺体内に設ける形態のいずれにも適用可能である。なお、ライトフィールド技術において画素情報の取得には、複数のカメラを使用する形態と、複数のレンズを２次元平面上にて格子状に配置したレンズアレイを使用する形態がある。以下では後者を例にして説明するが、複数のカメラで撮影した画像情報を使用することもできる。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の機能を説明するブロック図である。
入力部１０１は、不図示の撮像装置や情報処理装置などからライトフィールド（以下、ＬＦと表記する）画像データの入力を受け付ける。例えば、ＬＦカメラの場合、格子状に配列したマイクロレンズによって撮像レンズからの入射光を分割し、分割した光を撮像素子に出力する。撮像素子の各画素には各マイクロレンズが分割した光が入射し、異なる方向からの光の強度（光線情報）および入射方向（方向情報）が検出される。なお、その詳細については後述する。また、情報処理装置はＬＦ画像データの加工や補正などの処理を施したデータを出力する。
記憶部１０２は、入力部１０１が受け付けたＬＦ画像データを記憶する。画像構築処理を行う再構築部１０３は、ＬＦ画像データ、つまり光線情報と方向情報に基づいて、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のピント位置や視点での画像データを生成する。再構築により、１つのＬＦ画像に対して、オブジェクト認識に用いる画像（以下、認識用画像という）と、ユーザが指定した奥行きにピントが合っている画像（以下、指定ピント画像という）を生成することができる。つまり、再構築部１０３は認識用画像に対応する第１画像データと、指定ピント画像に対応する第２画像データを再構築により生成する。なお、再構築処理の詳細については後述する。

認識処理部１０４は、認識用画像から特定のオブジェクトを抽出（認識）する。具体的には、まず認識用画像から特徴点を抽出する処理が実行され、次に特徴点の位置関係から特徴量を算出する処理が実行される。そして特徴量を、予め登録されたオブジェクトの特徴量と比較することでオブジェクト（以下、特定オブジェクトという）の抽出処理が行われる。例えば、人物の顔を抽出する場合、認識処理部１０４はまず、顔の目や鼻など予め登録された特徴点を抽出する。これらの特徴点同士の位置関係（距離など）から顔であることの確からしさを示す数値（特徴量）が算出される。そして、算出した特徴量を予めデータベース（不図示）に登録されている顔特徴量と比較する処理が行われ、両者が類似している場合には当該領域が顔領域であると認識される。認識結果記憶部１０５は、認識処理部１０４による認識処理結果、つまり特定オブジェクトの情報を記憶する。記憶情報は、例えば、特定オブジェクトの数、特定オブジェクトの存在する位置座標などである。
適応処理部１０６は、認識結果記憶部１０５から取得した認識処理結果に基づいて認識適応処理を実行する。例えば、一般的に顔領域は視聴者にとって重要な領域であることを考慮して、被写体の顔として認識された領域に対して優先的に階調を割り当てる階調補正処理が行われる。なお、認識適応処理は、認識されたオブジェクトに対して施される画像処理であり、本発明の適用上、処理の如何は問わない。
出力部１０７は、認識適応処理された画像データを、不図示の表示装置や外部機器などに出力する。

次に、オブジェクトの認識用画像、およびユーザ操作による指定ピント画像の各データを生成し、ＬＦ画像に対する認識適応処理の精度を高める処理シーケンスについて説明する。まず、ＬＦ画像の再構築について説明する。
図２は、ＬＦ画像を撮影するＬＦカメラを模式的に示す図である。撮像光学系を構成する撮像レンズ２０１を通過して、マイクロレンズアレイ２０２に入射した被写体からの光は、イメージセンサ２０３によって光電変換されて電気信号が得られる。

撮像レンズ２０１は、被写体からの光をマイクロレンズアレイ２０２に投射する。撮像レンズ２０１は交換可能であり、撮像装置の本体部に装着して使用する。ユーザは撮像レンズ２０１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ２０２は、微小レンズ（マイクロレンズ２０２ａ）を格子状に配列して構成されており、撮像レンズ２０１とイメージセンサ２０３の間に位置する。マイクロレンズアレイ２０２を構成する各マイクロレンズ２０２ａは、撮像レンズ２０１からの入射光を分割し、分割した光をイメージセンサ２０３に出力する。撮像部を構成するイメージセンサ２０３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ２０３の各画素には、各マイクロレンズ２０２ａによって分割した光がそれぞれ入射する。各マイクロレンズ２０２ａは、イメージセンサ２０３における複数の画素が対応するように配置される。イメージセンサ２０３の各画素には各マイクロレンズ２０２ａが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出する。また、各マイクロレンズ２０２ａとイメージセンサ２０３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ２０３の各画素に入射した光線の入射方向（方向情報）を検出できる。マイクロレンズアレイ２０２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズ２０２ａの光軸からの偏心量に対応した位置にあるイメージセンサ２０３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズ２０２ａに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように取得した光線情報と方向情報に基づいて、光線の並べ替えと計算処理を行うことにより、任意のピント位置や視点での画像データを生成できる。

次に、本実施形態の画像処理装置の処理シーケンスについて、図３のフローチャートを参照して説明する。
まず、再構築部１０３はＬＦ画像を再構築し、オブジェクト認識に適した画像、すなわち認識用画像を生成する（Ｓ３０１）。認識用画像は、ピントの合っている奥行きの範囲が相対的に広い画像である。図４（Ａ）は認識用画像例を示す。この例では、カメラからの距離がそれぞれ異なる被写体２１から２３の撮影画像を示しており、被写体２１，２２，２３にピントが合っている。このような画像は、以下のようにＬＦ画像を再構築することによって生成できる。

図５（Ａ）は、開口絞り４０１によって、撮像レンズ２０１の絞りを絞った状態でのＬＦカメラを示す模式図である。但し、開口絞り４０１は、以下の説明で便宜上に用いる部材である。マイクロレンズアレイ２０２とイメージセンサ２０３に光線が入射される様子を模式的に示す。各マイクロレンズ２０２ａに対して、入射角度の相対的に小さい光線のみが入射される。つまり、各マイクロレンズ２０２ａの中心部分を含む相対的に狭い範囲（第１の範囲）を通過する光線情報のみを使用してＬＦ画像の再構築処理を実施すれば、開口絞り４０１を絞った状態と同様の画像データを生成することができる。これにより、図４（Ａ）に示すような、ピントの合っている奥行きの範囲が相対的に広い（被写界深度の深い）画像が得られる。
図５（Ｂ）は、マイクロレンズアレイ２０２を正面から見た状態を示す。再構築部１０３は、各マイクロレンズ２０２ａの中心部分において相対的に狭い第１の範囲２０２ｂ（斜線部分参照）を通過する光線を使用して再構築処理を行う。

図３に戻って説明を続けると、認識処理部１０４は、Ｓ３０１で生成された画像データを用いて認識処理を行い、認識処理結果を認識結果記憶部１０５に記録する（Ｓ３０２）。Ｓ３０１で生成した画像は、ピントの合っている奥行きの範囲が相対的に広い画像であるため、ほぼ画像全体に亘って高い精度でオブジェクト認識を行うことが可能である。
次に、再構築部１０３はＬＦ画像を再構築し、指定ピント画像データを生成する（Ｓ３０３）。図４（Ｂ）は指定ピント画像を例示する。この例では、カメラからの距離がそれぞれ異なる被写体２１から２３の撮影画像を示しており、被写体２２にはピントが合っているが、被写体２１と２３にはピントが合っていない。このような画像は、以下のようにＬＦ画像を再構築することによって生成できる。

図６（Ａ）は、開口絞り４０１によって、撮像レンズ２０１の絞りを開放した状態での、ＬＦカメラを示す模式図である。マイクロレンズアレイ２０２とイメージセンサ２０３に光線が入射される様子を模式的に示す。各マイクロレンズ２０２ａに対して、入射角度の相対的に大きい光線が入射される。つまり、各マイクロレンズ２０２ａの中心部を含む相対的に広い範囲（第２の範囲）を通過する光線情報を使用して、ＬＦ画像の再構築処理を実施すれば、開口絞り４０１を開放した状態と同様の画像データを生成できる。
図６（Ｂ）は、マイクロレンズアレイ２０２を正面から見た状態を示す。再構築部１０３は、各マイクロレンズ２０２ａにおいて相対的に広い第２の範囲２０２ｃ（斜線部分参照）を通過する光線を使用してＬＦ画像の再構築を行う。第２の範囲２０２ｃは、図５（Ｂ）に示す第１の範囲２０２ｂに比べて各マイクロレンズ２０２ａの中心部から離れた周縁寄りの部分を含む。こうして、特定の領域にのみピントの合っている（被写界深度の浅い）画像が得られる。

また、ピントの合っている奥行き位置をユーザ指定の位置に合わせるための技術には、リフォーカス演算処理を使用できる（前記特許文献３参照）。リフォーカス演算処理では、まず、イメージセンサ２０３で取得した光線の強度を、撮像素子面と任意のリフォーカス面との位置関係に基づいて補正することで、リフォーカス面における光線の強度を算出する処理が行われる。そして、算出した光線強度をリフォーカス面におけるレンズ口径に関して面積分することでリフォーカス面のイメージデータを取得する処理が行われる。こうして、指定ピント画像データを生成することができる。
次に、適応処理部１０６は、図３のＳ３０３で生成した指定ピント画像データに対して、Ｓ３０２での認識処理結果を用いて認識適応処理を実行する（Ｓ３０４）。これは、例えば、被写体のうちで顔と認識された領域に対して優先的に階調を割り当てる処理である。この処理の結果、高い精度でオブジェクト認識を行った結果に基づいて、指定ピント画像に対して認識適応処理を実施することができる。

以上に説明した処理は、画像処理装置に用いるコンピュータにより、画像処理プログラムをメモリから読み出して実行することによっても実現できる。つまり、画像構築ステップでは、撮影した画像の光線情報および方向情報を用いて画像データが構築される。次に、画像データに含まれるオブジェクトの認識処理ステップが実行される。認識用画像の再構築により、複数のオブジェクトにピントが合った第１画像データが生成される。また指定ピント画像の再構築により、複数のオブジェクトのうちで特定のオブジェクトにピントが合った第２画像データが生成される。そして、第１画像データに係るオブジェクトの認識処理結果に基づいて、第２画像データおける特定のオブジェクトに対して画像処理を施す適応処理ステップが実行される。
第１実施形態に係る画像処理装置は、オブジェクト認識に適した画像データを生成する。これは、ピントの合っている奥行きの範囲が相対的に広い画像であり、この画像を用いて認識処理が行われる。また、特定の領域にのみピントの合っている指定ピント画像データが生成され、該データに対し、前記認識処理の結果に基づいて、認識適応処理が行われる。よって、ＬＦ画像に対する認識適応処理の精度を高めることができる。

第１実施形態によれば、ユーザにより指定されるピント位置によらず、認識適応処理の精度を高めることができる。よって、特定オブジェクトの有無や位置関係を忠実に把握した上で、画像処理アルゴリズムによって、認識適応処理を行うか否かのON/OFF設定を行い、または認識適応処理の強度を決定できる。換言すると、認識適応処理のON/OFF設定や強度に関して、ユーザ操作で指定するピント位置によってそれらの効果が結果的に変わってしまうことがないように回避できる。例えば、被写体にピントが合っているか否かの判定結果によらずに、認識した人物が主要な被写体であるのか、それとも通行人であるかといった判定処理を、画像処理アルゴリズムによって実現可能となる。また、天空にピントが合っていない場合であっても、空の色味を補正したいといった、ユーザの要請にも柔軟に対応することが可能となる。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、第２実施形態に係る画像処理装置において第１実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略する。
図７は第２実施形態に係る画像処理装置の機能を示すブロック図である。画像処理装置８００は、複数の再構築部８０１および８０２を備えており、並列処理によってＬＦ画像データをそれぞれ生成可能である。
第１再構築部８０１は、オブジェクトの認識用画像を再構築し、生成した画像データを認識処理部１０４に出力する。第２再構築部８０２は、ユーザ操作により指定される指定ピント画像を再構築し、生成した画像データを適応処理部１０６に出力する。

次に、第２実施形態に係る画像処理装置の処理シーケンスについて説明する。図８は処理の流れを示すフローチャートであり、２重線によって並列処理を表している。つまり、Ｓ９０１およびＳ９０３に示すオブジェクトの認識処理と、Ｓ９０２およびＳ９０４に示す認識適応処理は、並列処理として実行される。
まず、第１再構築部８０１はＬＦ画像を再構築し、オブジェクトの認識用画像データを生成する（Ｓ９０１）。一方、第２再構築部８０２はＬＦ画像を再構築し、ユーザ操作に応じて指定ピント画像データを生成する（Ｓ９０２）。
認識処理部１０４は、Ｓ９０１で生成した認識用画像を用いて認識処理を行う（Ｓ９０３）。続いて、適応処理部１０６は、Ｓ９０２で生成した指定ピント画像に対して、Ｓ９０３での認識処理結果を用いて画像処理を実行し、認識適応処理を行う（Ｓ９０４）。
以上のように、第２実施形態に係る画像処理装置では、複数の再構築部を有しており、オブジェクト認識に適した認識用画像データの生成処理と、指定ピント画像データの生成処理が並行して実行される。そして、オブジェクトの認識処理結果に基づいて、指定ピント画像に対する認識適応処理が行われる。この結果、第１実施形態と同様に、ＬＦ画像に対する認識適応処理の精度を高めることが可能となる。さらには、複数の再構築部を用いた並列処理によって、再構築処理に要する時間を短縮することができる。よって、ＬＦ画像の入力フレームレートの設定を下げることなく画像データを出力できるので、装置内部の処理を高速化したい場合に有効である。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００，８００ 画像処理装置
１０２ 記憶部
１０３，８０１，８０２ 再構築部
１０４ 認識処理部
１０５ 認識結果記憶部
１０６ 適応処理部
１０７ 出力部

Claims (11)

1. 撮影された光の強度を示す光線情報および光の方向を示す方向情報に基づいて、ピント状態を指定可能な画像データを処理する画像処理装置であって、
   前記光線情報および方向情報を取得して画像データを生成する画像構築手段と、
   前記画像データに含まれるオブジェクトを認識する認識処理手段と、
   前記認識処理手段によるオブジェクトの認識処理結果を取得し、特定のオブジェクトに画像処理を施す適応処理手段を備え、
   前記画像構築手段は、複数のオブジェクトにピントが合った第１画像データを前記認識処理手段に出力し、前記複数のオブジェクトのうちで前記特定のオブジェクトにピントが合った第２画像データを前記適応処理手段に出力することを特徴とする画像処理装置。
2. 前記画像構築手段は、前記第１画像データを生成する第１再構築手段と、前記第２画像データを生成する第２再構築手段を備え、前記第１画像データおよび第２画像データを並列処理により生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像構築手段は、前記第２画像データに比べて、ピントが合っている奥行きの範囲が広い前記第１画像データを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 撮像光学系から複数のマイクロレンズを介してそれぞれ入射する光を電気信号に変換する複数の光電変換手段を備える撮像装置から前記光線情報および方向情報を取得して記憶し、当該情報を前記画像構築手段に出力する記憶手段を備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像構築手段は、前記マイクロレンズの中心部を含む第１の範囲を通過する光の光線情報および方向情報を前記記憶手段から取得して前記第１画像データを生成し、前記第１の範囲よりも広い第２の範囲を通過する光の光線情報および方向情報を前記記憶手段から取得して前記第２画像データを生成することを特徴とする請求項４に記載の画像処理装置。
6. 撮影された光の強度を示す光線情報および光の方向を示す方向情報に基づいて、ピント状態を指定可能な画像データを処理する画像処理方法であって、
   前記光線情報および方向情報を用いて画像データを生成する画像構築ステップと、
   前記画像データに含まれるオブジェクトを認識する認識処理ステップと、
   前記認識処理ステップによるオブジェクトの認識処理結果を取得し、特定のオブジェクトに画像処理を施す適応処理ステップを有し、
   前記画像構築ステップでは、複数のオブジェクトにピントが合った第１画像データを前記認識処理ステップで使用するために生成し、前記複数のオブジェクトのうちで前記特定のオブジェクトにピントが合った第２画像データを前記適応処理ステップで使用するために生成することを特徴とする画像処理方法。
7. 前記画像構築ステップでは、前記第１画像データおよび第２画像データを並列処理により生成することを特徴とする請求項６に記載の画像処理方法。
8. 前記画像構築ステップでは、前記第２画像データに比べて、ピントが合っている奥行きの範囲が広い前記第１画像データを生成することを特徴とする請求項６または７に記載の画像処理方法。
9. 撮像光学系から複数のマイクロレンズを介してそれぞれ入射する光を電気信号に変換する複数の光電変換手段を備える撮像装置から前記光線情報および方向情報を取得して記憶手段に記憶するステップをさらに有し、
   前記画像構築ステップでは、前記記憶手段から前記光線情報および方向情報を取得して前記第１画像データおよび第２画像データを生成することを特徴とする請求項６から８のいずれか１項に記載の画像処理方法。
10. 前記画像構築ステップは、前記マイクロレンズの中心部を含む第１の範囲を通過する光の光線情報および方向情報を取得して前記第１画像データを生成するステップと、前記第１の範囲よりも広い第２の範囲を通過する光の光線情報および方向情報を取得して前記第２画像データを生成するステップを有することを特徴とする請求項９に記載の画像処理方法。
11. 請求項６から請求項１０までのいずれか１項に記載の、画像処理方法の各ステップをコンピュータに実行させるためのプログラム。