JP2019062477A - 画像処理装置、撮像装置、表示システム、および画像処理方法 - Google Patents

Abstract

【課題】観察者毎に良好な視認性の画像を表示する。【解決手段】画像処理装備１０は取得部１７と処理部１８とを有する。取得部１７は撮像により生成された撮像画像を取得する。処理部１８は撮像画像における人物の属性に基づいて表示部１９に表示する画像の輝度または色の調整のための調整値を算出する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、表示システム、および表示方法に関するものである。

眼底カメラのように、被験者を撮像した画像に基づいて、診断などに用いる装置が知られている。眼底カメラにおいては、診断などに適した画像の撮影のために、第１の光源に照射された被験眼を撮像した画像に基づいて定めた光量の光を当該被験眼に照射して、診断のための第２の画像を撮像し、第２の画像の解析結果に基づいて第２の画像の明るさ補正処理を行う画像処理装置が提案されている（特許文献１参照）。

特開２０１２−０５０５８８号公報

特許文献１に記載の画像処理装置では、表示される被写体そのものの反射率などの属性に応じて明るさが調整されている。しかし、このような被写体そのものの属性に基づく明るさ調整では、観察者によっては視認性が低下していた。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、どのような観察者に対しても良好な視認性の画像を表示させ得る画像処理装置、撮像装置、表示システム、および画像処理方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像により生成された撮像画像を取得する取得部と、
前記撮像画像における人物の属性に基づいて、表示部に表示する画像の輝度または色の調整のための調整値を算出する処理部と、を備える。

また、第２の観点による撮像装置は、
撮像により第１の撮像画像を生成する第１の撮像部と、
前記第１の撮像画像における人物の属性に基づいて、表示部に表示する画像の輝度または色の調整のための調整値を算出する処理部と、を備える。

また、第３の観点による表示システムは、
撮像により第１の撮像画像を生成する第１の撮像部と、
撮像により第２の撮像画像を生成する第２の撮像部と、
前記第２の撮像画像を表示する表示部と、
前記第１の撮像画像における人物の属性に基づいて、前記第２の撮像画像の輝度または色の調整のための調整値を算出する第１の処理部と、を備える。

上述したように本開示の解決手段を装置、及びシステムとして説明してきたが、本開示は、これらを含む太陽としても実現し得るものであり、また、これらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。

例えば、本開示の第４の観点による画像処理方法は、
撮像により生成された撮像画像を取得するステップと、
前記撮像画像における人物の属性に基づいて、表示部に表示する画像の輝度または色の調整のための調整値を算出するステップと、を備える。

上記のように構成された本開示に係る画像処理装置、撮像装置、表示システム、および画像処理方法によれば、観察者毎に良好な視認性の画像を表示させ得る。

第１の実施形態に係る画像処理装置を含む表示システムの概略構成を示す機能ブロック図である。 図１の表示システムの移動体における搭載位置を示す配置図である。 図１の撮像装置の撮像対象である運転者を撮像した第１の撮像画像を例示する図である。 図１の第１の処理部において予め対応関係が定められている明るさ比率および調整値の対応関係を例示する対応表である。 第１の実施形態における第１の処理部が実行する調整値算出処理を説明するためのフローチャートである。 第１の実施形態における第２の処理部が実行する輝度および彩度の調整処理を説明するためのフローチャートである。 第２の実施形態における第１の処理部が実行する調整値算出処理を説明するためのフローチャートである。

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

図１に示すように、本開示の第１の実施形態に係る画像処理装置１０を含む第１の撮像装置１１（撮像装置）は、第２の撮像装置１２および表示装置１３とともに、表示システム１４を構成している。表示システム１４は、例えば、図２に示すように、車両などの移動体１５に設けられ、第２の撮像装置１２が撮像する第２の撮像画像を、表示装置１３に表示して、運転者などの乗員に視認させる。

移動体１５は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

第１の撮像装置１１は、表示装置１３に対して所定の位置にいる観察者を撮像可能に設けられるよう設計されている。本実施形態において、第１の撮像装置１１は、例えば、運転者の顔を撮像するドライバモニタカメラである。第１の撮像装置１１は、移動体１５内で、例えば、ダッシュボードまたはセンターコンソールに、運転者が撮影視野に含まれるように配置されている。図１に示すように、第１の撮像装置１１は、第１の撮像部１６および画像処理装置１０を有している。

第１の撮像部１６は、レンズなどにより構成される光学系および撮像素子を含んでいる。光学系は、表示装置１３に対して所定の位置の観察者に合焦し、また当該観察者を主要な被写体として撮像するのに適した焦点距離となるように形成されている。撮像素子は光学系が結像させる被写体の像に相当する第１の撮像画像（撮像画像）を生成する。第１の撮像部１６は、撮像により、所定のフレーム周期、例えば１／３０秒毎に１フレームの第１の撮像画像を、生成する。

画像処理装置１０は、取得部１７および第１の処理部１８（処理部）を含んでいる。

取得部１７は、画像の入力用のインターフェースであり、第１の撮像部１６から第１の撮像画像を取得する。

第１の処理部１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。第１の処理部１８は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

第１の処理部１８は、第１の撮像画像における人物の属性に基づいて、表示装置１３の表示部１９に表示する第２の撮像画像の輝度または、例えば彩度などの色を調整するための調整値を算出する。人物の属性は、例えば、人物の虹彩の色の属性である。虹彩の色の属性に基づく調整値を、その算出方法とともに、以下に詳細に説明する。

第１の処理部１８は、取得した第１の撮像画像の画像解析を行い、図３に示すように、第１の撮像画像ＩＭ１内の人物ｈｍの虹彩ｉｒおよび当該虹彩ｉｒの周囲の白目ｗｅの領域を判別する。なお、虹彩ｉｒおよび白目ｗｅの領域判別方法には、従来公知の検出方法が適用される。第１の処理部１８は、虹彩ｉｒおよび白目ｗｅと判別した領域内の複数の箇所それぞれにおける画素値を検出する。なお、第１の処理部１８は、本実施形態において、画素値として輝度信号成分を検出する。

第１の処理部１８は、虹彩ｉｒの複数の箇所において検出した画素値を平均化する。また、第１の処理部１８は、白目ｗｅの複数の箇所において検出した画素値を平均化する。なお、第１の処理部１８は、異なる複数のフレームの第１の撮像画像ＩＭ１それぞれにおける虹彩ｉｒおよび白目ｗｅの単一または複数の箇所において検出した画素値を平均化してもよい。

第１の処理部１８は、白目ｗｅの画素値の平均値に対する、虹彩ｉｒの画素値の平均値を比較する。具体的には、例えば、第１の処理部１８は、白目ｗｅの画素値の平均値に対する、虹彩ｉｒの画素値の平均値の比である明るさ比率を、比較結果として算出する。

第１の処理部１８は、明るさ比率に基づいて、調整値を算出する。調整値は、後述するように、表示部１９に表示する第２の撮像画像の明るさの調整度合いを示す。調整値は、例えば、大きくなる程、第２の撮像画像が明るくなるように定められている。図１に示すように、第１の処理部１８は、算出した調整値を、例えば、バス２０を介して、表示装置１３に通知する。

なお、調整値は、本実施形態では、例えば、第２の撮像画像を構成する各画素における輝度成分の変更率であるディスプレイ輝度変更率、または第２の撮像画像を表示する表示部１９の最大輝度値であるディスプレイ輝度値である。なお、図４に示すように、調整値は、明るさ比率の増大に応じて小さくなるように、予め対応関係が定められている。

図１において、第２の撮像装置１２は、表示装置１３の観察者に視認させる物体を撮像可能な位置に設けられるように設計されている。本実施形態において、第２の撮像装置１２は、例えば、移動体１５の内部および周囲の少なくともいずれかを撮像可能に取り付けられる。本実施形態において、さらに具体的には、第２の撮像装置１２は、図２に示すように、例えば、移動体１５の後方の光景を撮像可能なように、移動体１５のルーフ２１の中央近傍に取付けられているバックビューカメラである。図１に示すように、第２の撮像装置１２は、第２の撮像部２２および制御部２３を有している。

図１において、第２の撮像部２２は、レンズなどにより構成される光学系および撮像素子を含んでいる。光学系は、例えば、１９０°などの比較的広角な画角を有し、多様な距離の被写体を撮像可能な深い被写界深度を有するなどの所定の光学特性を有している。撮像素子は光学系が結像させる被写体の像に相当する第２の撮像画像を生成する。第２の撮像部２２は、撮像により、所定のフレーム周期、例えば１／３０秒毎に１フレームの第２の撮像画像を、生成する。第２の撮像部２２は、生成した第２の撮像画像を表示装置１３に送る。

制御部２３は、第２の撮像部２２による撮像を制御する。制御部２３は、例えば、第２の撮像部２２における電子シャッタのシャッタスピードおよび第２の撮像画像のゲイン調整などの、第２の撮像画像の露光調整を行う。本実施形態では、制御部２３は、所定のシャッタスピードおよび所定のゲインで露光調整された第２の撮像画像を、第２の撮像部２２から出力させる。

表示装置１３は、撮像した画像または合成した画像を表示可能な、従来公知のいかなる表示装置であってよい。本実施形態において、表示装置１３は、移動体１５内の運転者に視認させる画像を表示する、例えば、ナビ用のモニタ、カメラ映像出力用モニタ、ヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）、インナーミラー、インストルメントパネルである。表示装置１３は、表示部１９および第２の処理部２４を有している。

表示部１９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｑｒｙｓｔａｌ Ｄｉｓｐｌａｙ）であり、取得する多様な画像を表示面に描画する。本実施形態においては、表示部１９は、第２の撮像装置１２から取得し、第２の処理部２４により画像処理の施された第２の撮像画像を表示面に描画する。

第２の処理部２４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、ＡＳＩＣを含んでよい。プロセッサは、ＰＬＤを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。第２の処理部２４は、１つまたは複数のプロセッサが協働するＳｏＣおよびＳｉＰのいずれかであってもよい。

第２の処理部２４は、第２の撮像装置１２から取得する第２の撮像画像に対して、所定の画像処理を施す。第２の処理部２４は、所定の画像処理の一部として、第１の撮像装置１１から取得する調整値に基づいて、第２の撮像画像の輝度を調整する。第２の処理部２４は、例えば、調整値としてディスプレイ輝度変更率を取得する構成においては、第２の撮像画像の全画素値の輝度成分に、ディスプレイ輝度変更率を乗じることにより、輝度を調整する。また、第２の処理部２４は、例えば、調整値としてディスプレイ輝度値を取得する構成においては、表示部１９で表示する最大輝度値をディスプレイ輝度値に定め、第２の撮像画像の全画素値の輝度成分を、最低輝度値から最大輝度値の間に対応付けることにより、輝度を調整する。

また、第２の処理部２４は、調整値に基づいて、第２の撮像画像の彩度などの色を調整してもよい。例えば、第２の処理部２４は、調整値の最小値から最大値への変化に応じて、１より大きな所定値から１に近付く係数で、第２の撮像画像の色信号または色差信号などを除すことにより、彩度を調整する。さらに詳細には、第２の撮像画像がＲＧＢ信号成分を有する構成において、Ｒ信号成分およびＢ信号成分に乗じる係数は、調整値の最小値から最大値への変化に応じて、それぞれ１．５４および１．１８から１に変化する。

次に、第１の実施形態において第１の処理部１８が実行する、調整値算出処理について、図５のフローチャートを用いて説明する。第１の処理部１８は、表示システム１４が第２の撮像画像を表示部１９に表示する場合、調整値算出処理を開始する。また、第１の処理部１８は、第２の撮像画像の表示を停止する場合、調整値算出処理を終了する。

ステップＳ１００において、第１の処理部１８は、第１の撮像部１６を駆動し、第１の撮像画像ＩＭ１を取得する。第１の撮像画像ＩＭ１の取得後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、第１の処理部１８は、ステップＳ１００において取得した第１の撮像画像ＩＭ１内で人物ｈｍの顔を検出可能であるか否かを判別する。顔を検出できる場合、プロセスはステップＳ１０２に進む。顔を検出できない場合、プロセスはステップＳ１０３に進む。

ステップＳ１０２では、第１の処理部１８は、ステップＳ１００において取得した第１の撮像画像ＩＭ１において、顔面の目を構成する虹彩ｉｒおよび白目ｗｅの各領域を検出可能であるか否かを判別する。目を構成する各領域を検出できない場合、プロセスはステップＳ１０３に進む。目を構成する各領域を検出できる場合、プロセスはステップＳ１０４に進む。

ステップＳ１０３では、第１の処理部１８は、ステップＳ１００において取得した第１の撮像画像ＩＭ１を破棄する。破棄後、プロセスはステップＳ１００に戻る。

ステップＳ１０４では、第１の処理部１８は、ステップＳ１０２において検出可能と判別した虹彩ｉｒおよび白目ｗｅのそれぞれの領域の複数個所の画素値を検出する。画素値の検出後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、第１の処理部１８は、虹彩ｉｒおよび白目ｗｅ別に、ステップＳ１０４において検出した画素値と、過去のフレームにおいて検出した画素値とを用いて、移動平均値を算出する。移動平均値の算出後、プロセスはステップＳ１０６に進む。

ステップＳ１０６では、第１の処理部１８は、ステップＳ１０５において算出した、虹彩ｉｒの画素値の移動平均値を、白目ｗｅの画素値の移動平均値で除すことにより、明るさ比率を算出する。明るさ比率の算出後、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、第１の処理部１８は、ステップＳ１０６において算出した明るさ比率に基づいて、調整値を算出する。調整値の算出後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、第１の処理部１８は、ステップＳ１０７において算出した調整値を表示装置１３に通知する。通知後、プロセスはステップＳ１００に戻る。

次に、第１の実施形態において第２の処理部２４が実行する、輝度および彩度の調整処理について、図６のフローチャートを用いて説明する。第２の処理部２４は、表示システム１４が第２の撮像画像を表示部１９に表示する場合、輝度および彩度の調整処理を開始する。また、第２の処理部２４は、第２の撮像画像の表示を停止する場合、輝度および彩度の調整処理を終了する。

ステップＳ２００において、第２の処理部２４は、第１の撮像装置１１から調整値を新規に取得しているか否かを判別する。新規に取得している場合、プロセスはステップＳ２０１に進む。新規に取得していない場合、プロセスはステップＳ２０１をスキップして、ステップＳ２０２に進む。

ステップＳ２０１では、第２の処理部２４は、表示部１９の輝度および彩度の調整に用いる調整値をステップＳ２００において取得を判別した調整値に更新する。更新後、プロセスはステップＳ２０２に進む。

ステップＳ２０２では、第２の処理部２４は、第２の撮像装置１２から第２の撮像画像を取得しているか否かを判別する。第２の撮像画像を取得していない場合、プロセスはステップＳ２００に戻る。第２の撮像画像を取得している場合、プロセスはステップＳ２０３に進む。

ステップＳ２０３では、第２の処理部２４は、ステップＳ２０２において取得を判別した第２の撮像画像の輝度および彩度を、ステップＳ２０１において更新した調整値に基づいて調整する。色の調整後、プロセスはステップＳ２０４に進む。

ステップＳ２０４では、第２の処理部２４は、ステップＳ２０３において輝度および彩度の調整を施した第２の撮像画像を表示部１９に表示させる。表示後、プロセスはステップＳ２００に戻る。

以上のような構成の第１の実施形態に係る画像処理装置１０では、第１の撮像画像ＩＭ１における人物ｈｍの属性に基づいて、表示部１９に表示する第２の撮像画像の輝度または色の調整のための調整値を算出している。一般的に、人物ｈｍは、虹彩ｉｒの色などの属性により、明るさおよび彩度に対する感応性が異なっている。例えば、欧米人のように虹彩ｉｒが明るくなる程、光に対する感応性が高く、アジア人のように虹彩ｉｒが暗くなる程、光に対する感応性が低い。それゆえ、上述のような構成によれば、画像処理装置１０は、人物ｈｍの属性に応じて、表示する画像の輝度または色を調整し得るので、人物ｈｍとして撮像される観察者の属性に適切な輝度または色の画像を表示部１９に表示させ得る。このように、画像処理装置１０は、明るさおよび彩度に関する感応性の相対的に高い観察者に対して、表示される画像における眩しさ又は過度な彩色の認識を低減させ得る。一方で、画像処理装置１０は、明るさおよび彩度に関する感応性の相対的に低い観察者に対して、表示させる画像の視認性を向上させ得る。したがって、画像処理装置１０は、観察者毎に良好な視認性の画像を表示させ得る。

また、第１の実施形態に係る画像処理装置１０では、虹彩ｉｒの複数の箇所の検出を行っている。このような構成により、画像処理装置１０は、単一の箇所で虹彩ｉｒの検出を行う構成に比べて、同じ虹彩ｉｒの検出箇所毎の色の違いによる調整値の算出の不安定化を低減し得る。したがって、画像処理装置１０は、虹彩ｉｒ内の検出箇所毎の色の違いによらず、調整値を安定的に算出し得る。

また、第１の実施形態に係る画像処理装置１０では、白目ｗｅと虹彩ｉｒとの比較に基づいて、調整値を算出している。虹彩ｉｒの色は、第１の撮像部１６の周囲環境にも影響を受ける。白目ｗｅの色は人物ｈｍの属性によらず、同じ環境下では同じ色になることが一般的である。したがって、上記構成の画像処理装置１０は、周囲環境による影響が主に反映される白目ｗｅの色と、虹彩ｉｒの色とを比較することにより、虹彩ｉｒの色における周囲環境の影響を除外し得る。したがって、画像処理装置１０は、周囲環境によらず、表示する画像に対して、人物ｈｍの属性に、より正確に応じた輝度または色の調整を実行可能な調整値を算出し得る。

また、第１の実施形態に係る画像処理装置１０では、白目ｗｅの複数の箇所の検出を行っている。このような構成により、画像処理装置１０は、単一の箇所で白目ｗｅの検出を行う構成に比べて、同じ白目ｗｅの検出箇所毎の色の違いによる調整値の算出の不安定化を低減し得る。したがって、画像処理装置１０は、白目ｗｅ内の検出箇所毎の色の違いによらず、調整値を安定的に算出し得る。

また、第１の実施形態に係る画像処理装置１０では、虹彩ｉｒおよび白目ｗｅの検出を、異なる複数のフレームの第１の撮像画像ＩＭ１に対して行う。このような構成により、画像処理装置１０は、任意の１フレームにおいて、外乱などの影響により虹彩ｉｒまたは白目ｗｅの画素値に急激な変化があったとしても、前後のフレームの第１の撮像画像ＩＭ１により画素値の急激な変化を緩和し得る。したがって、画像処理装置１０は、表示する画像の輝度または彩度の急激な変化を低減し得る。

次に、本開示の第２の実施形態に係る画像処理装置について説明する。第２の実施形態では、虹彩ｉｒおよび白目ｗｅの比較方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。

第２の実施形態において、図１に示すように、表示システム１４は、第１の撮像装置１１、第２の撮像装置１２、および表示装置１３を有している。第２の実施形態において、第２の撮像装置１２および表示装置１３の構成および機能は、第１の実施形態と同じである。また、第１の撮像装置１１における第１の撮像部１６の構成および機能は、第１の実施形態と同じである。

第２の実施形態において、画像処理装置１０は、第１の実施形態と同様に取得部１７および第１の処理部１８を含んでいる。取得部１７の構成および機能は、第１の実施形態と同じである。

第１の処理部１８は、取得部１７が取得した第１の撮像画像ＩＭ１の画像解析を行い、第１の撮像画像ＩＭ１内の人物ｈｍの白目ｗｅの領域を判別する。第１の処理部１８は、白目ｗｅの領域と判別した箇所の画素値に基づいて、第１の撮像画像ＩＭ１に対して、自動ホワイトバランス（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：ＡＷＢ）調整および自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：ＡＥ）調整の少なくともいずれかを実行する。ＡＥ調整は、例えばゲイン調整である。本実施形態において、第１の処理部１８は、さらに詳細には、第１の撮像画像ＩＭ１に対してＡＷＢ調整およびＡＥ調整を実行する。

第１の処理部１８は、ＡＷＢ調整およびＡＥ調整の少なくともいずれかを実行した第１の撮像画像ＩＭ１に対して画像解析を行い、第１の実施形態と類似して、第１の撮像画像ＩＭ１内の人物ｈｍの虹彩ｉｒおよび白目ｗｅの領域を判別する。第１の処理部１８は、第１の実施形態と類似して、虹彩ｉｒおよび白目ｗｅと判別した領域内の複数の箇所それぞれにおける画素値を検出する。

第１の処理部１８は、第１の実施形態に類似して、虹彩ｉｒの複数の箇所において検出した画素値を平均化する。また、第１の処理部１８は、第１の実施形態に類似して、白目ｗｅの複数の箇所において検出した画素値を平均化する。なお、第１の処理部１８は、第１の実施形態と類似して、異なる複数のフレームの第１の撮像画像ＩＭ１それぞれにおける虹彩ｉｒおよび白目ｗｅの単一または複数の箇所において検出した画素値を平均化してもよい。

第１の処理部１８は、白目ｗｅの画素値の平均値に対する、虹彩ｉｒの画素値の平均値を比較する。具体的には、例えば、第１の処理部１８は、白目ｗｅの画素値の平均値に対する、虹彩ｉｒの画素値の平均値の差である明るさ差分（差分）を、比較結果として算出する。

第１の処理部１８は、明るさ差分に基づいて、調整値を算出する。なお、調整値は、明るさ差分が大きくなるに応じて小さくなるように、予め対応関係が定められている。第１の処理部１８は、算出した調整値を、表示装置１３に通知する。

次に、第２の実施形態において第１の処理部１８が実行する、調整値算出処理について、図７のフローチャートを用いて説明する。第１の処理部１８は、表示システム１４が第２の撮像画像を表示部１９に表示する場合、調整値算出処理を開始する。また、第１の処理部１８は、第２の撮像画像の表示を停止する場合、調整値算出処理を終了する。

ステップＳ３００からＳ３０３において、第１の処理部１８は、第１の実施形態の第１の処理部１８が調整値算出処理のステップＳ１００からＳ１０３において実行する動作と同じ動作を行う。ステップＳ３０２において、目を構成する各領域を検出できる場合、プロセスはステップＳ３０４に進む。

ステップＳ３０４では、第１の処理部１８は、ステップＳ３０２において検出可能と判別した白目ｗｅの画素値に基づいて、第１の撮像画像ＩＭ１にＡＷＢ調整およびＡＥ調整を行う。ＡＷＢ調整およびＡＥ調整の実行後、プロセスはステップＳ３０５に進む。

ステップＳ３０５では、第１の処理部１８は、ステップＳ３０４においてＡＷＢ調整およびＡＥ調整を施した第１の撮像画像ＩＭ１において、虹彩ｉｒおよび白目ｗｅのそれぞれの領域の複数個所の画素値を検出する。画素値の検出後、プロセスはステップＳ３０６に進む。

ステップＳ３０６では、第１の処理部１８は、第１の実施形態の第１の処理部１８が調整値算出処理のステップＳ１０５において実行する動作と同じ動作を行う。移動平均値の算出後、プロセスはステップＳ３０７に進む。

ステップＳ３０７では、第１の処理部１８は、ステップＳ３０６において算出した、虹彩ｉｒの画素値の移動平均値から、白目ｗｅの画素値の移動平均値を減じることにより、明るさ差分を算出する。明るさ差分の算出後、プロセスはステップＳ３０８に進む。

ステップＳ３０８では、第１の処理部１８は、ステップＳ３０７において算出した明るさ差分に基づいて、調整値を算出する。調整値の算出後、プロセスはステップＳ３０９に進む。

ステップＳ３０９では、第１の処理部１８は、ステップＳ３０８において算出した調整値を表示装置１３に通知する。通知後、プロセスはステップＳ３００に戻る。

以上のような構成の第２の実施形態に係る画像処理装置１０でも、第１の撮像画像ＩＭ１における人物ｈｍの属性に基づいて、表示部１９に表示する第２の撮像画像の輝度または色の調整のための調整値を算出している。したがって、第２の実施形態に係る画像処理装置１０も、観察者毎に良好な視認性の画像を表示させ得る。また、第２の実施形態に係る画像処理装置１０でも、虹彩ｉｒおよび白目ｗｅの複数の箇所の検出を行っている。したがって、第２の実施形態に係る画像処理装置１０も虹彩ｉｒおよび白目ｗｅ内の検出箇所毎の色の違いによらず、調整値を安定的に算出し得る。また、第２の実施形態に係る画像処理装置１０でも、白目ｗｅと虹彩ｉｒとの比較に基づいて、調整値を算出している。したがって、第２の実施形態に係る画像処理装置１０も、周囲環境によらず、表示する画像に対して、人物ｈｍの属性により正確に応じた輝度または色の調整をさせ得る。また、第２の実施形態に係る画像処理装置１０でも、虹彩ｉｒおよび白目ｗｅの検出を、異なる複数のフレームの第１の撮像画像ＩＭ１に対して行う。したがって、第２の実施形態に係る画像処理装置１０も、表示する画像の輝度または彩度の急激な変化を低減し得る。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、第１の実施形態および第２の実施形態において、第１の処理部１８は、算出した調整値を表示装置１３に通知し、表示装置１３の第２の処理部２４が第２の撮像画像の輝度および彩度を調整しているが、このような構成に限定されない。第１の処理部１８が算出した調整値を第２の撮像装置１２に通知し、第２の撮像装置１２の制御部２３が調整値に基づいてシャッタスピードおよびゲインなどを定めて、第２の撮像画像の露光調整をしてもよい。

また、第１の実施形態および第２の実施形態において、表示装置１３の第２の処理部２４が輝度および彩度を調整するのは、第２の撮像装置１２が生成した第２の撮像画像であるが、第２の撮像画像に限定されない。例えば、撮像された画像ではなく、移動体１５の速度、原動機の回転数などの移動体１５の状態を示すために合成された画像に対して輝度および彩度が調整されてもよい。

また、第１の実施形態および第２の実施形態において、第１の処理部１８は、虹彩ｉｒを白目ｗｅに対して比較しているが、図３に示すように、虹彩ｉｒの内部の瞳孔ｐｕに対して比較する構成であってもよい。瞳孔ｐｕの色も人物ｈｍの属性によらず、同じ環境下では同じ色になることが一般的である。したがって、虹彩ｉｒを瞳孔ｐｕに対して比較しても、虹彩ｉｒを白目ｗｅに対して比較した第１の実施形態および第２の実施形態に類似した効果が得られる。

１０ 画像処理装置
１１ 第１の撮像装置
１２ 第２の撮像装置
１３ 表示装置
１４ 表示システム
１５ 移動体
１６ 第１の撮像部
１７ 取得部
１８ 第１の処理部
１９ 表示部
２０ バス
２１ ルーフ
２２ 第２の撮像部
２３ 制御部
２４ 第２の処理部
ｈｍ 人物
ＩＭ１ 第１の撮像画像
ｉｒ 虹彩
ｐｕ 瞳孔
ｗｅ 白目

Claims (13)

1. 撮像により生成された撮像画像を取得する取得部と、
   前記撮像画像における人物の属性に基づいて、表示部に表示する画像の輝度または色の調整のための調整値を算出する処理部と、を備える
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記処理部は、前記撮像画像において検出する人物の虹彩の画素値に基づいて、前記調整値を算出する
   画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記処理部は、前記虹彩の複数の箇所の検出を行う
   画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記処理部は、前記撮像画像において検出する、前記虹彩の周囲の白目または該虹彩の内部の瞳孔の画素値と、前記虹彩の画素値との比較に基づいて、前記調整値を算出する
   画像処理装置。
5. 請求項２または３に記載の画像処理装置において、
   前記処理部は、
   前記撮像画像において検出する、前記虹彩の周囲の白目または該虹彩の内部の瞳孔の画素値に基づいて、前記撮像画像のホワイトバランス調整を行い、
   前記ホワイトバランス調整の施された前記撮像画像における、前記虹彩の周囲の白目または該虹彩の内部の瞳孔の画素値と、前記虹彩の画素値との比較に基づいて、前記調整値を算出する
   画像処理装置。
6. 請求項４または５に記載の画像処理装置において、
   前記処理部は、
   前記虹彩の周囲の白目または該虹彩の内部の瞳孔の画素値に対する、前記虹彩の画素値の比または差分を比較結果として算出し、
   前記比較結果に基づいて、前記調整値を算出する
   画像処理装置。
7. 請求項４から６のいずれか１項に記載の画像処理装置において、
   前記処理部は、前記白目または前記瞳孔の複数の箇所の検出を行う
   画像処理装置。
8. 請求項２から７のいずれか１項に記載の画像処理装置において、
   前記処理部は、前記検出を、異なる複数のフレームの前記撮像画像に対して行う
   画像処理装置
9. 撮像により第１の撮像画像を生成する第１の撮像部と、
   前記第１の撮像画像における人物の属性に基づいて、表示部に表示する画像の輝度または色の調整のための調整値を算出する処理部と、を備える
   撮像装置。
10. 撮像により第１の撮像画像を生成する第１の撮像部と、
    撮像により第２の撮像画像を生成する第２の撮像部と、
    前記第２の撮像画像を表示する表示部と、
    前記第１の撮像画像における人物の属性に基づいて、前記第２の撮像画像の輝度または色の調整のための調整値を算出する第１の処理部と、を備える
    表示システム。
11. 請求項１０に記載の表示システムにおいて、
    前記調整値に基づいて、前記第２の撮像画像の輝度または色を調整する第２の処理部を、さらに備える
    表示システム。
12. 請求項１０に記載の表示システムにおいて、
    前記調整値に基づいて、前記第２の撮像部の露光調整を行う制御部を、さらに備える
    表示システム。
13. 撮像により生成された撮像画像を取得するステップと、
    前記撮像画像における人物の属性に基づいて、表示部に表示する画像の輝度または色の調整のための調整値を算出するステップと、を備える
    画像処理方法。
    

Images