JP2016063391A - 撮像装置、表示装置、及び、電子機器 - Google Patents

Abstract

【課題】装置の大型化や構成の複雑化を招かない構成で、ＥＶＦに係る表示装置の表示面が斜め方向（正面方向ではない方向）から観察されたときであっても、適切な画質の画像が視認され得る撮像装置及び電子機器を提供すること。【解決手段】被写体を撮像する撮像部14と、撮像部14から出力された撮像信号に画像処理を施して画像信号を生成する第１画像処理部15c-1と、画像信号に基づいて画像を表示する第１表示部20Aと、画像を観察する観察者の瞳孔100によって反射された光が入射するセンサー60と、画像を拡大すると共に、光を前記センサー60に結像させる接眼レンズ52と、センサー60から出力された検出信号に基づいて、瞳孔100の位置を検出する瞳孔位置検出部62と、を備え、第１画像処理部15c-1は、瞳孔の位置に基づいて、撮像信号に画像処理を施す、ことを特徴とする撮像装置。【選択図】図１

Description

本発明は、撮像装置、表示装置、及び、電子機器に関する。

液晶表示装置では、画像を表示する表示面が、その正面方向から観察されることを想定して表示制御されているため、斜め方向から観察されると、当該表示面に表示された画像の色が、正面方向から観察されたときとは異なる色として視認され得る。
このような事情から、表示面が斜め方向から観察されたときであっても、適切な画質の画像が視認され得る液晶表示装置が種々提案されている（例えば特許文献１乃至３参照）。それらの技術では、表示面に対する観察者の視線方向に応じた補正（以下、「視線補正」という。）が施された画像が表示面に表示される。
このような視線補正を行うには、表示面に対する観察者の視線方向を検出する必要があるところ、特許文献１には、リモコン受光部で受信したリモコン信号に基づいて視線方向を検出する構成が提案されている。また、特許文献２及び特許文献３には、観察者の顔を撮像素子で撮像して画像を取得し、該画像に基づいて視線方向を検出する構成が提案されている。

特開２００８−２４２３４２号公報 特開２０１２−２０８２５５号公報 特開２００９−１２８３８１号公報

液晶表示装置を備える機器の１つとして、光学ファインダーの代わりに電子ビューファインダー（Electronic View Finder：以下、ＥＶＦという。）が搭載されたデジタルスチルカメラが知られている。ＥＶＦが搭載されたデジタルスチルカメラでは、筐体内に配置された液晶表示装置に、いわゆるライブビュー画像が表示され、観察者はファインダーの覗き窓に配置された接眼レンズ（拡大レンズ）を介して、当該ライブビュー画像を拡大観察する。
一方、特許文献１乃至３を始めとする従来技術の適用対象の機器は、液晶表示装置に表示された画像を、接眼レンズなどの光学素子を介さずに直接的に観察する機器である。
従って、特許文献１乃至３を始めとする従来技術は、ＥＶＦへの適用について最適化されておらず、当該従来技術をＥＶＦにそのまま適用することはできない。
例えば、デジタルスチルカメラでＥＶＦを利用する状況では、観察者は当該デジタルスチルカメラを手で把持しているため、リモコンを利用することはなく、特許文献１の技術を適用することはできない。また、特許文献２又は特許文献３の技術を適用するには、デジタルスチルカメラの筐体における接眼レンズ側にも、視線方向の検出のためだけに撮像素子を別途設けなくてはならず、装置が大型化すると共に構成が複雑化してしまう。
本発明は、上述した事情に鑑みて為されたものであり、簡略な構成であって、光学素子を介して観察する表示部の表示面が、斜め方向（正面方向ではない方向）から観察されたときであっても、適切な画質の画像が観察される撮像装置、表示装置、及び電子機器を提供することを解決課題の一つとする。

上述した課題を解決するため、本発明の一態様に係る撮像装置は、被写体を撮像する撮像部と、前記撮像部から出力された撮像信号に画像処理を施して画像信号を生成する画像処理部と、前記画像信号に基づいて画像を表示する表示部と、前記画像を観察する観察者の瞳孔によって反射された光が入射するセンサーと、前記画像を拡大すると共に、前記光を前記センサーに結像させる光学素子と、前記センサーから出力された検出信号に基づいて、前記瞳孔の位置を検出する検出部と、を備え、前記画像処理部は、前記瞳孔の位置に基づいて、前記撮像信号に前記画像処理を施すことを特徴とする。

この態様によれば、表示部には、当該表示部の「観察者の瞳孔の位置」に基づく画像処理によって生成された画像信号に基づく画像が表示される。これにより、瞳孔が光学素子の光軸の延長線上に位置しない場合であっても、当該光学素子を介して、観察者には表示部に表示された画像が適切な画質で視認される。換言すれば、光学素子を介して観察する表示部の表示面が、斜め方向から観察されたときであっても、適切な画質の画像が観察される撮像装置が実現する。また、１つの光学素子が、表示部に表示された画像を拡大するための光学系と、瞳孔によって反射された光をセンサーに結像させる光学系とに兼用されるため、装置の小型化や構成の簡略化が実現する。
なお、「瞳孔の位置」とは、例えば、光学素子（例えば接眼レンズ）の光軸に対する観察者の瞳孔の位置である。

本発明の他の態様に係る撮像装置は、上述の一態様に係る撮像装置であって、前記光学素子は、前記観察者が覗き込むレンズである、ことを特徴とする。
この態様によれば、光学素子は接眼レンズであるところ、接眼レンズは通常の撮像装置が備えるものであるため、瞳孔の位置を検出するための光学素子を別途設ける必要がなく、装置の大型化や構成の複雑化を防ぐことができる。

本発明の他の態様に係る撮像装置は、上述の一態様に係る撮像装置であって、前記光学素子と前記センサーとの間に設けられ、入射した前記光の少なくとも一部を反射して前記センサーに導く光学部材を含むことを特徴とする。
この態様によれば、画像を観察する観察者の瞳孔によって反射された光が光学部材によってセンサーへ導かれる。このように、瞳孔の位置を検出するための光学系を簡略な構成とすることができる。

本発明の他の態様に係る撮像装置は、上述の一態様に係る撮像装置であって、前記表示部を照明する照明光を射出する光源を含み、前記光は、前記表示部を透過した後に前記瞳孔の表面で反射された前記照明光であることを特徴とする。
この態様によれば、瞳孔の位置を検出するために瞳孔に照射する光として、通常の撮像装置が備える表示部の光源からの光を利用する。これにより、瞳孔に光を照射するための光源を別途設ける必要がなく、装置の大型化や構成の複雑化が防止される。

本発明の他の態様に係る撮像装置は、上述の一態様に係る撮像装置であって、赤外光を発光する発光部を含み、前記光は、前記瞳孔の表面で反射された前記赤外光である、ことを特徴とする。
この態様によれば、赤外光を用いて瞳孔の位置を高精度で検出することが可能となる。

本発明の他の態様に係る撮像装置は、上述の一態様に係る撮像装置であって、前記発光部は、前記赤外光を直接に前記瞳孔に照射可能な位置、又は、前記赤外光を前記光学素子を介して前記瞳孔に照射可能な位置に設けられている、ことを特徴とする。
この態様によれば、瞳孔に対して直接に赤外光を照射する構成を採ることで、光源から瞳孔に至るまでの間での赤外光の損失を少なくすることができ、また、光学素子を介して瞳孔に赤外光を照射する構成を採ることで、発光部を配置する位置の自由度が高まり、例えばセンサーの近傍に発光部を設けることも可能となる。

上述した課題を解決するため、本発明の一態様に係る表示装置は、被写体を撮像して取得された撮像信号に画像処理を施して画像信号を生成する画像処理部と、前記画像信号に基づいて画像を表示する表示部と、前記画像を観察する観察者の瞳孔によって反射された光が入射するセンサーと、前記画像を拡大すると共に、前記光を前記センサーに結像させる光学素子と、前記センサーから出力された検出信号に基づいて、前記瞳孔の位置を検出する検出部と、を備え、前記画像処理部は、前記瞳孔の位置に基づいて、前記撮像信号に前記画像処理を施す、ことを特徴とする。

この態様によれば、表示部には、当該表示部の「観察者の瞳孔の位置」に基づく画像処理によって生成された画像信号に基づく画像が表示される。これにより、瞳孔が光学素子の光軸の延長線上に位置しない場合であっても、当該光学素子を介して、観察者には表示部に表示された画像が適切な画質で視認される。換言すれば、光学素子を介して観察する表示部の表示面が、斜め方向から観察されたときであっても、適切な画質の画像が観察される撮像装置が実現する。また、１つの光学素子が、表示部に表示された画像を拡大するための光学系と、瞳孔によって反射された光をセンサーに結像させる光学系とに兼用されるため、装置の小型化や構成の簡略化が実現する。

本発明の一態様に係る電子機器は、上述の各態様のうちいずれか一つの態様に係る撮像装置を備える、ことを特徴とする。この態様によれば、上述の各態様のうちいずれか一つの態様に係る撮像装置と同様の効果を奏する電子機器を提供することができる。
本発明の他の態様に係る電子機器は、上述の態様に係る表示装置を備える、ことを特徴とする。この態様によれば、上述の態様に係る表示装置と同様の効果を奏する電子機器を提供することができる。

本発明の一実施形態に係る撮像装置の構成例を示す図。 第１画像処理部の主要な機能を示すブロック図。 観察者の瞳孔の位置を特定するための座標系の一例を示す図。 補正テーブルに記録された瞳孔のＹ軸方向における位置と、ＲＧＢ各色のゲインとの関係の一例を示す図。 ＲＧＢ各色のゲインを説明する図。 接眼レンズに係る歪曲収差による画像の歪曲の一態様を説明する図。 接眼レンズに係る歪曲収差による画像の歪曲の一態様を説明する図。 第１変形例に係る撮像装置における瞳孔検出用光源の配置例を示す図。 第１変形例に係る撮像装置における瞳孔検出用光源の配置例を示す図。 第２変形例に係る撮像装置におけるハーフミラーに対する第１表示部とセンサーとの位置関係を示す図。

以下、図面を参照して本発明の実施形態を説明する。なお、図面においては、各部の寸法の比率は実際のものとは適宜に異ならせてある。
図１は、本発明の一実施形態に係る撮像装置の構成例を示す図である。同図に示すように、一実施形態に係る撮像装置１は、撮像光学系１０と、撮像部１４と、制御部１５と、第１表示部２０Ａと、第２表示部２０Ｂと、記録部３０と、操作部４０と、観察光学系５０と、センサー６０と、瞳孔位置検出部６２と、補正テーブル７０と、調整部８０と、を備える。

撮像光学系１０は、撮像部１４に被写体像を結像させる撮像レンズ１１と、絞り１２と、シャッター１３と、を備える。撮像レンズ１１と絞り１２とは筐体（不図示）に対して着脱可能に取り付けられている。

撮像レンズ１１は、図１では１枚のレンズとして図示されているが、光軸方向に並べられた一枚以上のレンズであり、各レンズはその外縁部で支持されると共に、少なくとも１枚のレンズは光軸方向に移動可能である。
絞り１２は、撮像レンズ１１の光軸に対して垂直な平面内で回動可能に支持された複数の遮蔽板によって構成され、複数の遮蔽板が連動して回動することによって、光軸に対して垂直な平面内で遮蔽されていない部分の面積を変化させることが可能である。絞り１２の開口径は、例えば、光軸中心から遮蔽されていない部分までの距離を示す値である。

シャッター１３は機械シャッターであり、撮像部１４の撮像素子面に対して平行な平面板状の遮光部としての遮光幕を備える。この遮光幕は、光軸に対して垂直な方向に駆動可能である。また、遮光幕は、光軸に平行な方向の光路を遮らない状態で保持されており、所定のトリガが与えられると、当該遮光幕が保持された状態が解除され、遮光幕は光軸に対して垂直な方向に駆動して光路を遮る状態となる。シャッター１３と撮像部１４の電子シャッターとを組み合わせることによって露光時間を制御する。

撮像部１４は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーであり、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードと、を備える。撮像部１４は電子シャッター動作を行うことが可能である。
すなわち、撮像部１４は、露光の開始タイミング及び露光の終了タイミングをライン毎に制御することが可能な撮像素子であり、各ラインにおいて光を検出する状態となっている時間を調整しながら露光の開始タイミング及び終了タイミングを調整することが可能である。電子シャッターによって、ライブビュー表示を行うための画像を撮影する際の露光時間を制御する。
なお、撮像部１４として、ＣＭＯＳイメージセンサーの代わりにＣＣＤ（Charge Coupled Device）イメージセンサーなどを用いてもよい。

操作部４０は、少なくとも、シャッター操作、撮影モードを切り替える操作、絞り１２を調節する操作、シャッター速度を切り替える操作、及び、各種設定メニューの操作などに用いられる。
制御部１５は、撮像装置１の各部を統括的に制御するための各種処理を実行する回路が構成されたＳＯＣ（System On a Chip）である。制御部１５は、撮影制御部１５ａと、Ａ／Ｄ変換部１５ｂと、第１画像処理部１５ｃ−１と、第１表示制御部１５ｄ−１と、第２画像処理部１５ｃ−２と、第２表示制御部１５ｄ−２とを備える。

撮影制御部１５ａは、操作部４０を用いて入力されたユーザーの指示、又は、デフォルト設定に基づいて、撮影条件を特定し、当該撮影条件にて撮影を行うためのパラメーターを調整部８０に出力する。当該パラメーターに応じた撮影条件の設定は、調整部８０によって実行される。
ここで、調整部８０は、焦点調整部８０ａと、絞り調整部８０ｂと、シャッター速度調整部８０ｃと、を備える。焦点調整部８０ａは、制御部１５から供給された制御信号に基づいて撮像レンズ１１を移動させ、焦点を調整する。絞り調整部８０ｂは、制御部１５から供給された制御信号に基づいて絞り１２の開口径を調整する。シャッター速度調整部８０ｃは、制御部１５から供給された制御信号に基づいて、機械シャッターであるシャッター１３と撮像部１４の電子シャッターとを駆動してシャッター速度を調整する。シャッター１３と撮像部１４の電子シャッターとの組み合わせによって露光時間を制御可能であると共に、撮像部１４の電子シャッターのみによっても露光時間を制御可能である。

例えば、電子先幕−機械後幕シャッター方式によって露光時間が制御される場合、まず電子シャッターによりライン順次で露光が開始され、ライン毎の露光時間が設定されたシャッター速度となるタイミングで各ラインが遮光されるように機械シャッターによる遮光が開始される。
また、ライブビュー表示を行うための撮影の際には、電子シャッター方式によって露光時間が制御される。すなわち、先幕も後幕も電子シャッターによって制御される。具体的には、まず、電子シャッターによりライン順次で露光が開始され、ライン毎の露光時間が設定されたシャッター速度となるようにライン順次で露光が終了される。

説明を撮影制御部１５ａに戻す。
撮影制御部１５ａは、さらに、ＡＥ（Automatic Exposure）処理を行うための評価値を特定して調整部８０に出力する。すなわち、撮影制御部１５ａは、撮像部１４から出力された撮像信号に基づいて、撮像部１４による撮影範囲内に設定された所定の測光エリアに含まれる画素の明るさを評価する評価値（例えば、輝度の平均値等）を特定し、ＡＥ処理を行うための評価値として出力する。

Ａ／Ｄ変換部１５ｂは、撮像部１４から出力される撮像信号（アナログ電気信号）を量子化してデジタル信号に変換して出力する。具体的には例えば、Ａ／Ｄ変換部１５ｂは、撮像信号に含まれる雑音の低減処理、ゲインの調整による電気信号のレベル調整処理、量子化処理等を行う。Ａ／Ｄ変換部１５ｂにより生成されたデジタル信号（以下、ＲＡＷデータという。）は、第１画像処理部１５ｃ−１、第２画像処理部１５ｃ−２、及び記録部３０に入力される。記録部３０に入力されたＲＡＷデータは、当該記録部３０に記録される。記録部３０は、情報を記録することができ、また、当該記録部から情報を読み出すことができる記録媒体である。

第１画像処理部１５ｃ−１は、後述する処理により画像信号を生成して出力する。以下、第１画像処理部１５ｃ−１により生成される画像信号を「第１画像信号」という。
図２は、第１画像処理部１５ｃ−１の主要な機能を示すブロック図である。同図に示すように、第１画像処理部１５ｃ−１は、画像信号生成部１５ｃ−１１と、マトリックス係数調整部１５ｃ−１２と、ガンマ補正調整部１５ｃ−１３と、ゲイン調整部１５ｃ−１４と、歪曲収差補正量調整部１５ｃ−１５と、を備える。

画像信号生成部１５ｃ−１１は、画像形成処理、マトリックス演算処理、ガンマ補正処理、ゲイン調整処理、及び歪曲収差補正処理などを実行する。
画像形成処理は、入力されたＲＡＷデータに基づいて、各画素から出力された一色分の輝度情報を近傍の画素の異なる色の輝度情報で補間することにより画素毎にＲＧＢ（又はＹＣｂＣｒ）の３つの階調値を持つデジタル信号（以下、ＲＧＢ信号という。）を出力する処理である。

本実施形態に係る撮像装置１では、画像信号生成部１５ｃ−１１は、マトリックス演算処理、ガンマ補正処理、ゲイン調整処理、及び歪曲収差補正処理を、「瞳孔位置情報」に基づいて実行する。
「瞳孔位置情報」は、接眼レンズ５２を覗き込む観察者の瞳孔１００の位置を示す情報である。図３は、瞳孔１００の位置を特定するための座標系の一例を示す図である。同図に示す例では、Ｘ−Ｙ平面は、接眼レンズ５２の厚さ方向に対して垂直な平面であり、接眼レンズ５２の光軸の位置を原点Ｏとしている。このように、本実施形態に係る撮像装置１では、瞳孔位置情報は、Ｘ−Ｙ平面上での瞳孔１００の位置を示す情報である。

ここで、観察光学系５０の光軸の延長線上、換言すれば図３において接眼レンズ５２の光軸の位置を示す原点Ｏを紙面に対して垂直に延長した線上に、観察者の瞳孔１００が位置するときの、第１表示部２０Ａに表示された画像の見え方を「通常視認態様」と称する。すなわち、観察者が第１表示部２０Ａを正面方向から見たときの、第１表示部２０Ａに表示された画像の見え方を「通常視認態様」と称する。なお、第１表示部２０Ａは液晶ディスプレイである。

観察者の瞳孔１００が観察光学系５０の光軸の延長線上に位置しない場合、当該観察者は、第１表示部２０Ａの表示面を斜め方向から観察することになる。このような場合、第１表示部２０Ａに表示された画像は、正面方向から観察する場合とは異なる色の画像として視認されることがあり、さらに、接眼レンズ５２に係る歪曲収差も、正面方向から観察する場合とは異なる歪曲の態様で視認され得る。つまり、通常視認態様で視認されないことがある。
そこで、本実施形態に係る撮像装置１では、画像信号生成部１５ｃ−１１が、当該観察者から見たときに通常視認態様で視認される画像となるように、瞳孔位置情報に応じてマトリックス演算処理、ガンマ補正処理、ホワイトバランス調整処理、及び歪曲収差補正処理を実行する。
以下、これらの処理について詳述する。

マトリックス演算処理は、ＲＧＢ信号に対して３×３のマトリックス係数を掛ける行列演算処理を実行して、第１表示部２０Ａに表示されたときに好ましい色再現となるＲＧＢ信号を生成する色再現処理／ノイズ除去処理である。
本実施形態に係る撮像装置１では、観察者の瞳孔１００が観察光学系５０の光軸の延長線上に位置しない場合であっても当該観察者に通常視認態様で視認される画像が第１表示部２０Ａに表示されるように、マトリックス演算処理は、瞳孔位置情報にも基づいて行われる。
ここで、マトリックス演算処理で使用されるマトリックス係数は、瞳孔位置情報に応じて複数用意され、補正テーブル７０に記録されている。

ガンマ補正処理は、表示部（本例では第１表示部２０Ａ）の表示特性に応じてＲＧＢ信号の階調特性（いわゆるγカーブ）を補正する処理である。具体的には、所定のルックアップテーブル（以下、ガンマ補正ＬＵＴという。）に従って、ＲＧＢ信号の階調特性を補正する。
本実施形態に係る撮像装置１では、観察者の瞳孔１００が観察光学系５０の光軸の延長線上に位置しない場合であっても当該観察者に通常視認態様で視認される画像が第１表示部２０Ａに表示されるように、ガンマ演算処理は、瞳孔位置情報にも基づいて行われる。
ここで、ガンマ補正処理で使用されるガンマ補正ＬＵＴは、瞳孔位置情報に応じて複数用意され、補正テーブル７０に記録されている。

ゲイン調整処理は、例えば撮影環境における光の色（被写体を照明する光源の種類）に応じて生じ得る色バランスのずれを補正するために、ＲＧＢ各色の少なくともいずれか一色に係るゲイン（利得）を調節する処理である。
本実施形態に係る撮像装置１では、観察者の瞳孔１００が観察光学系５０の光軸の延長線上に位置しない場合であっても当該観察者に通常視認態様で視認される画像が第１表示部２０Ａに表示されるように、ゲイン調整処理は、瞳孔位置情報にも基づいて行われる。
ここで、ゲイン調整処理において使用されるＲＧＢ各色のゲインの値は、瞳孔位置情報に応じて複数用意され、補正テーブル７０に記録されている。

歪曲収差補正処理は、接眼レンズ５２に係る歪曲収差を補正するために、画像を構成する各画素の座標を変換する処理である。歪曲収差補正処理における各画素の座標の補正量は、像高位置に応じたものである。具体的には、歪曲収差を補正するための、像高位置に応じた各座標の補正量を示すルックアップテーブル（以下、歪曲収差補正ＬＵＴという。）に従って、歪曲収差を補正する。
本実施形態に係る撮像装置１では、観察者の瞳孔１００が観察光学系５０の光軸の延長線上に位置しない場合であっても当該観察者に通常視認態様で視認される画像が第１表示部２０Ａに表示されるように、歪曲収差補正処理は瞳孔位置情報にも基づいて行われる。
ここで、歪曲収差補正処理で使用される歪曲収差補正ＬＵＴは、瞳孔位置情報に応じて複数用意され、補正テーブル７０に記録されている。

なお、本実施形態に係る撮像装置１では、歪曲収差補正処理として、撮像レンズ１１に係る歪曲収差についても当然に補正処理を行う。しかしながら、撮像レンズ１１に係る歪曲収差補正処理は、接眼レンズ５２に係る歪曲収差補正処理とは異なり、瞳孔位置情報に応じて処理内容を変更すべきものではない。従って、撮像レンズ１１に係る歪曲収差補正処理については従来の撮像装置におけるそれと同様の処理内容であるので、ここでは詳細な説明は省略する。
上述したように、補正テーブル７０は、マトリックス係数、ガンマ補正ＬＵＴ、ＲＧＢ各色のゲインの値、及び歪曲収差補正ＬＵＴと、瞳孔位置情報とが対応付けられて記録されたテーブルである。

図２に示す第１画像処理部１５ｃ−１の構成に説明を戻す。
マトリックス係数調整部１５ｃ−１２は、補正テーブル７０を参照して、瞳孔位置情報に対応するマトリックス係数を特定すると共に、当該特定したマトリックス係数を、マトリックス演算処理で使用するマトリックス係数として画像信号生成部１５ｃ−１１に供給する。
ガンマ補正調整部１５ｃ−１３は、補正テーブル７０を参照して、瞳孔位置情報に対応するガンマ補正ＬＵＴを特定すると共に、当該特定したガンマ補正ＬＵＴを、ガンマ補正処理で使用するガンマ補正ＬＵＴとして画像信号生成部１５ｃ−１１に供給する。
ゲイン調整部１５ｃ−１４は、補正テーブル７０を参照して、瞳孔位置情報に対応するＲＧＢ各色のゲインの値を特定すると共に、当該特定したＲＧＢ各色のゲインの値を、ゲイン調整処理で使用するＲＧＢ各色のゲインの値として画像信号生成部１５ｃ−１１に供給する。

図４は、補正テーブル７０に記録された、瞳孔１００のＹ軸方向における位置と、ＲＧＢ各色のゲインとの関係の一例を示す図である。なお、ここでは説明の便宜上、一軸（Ｙ軸）方向における瞳孔１００の位置とゲインとの関係の一例を図示しているが、他の一軸（Ｘ軸方向）における瞳孔１００の位置とゲインとの関係や、二軸（Ｘ−Ｙ平面）上における瞳孔１００の位置とゲインとの関係を補正テーブル７０に記録し、それらに基づいてゲインの値を特定しても勿論よい。

図５は、ＲＧＢ各色のゲインの概念を示す図である。
同図において、横軸はゲインを乗算する前の各色の階調値を示し、縦軸はゲインを乗算した後の各色の階調値を示している。すなわち、同図に示す直線Ｌの傾き（β／α）が、ゲインの値を示している。同図に示すように、ゲインは、ＲＧＢ各色ごとに、瞳孔位置情報に応じた値に設定されている。

図２に示す第１画像処理部１５ｃ−１の構成に説明を戻す。
歪曲収差補正量調整部１５ｃ−１５は、補正テーブル７０を参照して、瞳孔位置情報に対応する歪曲収差補正ＬＵＴを特定すると共に、当該特定した歪曲収差補正ＬＵＴを、歪曲収差補正処理で使用する歪曲収差補正ＬＵＴとして画像信号生成部１５ｃ−１１に供給する。
以下、接眼レンズ５２に係る歪曲収差が、観察者の瞳孔１００の位置に応じて異なる歪曲の態様で視認される例を説明する。
図６及び図７は、接眼レンズ５２に係る歪曲収差について、その歪曲の態様の一例を説明する図である。

図６は、Ｙ軸方向における瞳孔１００の位置が原点Ｏ近傍であるときの、歪曲の態様の一例を示している。同図上段に示す例では、「糸巻き型」と称される歪曲が生じている。
このような歪曲収差を補正するため、瞳孔１００の位置に対応する歪曲収差補正ＬＵＴが、歪曲収差補正量調整部１５ｃ−１５によって補正テーブル７０を参照して特定され、当該特定された歪曲収差補正ＬＵＴを使用して画像信号生成部１５ｃ−１１によって歪曲収差補正処理が実行される。これにより、同図下段に示されるように、歪曲収差が補正される。

図７は、Ｙ軸方向における瞳孔１００の位置が原点Ｏよりもマイナス側であるときの、歪曲の態様の一例を示している。同図上段に示す例では、Ｘ軸方向において原点Ｏから離れた位置ほど大きく歪曲し、且つ、Ｙ軸方向において＋Ｙ方向に行くほどが大きく歪曲している。
このような歪曲収差を補正するため、瞳孔１００の位置に対応する歪曲収差補正ＬＵＴが、補正テーブル７０を参照して歪曲収差補正量調整部１５ｃ−１５によって特定され、当該特定された歪曲収差補正ＬＵＴを使用して画像信号生成部１５ｃ−１１によって歪曲収差補正処理が実行される。これにより、同図下段に示されるように歪曲収差が補正される。

説明を図１に戻す。
第１表示制御部１５ｄ−１は、第１画像処理部１５ｃ−１による上述の処理で生成された第１画像信号に基づいて第１表示部２０Ａの表示動作を制御する。
第１表示部２０Ａは、いわゆるフレーミングやピントを確認するために用いられる覗き窓（ファインダー）の内部に設けられるＥＶＦ（Electronic View Finder）を構成する液晶ディスプレイであり、第１画像信号に基づいて画像を表示する。第１表示部２０Ａに表示される画像は、データ処理による遅延等はあるものの、撮像光学系から入力される光学像に対応してほぼリアルタイムに表示される画像である。
なお、第１表示部２０Ａには、画像が表示される表示面を照明する光源（不図示）が含まれている。

第２画像処理部１５ｃ−２は、Ａ／Ｄ変換部１５ｂから入力されたＲＡＷデータに対して、画像形成処理、マトリックス演算処理、ガンマ補正処理、ゲイン調整処理（ホワイトバランス調整処理）、及び、撮像レンズ１１に係る歪曲収差補正処理などを実行して画像信号を生成して出力する。以下、第２画像処理部１５ｃ−２により生成される画像信号を「第２画像信号」という。
なお、第２画像信号に基づく画像は、第２表示部２０Ｂに表示され、観察光学系５０を介さずに観察者に観察されるため、接眼レンズ５２に係る歪曲収差については考慮する必要はない。従って、第２画像処理部１５ｃ−２による歪曲収差補正処理は、あくまでも撮像レンズ１１に係る歪曲収差のみについての補正処理である。

第２表示制御部１５ｄ−２は、第２画像処理部１５ｃ−２による上述の処理で生成された第２画像信号に基づいて、第２表示部２０Ｂの表示動作を制御する。
第２表示部２０Ｂは、撮像装置１の筐体表面に設けられており、第１表示部２０Ａと同様に光学像のリアルタイム表示を行ったり、記録部３０に記録されている画像信号に基づく画像を表示したり、撮像装置１の各種設定を行うメニュー画面を表示したりする。そのため、第２表示部２０Ｂの画面サイズは第１表示部２０Ａよりも大きく形成されている。
なお、本実施形態では第１表示部２０Ａ及び第２表示部２０Ｂを液晶ディスプレイとして構成しているが、むろん有機ＥＬ（Electro Luminescence）ディスプレイなどの他の種類の表示装置で構成することもできる。

観察光学系５０は、ハーフミラー５１と、接眼レンズ５２と、結像レンズ５３と、を含む。観察光学系５０は、ＥＶＦを構成する光学系である。
ハーフミラー５１は、第１表示部２０Ａの光源（不図示）から射出して画像の表示面を透過した光の少なくとも一部を透過させて瞳孔１００に入射させる。また、ハーフミラー５１は、瞳孔１００の表面で反射された光の少なくとも一部を反射して、後述するセンサー６０へ導く。

詳細は後述するがセンサー６０は、瞳孔１００の位置を検出するセンサーである。本実施形態に係る撮像装置１では、瞳孔１００の位置を検出するために当該瞳孔１００に照射する光として、第１表示部２０Ａの光源（不図示）からの光を利用する。
これにより、瞳孔１００の位置を検出するための光の光源を別途設ける必要がなくなり、当該撮像装置１の大型化や構成の複雑化が防止される。

接眼レンズ５２は、第１表示部２０Ａに表示された画像を観察者が拡大観察するための光学素子として機能すると共に、瞳孔１００の表面で反射された光の少なくとも一部を、センサー６０の受光面上で結像させるための光学素子としても機能する。
換言すれば、接眼レンズ５２は、ＥＶＦを構成する光学系と、瞳孔１００の位置を検出する光学系とに兼用される。これにより、当該撮像装置１の大型化や構成の複雑化を避けつつ、瞳孔１００の位置を高精度で検出することができる構成が実現する。

結像レンズ５３は、上述した接眼レンズ５２と組み合わせて用いられることで、瞳孔１００の表面で反射され、且つ、ハーフミラー５１によって反射された（導かれた）光を、センサー６０の受光面上に、より高精度で結像させるためのレンズである。この結像レンズ５３は、瞳孔１００の位置を検出する所望の精度に応じて適宜設ければよく、必ずしも設ける必要はない。

センサー６０は、例えば撮像素子であり、瞳孔１００の表面で反射され且つハーフミラー５１によって反射された（導かれた）光が、その受光面上に結像する。
瞳孔位置検出部６２は、センサー６０によって撮像された瞳孔の撮像信号に基づいて、瞳孔１００の位置を検出し、当該位置を示す瞳孔位置情報を生成して第１画像処理部１５ｃ−１に供給する。具体的には、瞳孔位置検出部６２は、例えば瞳孔１００が観察光学系５０の光軸の延長線上に位置するときに検出される当該瞳孔１００の位置を基準として、上述したＸ−Ｙ平面上での瞳孔１００の位置を特定する。

以上説明したように、本実施形態によれば、装置の大型化や構成の複雑化を招かない構成で、ＥＶＦに係る表示装置（第１表示部２０Ａ）の表示面が斜め方向（正面方向ではない方向）から観察されたときであっても、適切な画質の画像が視認される（通常視認態様で視認される）撮像装置及び電子機器を提供することができる。
すなわち、本実施形態に係る撮像装置１では、観察光学系５０が、ＥＶＦの光学系と、瞳孔１００の位置を検出する光学系とを兼用するように構成されている。換言すれば、少なくとも一部の光学素子（接眼レンズ５２）が、ＥＶＦの光学系と、瞳孔１００の位置を検出する光学系とに兼用される。これにより、装置の大型化や構成の複雑化を招かない構成が実現する。また、本実施形態に係る撮像装置１では、瞳孔１００の位置を検出するために、第１表示部２０Ａの光源（不図示）からの光を利用する。これにより、瞳孔１００の位置を検出するための光源を別途設ける必要がなく、装置の大型化や構成の複雑化を招くことがない。

なお、上述した一実施形態は例えば下記のように種々の変形が可能である。
［第１変形例］
上述した第１実施形態に係る撮像装置１では、瞳孔１００の位置を検出するための光として、第１表示部２０Ａの光源（不図示）からの光を利用している。しかしながら、観察光学系５０が、ＥＶＦの光学系と、瞳孔１００の位置を検出する光学系とを兼用する構成によって装置の大型化や構成の複雑化の防止が実現しているため、瞳孔１００の位置を検出するための光を発生する光源を別途設けてもよい。

図８及び図９は、瞳孔検出用光源の配置例を示す図である。図８に示す例では、撮像装置１の筐体表面に瞳孔検出用光源２０１が配置されている。瞳孔検出用光源２０１は、例えば赤外光を発光する光源である。
図８に示すように配置することで、観察者の瞳孔１００に対して直接に光を照射できるため、瞳孔検出用光源２０１から瞳孔１００に至るまでの間での光の損失を少なくすることができる。
しかしながら、撮像装置１の筐体表面に瞳孔検出用光源２０１を配置できない場合には、例えば図９に示すように、接眼レンズ５２を介して瞳孔１００に赤外光を照射するような位置に瞳孔検出用光源２０１を配置し、ハーフミラー５１Ａで赤外光を反射させて瞳孔１００に照射しても勿論よい。なお、本第１変形例においては、ハーフミラー５１Ａとして、例えば赤外光を反射すると共に可視光を透過する光学素子を用いればよい。

［第２変形例］
上述した第１実施形態に係る撮像装置１における、ハーフミラー５１に対する第１表示部２０Ａの位置とセンサー６０の位置とを入れ替えてもよい。すなわち、図１０に示すように第１表示部２０Ａからの光をハーフミラー５１によって反射させて接眼レンズ５２に導くと共に、瞳孔１００の表面で反射された光の少なくとも一部をハーフミラー５１を透過させてセンサー６０に入射させるように構成してもよい。

１…撮像装置、１０…撮像光学系、１１…撮像レンズ、１３…シャッター、１４…撮像部、１５…制御部、１５ａ…撮影制御部、１５ｂ…Ａ／Ｄ変換部、１５ｃ−１…第１画像処理部、１５ｃ−１１…画像信号生成部、１５ｃ−１２…マトリックス係数調整部、１５ｃ−１３…ガンマ補正調整部、１５ｃ−１４…ゲイン調整部、１５ｃ−１５…歪曲収差補正量調整部、１５ｃ−２…第２画像処理部、１５ｄ−１…第１表示制御部、１５ｄ−２…第２表示制御部、２０１…瞳孔検出用光源、２０Ａ…第１表示部、２０Ｂ…第２表示部、３０…記録部、４０…操作部、５０…観察光学系、５１…ハーフミラー、５１Ａ…ハーフミラー、５２…接眼レンズ、５３…結像レンズ、６０…センサー、６２…瞳孔位置検出部、７０…補正テーブル、８０…調整部、８０ａ…焦点調整部、８０ｂ…絞り調整部、８０ｃ…シャッター速度調整部。

Claims (9)

1. 被写体を撮像する撮像部と、
   前記撮像部から出力された撮像信号に画像処理を施して画像信号を生成する画像処理部と、
   前記画像信号に基づいて画像を表示する表示部と、
   前記画像を観察する観察者の瞳孔によって反射された光が入射するセンサーと、
   前記画像を拡大すると共に、前記光を前記センサーに結像させる光学素子と、
   前記センサーから出力された検出信号に基づいて、前記瞳孔の位置を検出する検出部と、
   を備え、
   前記画像処理部は、前記瞳孔の位置に基づいて、前記撮像信号に前記画像処理を施す、
   ことを特徴とする撮像装置。
2. 前記光学素子は、前記観察者が覗き込むレンズである、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記光学素子と前記センサーとの間に設けられ、入射した前記光の少なくとも一部を反射して前記センサーに導く光学部材を含む、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記表示部を照明する照明光を射出する光源を含み、
   前記光は、前記表示部を透過した後に前記瞳孔の表面で反射された前記照明光である、
   ことを特徴とする請求項１乃至３のうちいずれか一項に記載の撮像装置。
5. 赤外光を発光する発光部を含み、
   前記光は、前記瞳孔の表面で反射された前記赤外光である、
   ことを特徴とする請求項１乃至３のうちいずれか一項に記載の撮像装置。
6. 前記発光部は、前記赤外光を直接に前記瞳孔に照射可能な位置、又は、前記赤外光を前記光学素子を介して前記瞳孔に照射可能な位置に設けられている、
   ことを特徴とする請求項５に記載の撮像装置。
7. 被写体を撮像して取得された撮像信号に画像処理を施して画像信号を生成する画像処理部と、
   前記画像信号に基づいて画像を表示する表示部と、
   前記画像を観察する観察者の瞳孔によって反射された光が入射するセンサーと、
   前記画像を拡大すると共に、前記光を前記センサーに結像させる光学素子と、
   前記センサーから出力された検出信号に基づいて、前記瞳孔の位置を検出する検出部と、
   を備え、
   前記画像処理部は、前記瞳孔の位置に基づいて、前記撮像信号に前記画像処理を施す、
   ことを特徴とする表示装置。
8. 請求項１乃至６のいずれか一項に記載の撮像装置を備える、
   ことを特徴とする電子機器。
9. 請求項７に記載の表示装置を備える、
   ことを特徴とする電子機器。
   

Images