JP2014154999A - 信号処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができるようにする。
【解決手段】リサイズ回路１０２は撮像画像に対して所定のリサイズ処理を行って処理済み画像とする。この処理済み画像は後段でリサイズ処理と異なる画像処理が順次行われて記録メディアに記録される。撮影の際に、コントローラ１１９は撮影レンズの焦点距離に応じた歪曲収差補正データに基づいて選択的にリサイズ回路の出力である処理済み画像と後段で画像処理された画像とを表示部に表示制御する。
【選択図】図３

Description

本発明は、信号処理装置、その制御方法、および制御プログラムに関し、特に、撮影の際に画像を表示する場合の表示時間の遅延を低減する信号処理装置に関する。

一般に、デジタルビデオカメラ又はデジタルカメラなどの撮像装置では、撮影の際に被写体を確認するため、液晶又は有機ＥＬなどのディスプレイ（パネル）又は電子ビューファインダー（ＥＶＦ）などの表示装置を備えている。

パネルには、ユーザーが目視する被写体が記録される画像の画質でリアルタイムに表示されることが望ましい。一方、近年、記録画像の多画素化、そして、画質改善機能が多機能化したことに起因して信号処理に時間が掛かり、パネルに表示する際に表示遅延が生じている。表示遅延があると、パン、チルト、又はズームなどの操作の際にユーザーに違和感を与えてしまい、構図およびフォーカスなどの確認が困難となってしまう。

また、表示遅延量（遅延時間）は撮影フレームレートにも依存するので、フレームレートが遅いと表示遅延量は大きくなる。撮像装置の構成にもよるが、例えば、フレームレートが２４Ｈｚであると、フレームレートが６０Ｈｚの場合に比べても表示遅延量が２．５倍大きくなることが知られている。

ところで、テレビジョンにおいても画質改善機能の多機能化に起因して、同様の問題が存在する。例えば、テレビにゲーム機器を接続してゲームを行う際、テレビにおいて画質改善処理を行うと表示遅延が生じてしまう。この結果、ユーザーの操作が遅れてしまい、当該操作遅延がゲームの結果に影響することがあるばかりでなく、ユーザーに違和感を与えることがある。

このような表示遅延を低減するため、例えば、映像信号を信号処理して、表示映像信号を表示パネルに出力する際、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作を選択的に行って、表示モジュールに合わせてスケーリング処理を行うようにしたものがあり、ここでは、画質改善処理などの信号処理を簡略化して表示遅延を低減するようにしている（特許文献１参照）。

特開２０１１−２２３４５７号公報

ところが、特許文献１に記載の手法は、テレビなどの受像機において生じる映像信号と表示映像信号との遅延を低減するものであり、ここでは、少なくとも１フレーム分の遅延が不可避的に生じてしまう。このため、デジタルカメラなどの撮像装置で当該手法を用いたとしても、撮影の際に、つまり、撮像装置の操作の際に生じる違和感を低減して構図およびフォーカスなどの確認を良好に行うことは困難である。

従って、本発明の目的は、撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことのできる信号処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による信号処理装置は、少なくとも撮影レンズを備える撮像部で被写体を撮像した結果得られた撮像画像を画像処理して記録媒体に記録するとともに、前記画像処理された画像を表示部に表示する信号処理装置であって、前記撮像画像に対して所定の画像処理を行って処理済み画像とする第１の画像処理手段と、前記第１の画像処理手段の後段に少なくとも１つ配置され、前記処理済み画像に対して前記第１の画像処理手段による画像処理と異なる画像処理を順次行って前記記録媒体に記録する第２の画像処理手段と、前記撮影レンズの焦点距離に対応づけて前記撮影レンズによる歪曲収差を補正するための歪曲収差補正データが記録された記録手段と、撮影の際に、前記撮影レンズの焦点距離に応じて前記記憶手段から前記歪曲収差補正データを読み出して、当該読み出された歪曲収差補正データに基づいて選択的に前記第１の画像処理手段の出力である処理済み画像と前記第２の画像処理手段の出力である画像とを前記表示部に表示する表示制御手段と、を有することを特徴とする。

本発明による制御方法は、少なくとも撮影レンズを備える撮像部と、前記撮影レンズの焦点距離に対応づけて前記撮影レンズによる歪曲収差を補正するための歪曲収差補正データが記録された記録手段とを備え、前記撮像部で被写体を撮像した結果得られた撮像画像を画像処理して記録媒体に記録するとともに、前記画像処理された画像を表示部に表示する信号処理装置の制御方法であって、前記撮像画像に対して所定の画像処理を行って処理済み画像とする第１の画像処理ステップと、前記第１の画像処理ステップの後に行われる少なくとも１つ画像処理であり、前記処理済み画像に対して前記第１の画像処理ステップによる画像処理と異なる画像処理を順次行って前記記録媒体に記録する第２の画像処理ステップと、撮影の際に、前記撮影レンズの焦点距離に応じて前記記憶手段から前記歪曲収差補正データを読み出して、当該読み出された歪曲収差補正データに基づいて選択的に前記第１の画像処理ステップの出力である処理済み画像と前記第２の画像処理ステップの出力である画像とを前記表示部に表示する表示制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、少なくとも撮影レンズを備える撮像部と、前記撮影レンズの焦点距離に対応づけて前記撮影レンズによる歪曲収差を補正するための歪曲収差補正データが記録された記録手段とを備え、前記撮像部で被写体を撮像した結果得られた撮像画像を画像処理して記録媒体に記録するとともに、前記画像処理された画像を表示部に表示する信号処理装置で用いられる制御プログラムであって、前記信号処理装置が備えるコンピュータに、前記撮像画像に対して所定の画像処理を行って処理済み画像とする第１の画像処理ステップと、前記第１の画像処理ステップの後に行われる少なくとも１つ画像処理であり、前記処理済み画像に対して前記第１の画像処理ステップによる画像処理と異なる画像処理を順次行って前記記録媒体に記録する第２の画像処理ステップと、撮影の際に、前記撮影レンズの焦点距離に応じて前記記憶手段から前記歪曲収差補正データを読み出して、当該読み出された歪曲収差補正データに基づいて選択的に前記第１の画像処理ステップの出力である処理済み画像と前記第２の画像処理ステップの出力である画像とを前記表示部に表示する表示制御ステップと、を実行させることを特徴とする。

本発明によれば、撮影レンズの焦点距離に応じた歪曲収差補正データの変化に応じて表示する画像を切り替えるので、撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。

本発明の第１の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。 図１に示す撮像装置で用いられる歪曲補正データについて説明するための図であり、（ａ）はテスト画像の一例を示す図、（ｂ）は画像の歪みを示す図である。 図１に示すコントローラで行われるスイッチ１２０の切り替え制御説明するためのフローチャートである。 図１に示す撮像装置で行われる表示動作の一例を説明するためのタイミングチャートである。 本発明の第２の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。

以下、本発明の実施の形態による信号処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。

図示の撮像装置は、例えば、ビデオカメラであり、撮像センサー１０１を有している。当該撮像センサー１０１はＣＣＤ又はＣＭＯＳなどの撮像素子を備えている。撮像センサー１０１には、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１００において入射光量の調整および合焦が行われた光学像（被写体像）が結像する。なお、撮像センサー１０１および撮影レンズ１００は撮像部を構成する。

そして、撮像センサー１０１は光電変換によって光学像に応じたアナログ信号を生成し、さらに、当該アナログ信号をＡ／Ｄ変換によってデジタル信号（画像信号）に変換して出力する。つまり、撮像部による撮像の結果得られた撮像画像がデジタル信号である。

撮像素子はマトリックス状に配列された複数の画素を有しており、画素にはＲ（赤）、Ｇ（緑）、およびＢ（青）のいずれかのカラーフィルタが所定の配列、例えば、ベイヤー配列又はハニカム配列で配置されている。これによって、撮像素子は色毎にＲＧＢ画像信号を出力する。また、高速出力（高速読み出し）のため、複数の画素の出力を加算して１つの出力とする画素加算処理を行ってＲＧＢ画像信号を出力する場合もある。

リサイズ回路１０２は、撮像センサー１０１から出力されたＲＧＢ画像信号をＲ（赤）、Ｇ（緑）、およびＢ（青）の色毎に重心を補正しつつ、現像回路１０３において処理可能な大きさ（サイズ）に縮小する。

現像処理回路１０３は、リサイズ回路１０２でリサイズされたＲＧＢ画像信号を受けて、まず、ＲＧＢのオフセット調整、ゲイン調整、およびガンマ補正処理を行う。次に、現像処理回路１０３はＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）とに変換して、当該ＹＣＣ画像信号を記憶メモリ（例えば、ＤＲＡＭ）１０４に一旦書き込む。

現像処理回路１０３の後段には幾何変形処理回路１０５が配置されている。幾何変形処理回路１０５は、ＤＲＡＭ１０４からＹＣＣ画像信号を読み出して、撮影レンズ１００の歪曲収差の補正処理を行う。さらに、幾何変形処理回路１０５は被写体の動きベクトルに応じて撮像装置のブレに起因するＹＣＣ画像信号のブレを低減する防振処理などを行って、第１の処理済みＹＣＣ画像信号としてＤＲＡＭ１０６に書き込む。

ポスト処理回路１０７は、ＤＲＡＭ１０６から第１の処理済みＹＣＣ画像信号を読み出し、例えば、ノイズリダクション処理を行って、第２の処理済みＹＣＣ画像信号としてＤＲＡＭ１０８に書き込む。

このようにして、幾何変形処理回路１０５およびポスト処理１０７はＤＲＡＭに記憶されたＹＣＣ画像信号に対して画像処理を順次行うことになる。

外部出力部１０９は、ＤＲＡＭ１０８から第２の処理済みＹＣＣ画像信号を読み出して、第２の処理済みＹＣＣ画像信号をＨＤＭＩ、ＳＤＩ、コンポーネント、又はコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換して、撮像装置の外部に出力する。

圧縮伸長部１１０はＤＲＡＭ１０８から第２の処理済みＹＣＣ画像信号を読み出して、記録フォーマットに合わせて第２の処理済みＹＣＣ画像信号を圧縮符号化して、圧縮画像信号として記録メディア１１１に記録する。なお、記録メディア部１１１は、例えば、ＳＤカード、ＣＦカード、内蔵ハードディスク、又はＤＶＤである。

リサイズ回路１１２は、ポスト処理回路１０７から第２の処理済みＹＣＣ画像信号を受けて、当該第２の処理済み画像信号を表示装置（パネル）１２２の表示サイズに縮小処理してリサイズＹＣＣ画像信号とする。縮小処理の際には、画像におけるエイリアシングを防止するため、リサイズ回路１１２は画像信号の水平方向および垂直方向の各々について帯域制限フィルタによって画像帯域を制御する。その後、リサイズ回路１１２はバイキュービック法などの補間手法によって第２の処理済みＹＣＣ画像信号を縮小処理して、ＤＲＡＭ１１３に書き込む。

一方、リサイズ回路１１４は、リサイズ回路１０２の出力であるＲＧＢ画像信号を受けて、当該ＲＧＢ画像信号をパネルの表示サイズに縮小処理して、リサイズＲＧＢ画像信号とする。

簡易現像処理回路１１５は、リサイズ回路１１２の出力であるリサイズＲＧＢ画像信号を受けて、当該リサイズＲＧＢ画像信号をパネルに合わせて色の調整処理および解像度調整処理など信号処理を行う。そして、簡易現像処理回路１１５は当該信号処理を行った後、リサイズＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換して、第３の処理済みＹＣＣ画像信号としてＤＲＡＭ１１６に書き込む。

ズームエンコーダー１１７は、撮影レンズ１００の焦点距離を検出して、当該焦点距離検出結果を歪曲補正データ記憶部１１８に出力する。なお、工場で撮像装置を組み立て製造する際、撮像装置でテスト画像を撮影して、テスト画像と撮像装置で得られた撮影画像とに応じて焦点距離に対応する歪曲補正データを得る。そして、歪曲補正データ記憶部１１８には焦点距離に応じた歪曲収差補正データ（以下歪曲補正データともいう）が保存されている。

図２は、図１に示す撮像装置で用いられる歪曲補正データについて説明するための図である。そして、図２（ａ）はテスト画像の一例を示す図であり、図２（ｂ）は画像の歪みを示す図である。

いま、複数のブロック２００（メッシュ）で区切られたテスト画像を、図１に示す撮像装置で撮影する。そして、テスト画像と撮影の結果得られた撮影画像とに応じて焦点距離に対応する歪曲補正データを生成して、歪み補正データ記憶部１１８に記録する。

ここで、歪曲補正データは、撮影画像の歪み量を示す歪み率、撮影画像の歪みを補正するための歪係数、そして、テスト画像を撮影した際の撮影画像上の座標を有している。

歪み補正データ記憶部１１８では焦点距離検出結果に応じて歪係数とテスト画像を撮影した際の撮影画像上の座標を幾何変形処理回路１０５に出力する。さらに、歪み補正データ記憶部１１８では、焦点距離検出結果に応じて焦点距離に応じた歪み率（最大値）をコントローラ１１９に出力する。なお、歪係数および歪み率の算出については後述する。

コントローラ１１９は、入力した歪み率と予め設定された閾値とに応じて、後述するようにして、スイッチ１２０を切り替え制御する。

パネル出力部１２１はスイッチ１２０の切り替え制御に応じてＤＲＡＭ１１３又はＤＲＡＭ１１６に保存された画像信号を表示装置（パネル）１２２に出力して、パネル１２２に画像を表示する。

ここで、図２（ｂ）を参照して、画像の歪みについて説明する。

図２（ｂ）において、画像の中心は座標Ｏ（０、０）とされ、画像２０１は歪曲収差のない理想画像である。一方、画像２０２は撮影レンズ（光学レンズ）１００によって歪曲した画像である。歪曲収差がない場合の理想座標を、例えば、画像２０１の任意の座標をＡ（ｘ，ｙ）とし、歪曲収差によって歪んでいる座標を、画像２０２の任意の座標Ｂ（ｘ′、ｙ′）とする。また、光学中心Ｏ（０、０）から座標Ａ（ｘ，ｙ）までの距離をｒとし、光学中心Ｏ（０、０）から座標Ｂ（ｘ′、ｙ′）までの距離をｒ′とする。

この場合、画像２０２上の座標Ｂ（ｘ′、ｙ′）における歪み率Ｄ（ｒ）［％］は式（１）で示される。

Ｄ（ｒ）＝（ｒ′−ｒ）／ｒ×１００ （１）
画像中心Ｏ（０，０）からの距離が離れるほど歪曲収差の影響を受け、歪曲収差は光学レンズの焦点距離に応じて特性が変化する。

一般に、歪み率Ｄ（ｒ）は、光学中心に対応する画像２０１の中心Ｏ（０，０）から、画像２０１上の任意の座標までの距離ｒの２乗に比例するので、αおよびβを焦点距離によって決定される定数とすると、歪み率Ｄ（ｒ）は、式（２）で近似することができる。

Ｄ（ｒ）＝α×ｒ^２ （２）
なお、焦点距離に応じた定数αおよびβの関係は式（３）で示される。

β＝１００α （３）
式（１）〜式（３）より、光学中心から画像２０２上の座標までの距離ｒ′は式（４）で示されることになる。

ｒ′＝ｒ（１＋β・ｒ^２） （４）
式（４）より、画像２０２上の座標Ｂ（ｘ′、ｙ′）は、画像２０１上の座標Ａ（ｘ、ｙ）よりも、（１＋β・ｒ^２）倍、光学中心に対応する画像２０１の座標Ｏ（０，０）から離れていることになる。よって、水平および垂直方向の距離についても、画像２０２上の座標Ｂ（ｘ′、ｙ′）は、画像２０１上の座標Ａ（ｘ、ｙ）よりも１＋β・ｒ^２）倍離れていることとなる。

式（４）から、画像２０２上の座標Ｂ（ｘ′、ｙ′）と画像２０１上の座標Ａ（ｘ、ｙ）との関係は、式（５）および式（６）で表すことができる。

ｘ′＝ｘ（１＋β・ｒ^２）＝ｘ｛１＋β・（ｘ^２＋ｙ^２）｝ （５）
ｙ′＝ｙ（１＋β・ｒ^２）＝ｙ｛１＋β・（ｘ^２＋ｙ^２）｝ （６）
画像２０１、画像２０２、そして、式（５）および式（６）を用いると、歪係数βを算出することができる。この歪係数βは焦点距離毎に求められる。

そして、歪係数βと画像２０２上の任意の点Ｂ（ｘ′、ｙ′）とを式（５）および式（６）に代入して、歪曲補正座標Ａ（ｘ、ｙ）が算出される。画像２０２上の任意の点Ｂ（ｘ′、ｙ′）については工場で撮像装置を組み立てる際に、図２（ａ）に示すテスト画像を撮影して、像高毎に複数点（座標）を得ておく。

上述のようにして、算出された歪係数βと撮像装置の出力画像（画像２０２）上の任意の点Ｂ（ｘ′、ｙ′）を予め歪曲補正データ記憶部１１８に保存する。そして、幾何変形処理回路１０５は歪係数βとテスト画像を撮影した際の出力画像（撮影画像）上の座標とに応じて補正座標を算出して、歪曲収差の補正処理を行う。

さらに、歪み補正データ記憶部１１８には、前述のように、撮像装置の出力画像上の複数の任意の点における歪み率Ｄについてその最大値が保存されている。そして、歪み補正データ記憶部１１８から焦点距離検出結果に応じた歪み率Ｄがコントローラ１１９に与えられる。コントローラ１１９は歪み率Ｄ（つまり、最大値）に応じてスイッチ１２０を切り替え制御して、記録用信号処理をした画像信号と表示用信号処理をした画像信号とを選択的にパネル出力部１２１に送る。

ここでは、コントローラ１１９は歪み率Ｄが所定の閾値以上であると、撮影画像の歪みが大きいとする。そして、コントローラ１１９はスイッチ１２０を切り替え制御して、記録用信号処理をした画像信号（つまり、ＤＲＡＭ１１３に記録された画像信号）をパネル出力部１２１に送る。

一方、コントローラ１１９は歪み率Ｄが所定の閾値未満であると、撮影画像の歪みが小さいとする。そして、コントローラ１１９はスイッチ１２０を切り替え制御して、表示用信号処理をした画像信号（つまり、ＤＲＡＭ１１６に記録された画像信号）をパネル出力部１２１に送る。

図３は、図１に示すコントローラ１１９で行われるスイッチ１２０の切り替え制御説明するためのフローチャートである。

画像表示処理が開始されると、ズームエンコーダー１１７は撮影レンズ１００における焦点距離を検出して、焦点距離検出結果を出力する（ステップＳ３００）。歪み補正データ記憶部１１８は、焦点距離検出結果を受けると、前述のようにして、歪係数とテスト画像を撮影した際の出力画像（撮影画像）上の座標と幾何変形処理回路１０５に出力する。さらに、歪み補正データ記憶部１１８は焦点距離検出結果に応じた歪み率の最大値をコントローラ１１９に出力する（ステップＳ３０１）。

歪み率の最大値を受けると、コントローラ１１９は当該歪み率の最大値が所定の閾値以上であるか否かを判定する（ステップＳ３０２）。歪み率の最大値が閾値未満であると（ステップＳ３０２において、ＮＯ）、コントローラ１１９はスイッチ１２０を切り替え制御して、表示用信号処理のパスに切り替える（ステップＳ３０３）。つまり、コントローラ１１９はＤＲＡＭ１１６を選択する。

これによって、パネル出力部１２１はＤＲＡＭ１１６に記録された画像信号を取得する（ステップＳ３０４）。

一方、歪み率Ｄの最大値が所定の閾値未満であると、コントローラ１１９はスイッチ１２０を切り替え制御して、記録用信号処理のパスに切り替える（ステップＳ３０５）。つまり、コントローラ１１９はＤＲＡＭ１１３を選択する。

これによって、パネル出力部１２１はＤＲＡＭ１１３に記録された画像信号を取得する（ステップＳ３０６）。

ステップＳ３０４又はＳ３０６の処理に続いて、パネル出力部１２１は、取得した画像信号に応じた画像をパネル（表示部）１２２に表示して（ステップＳ３０７）、画像表示を終了する。

図４は、図１に示す撮像装置で行われる表示動作の一例を説明するためのタイミングチャートである。

図４に示す例では、撮像センサー１０１の駆動周期とパネル１２２の駆動周期とが異なっており、ここでは、撮像センサー１０１の駆動周期を２４Ｈｚ、パネル１２２の駆動周期を６０Ｈｚとする。

なお、撮像センサー１０１の駆動周期とパネル１２２の駆動周期とは異なるが、撮像センサー１０１とパネル１２２とは同期して駆動されており、撮像センサー１０１の駆動周期に比べてパネル１２２の駆動周期は短く、タイミングが送れて同期している。

また、撮像センサー１０１の画素数は水平４０９６ピクセル×垂直２１６０ライン＝８８４７３６０ピクセルであり、パネル１２２の画素数は水平９６０ピクセル×垂直５４０ライン＝５１８４００ピクセルであるものとする。

まず、ステップＳ４００において、撮像センサー１０１からＲＧＢ画像信号（水平４０９６ピクセル×垂直２１６０ライン）が出力される。続いて、ステップＳ４０１において、リサイズ回路１０２は撮像センサー１０１の出力であるＲＧＢ画像信号を現像処理回路１０３が処理可能なサイズ（水平２０４８ピクセル×垂直１０８０ライン）に縮小して、現像処理回路１０３およびリサイズ回路１１４に出力する。

ステップＳ４０２において、現像処理回路１０３はリサイズ回路１０２の出力であるＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換して、ＹＣＣ画像信号をＤＲＡＭ１０４に格納する。続いて、ステップＳ４０３において、幾何変形処理回路１０５はＤＲＡＭ１０４に格納されたＹＣＣ画像信号を、ステップＳ４０２の処理の１フレーム時間後に読み出す。そして、幾何変形処理回路１０５は撮影レンズ１００の歪曲収差の補正処理および防振処理などを行って、第１の処理済みＹＣＣ画像信号をＤＲＡＭ１０６に格納する。

ステップＳ４０４において、ポスト処理回路１０７はＤＲＡＭ１０６に格納された第１の処理済みＹＣＣ画像信号を、ステップＳ４０３の処理の１フレーム時間後に読み出す。そして、ポスト処理回路１０７はノイズリダクション処理を行って第２の処理済みＹＣＣ画像信号をＤＲＡＭ１０８に格納する。さらに、ポスト回路１０７は第２の処理済みＹＣＣ画像信号を、パネル出力のためリサイズ回路１１２に送る。

ステップＳ４０５において、外部出力部１０９はＤＲＡＭ１０８に格納された第２の処理済みＹＣＣ画像信号を、ステップＳ４０４の処理の１フレーム時間後に読み出す。そして、外部出力部１０９は画像信号伝送フォーマットに合わせて、第２の処理済みＹＣＣ画像信号をフォーマット変換して撮像装置の外部に出力する。

ステップＳ４０６において、ＤＲＡＭ１０８に第２の処理済みＹＣＣ画像信号が記憶されて１フレーム時間後に、リサイズ回路１１２は、第２の処理済みＹＣＣ画像信号をパネル１２２の表示サイズ（水平９６０ピクセル×垂直５４０ライン）に水平方向１５／３２、垂直方向１／２に縮小する。そして、リサイズ回路１１２はリサイズＹＣＣ画像信号をＤＲＡＭ１１１３に格納する。

ステップＳ４０７において、コントローラ１１９によって歪み率の最大値が所定の閾値以上であると判定されると、スイッチ１２０によって記録用信号処理のパスに切り替えられる。そして、パネル出力部１２１は、ＤＲＡＭ１１３に格納されたＹＣＣ画像信号を読み出して、パネル１２２の受信フォーマットに合わせて当該ＹＣＣ画像信号のフォーマット変換を行ってパネル１２２に画像を表示する。

ここで、リサイズ回路１１２は１／２４秒毎にＤＲＡＭ１１３にリサイズＹＣＣ画像信号を書き込み、パネル出力部１２１は１／６０秒毎にＤＲＡＭ１１３からリサイズＹＣＣ画像信号を読み出す。よって、撮像センサー１０１から１フレームが読み出されると、パネル出力部１２１は２フレーム又は３フレームに亘って同一のリサイズＹＣＣ画像信号をＤＲＡＭ１１３から読み出すことになる。

一方、ステップＳ４０１の処理の後、ステップＳ４０８の処理が行われる。ステップＳ４０８においては、リサイズ回路１１４はＲＧＢ画像信号に対して縮小処理を行って、パネル１２２の表示サイズ（水平９６０ピクセル×垂直５４０ライン）に水平方向１５／３２、垂直方向１／２にＲＧＢ画像信号を縮小する。

続いて、ステップＳ４０９において、簡易現像処理回路１１５はリサイズ回路１１４の出力であるＲＧＢ画像信号に対してパネル１２２に合わせて色の調整処理および解像度調整処理などを行って、第３の処理済みＹＣＣ画像信号をＤＲＡＭ１１６に格納する。

最後に、ステップＳ４１０において、コントローラ１１９によって歪み率Ｄの最大値が所定の閾値未満であると判定されると、スイッチ１２０によって表示用信号処理のパスに切り替えられる。そして、パネル出力部１２１は、ＤＲＡＭ１１１６に格納されたＹＣＣ画像信号を読み出して、パネル１２２の受信フォーマットに合わせて当該ＹＣＣ画像信号のフォーマット変換を行ってパネル１２２に画像を表示する。

ここで、簡易現像処理回路１１５は１／２４秒毎にＤＲＡＭ１１６に第３の処理済みＹＣＣ画像信号を書き込み、パネル出力１２１は１／６０秒毎にＤＲＡＭ１１６から第３の処理済みＹＣＣ画像信号を読み出す。よって、撮像センサー１０１から１フレームが読み出されると、パネル出力部１２１は２フレーム又は３フレームに亘って同一のリサイズＹＣＣ画像信号をＤＲＡＭ１１３から読み出すことになる。

このように、本発明の第１の実施形態では、撮影レンズ１００の焦点距離による歪み率の変化に応じて、記録用信号処理と表示用信号処理とを切り替えるようにしたので、画像の歪みが小さい焦点距離では表示遅延の少ない画像が表示され、画像の歪みが大きい焦点距離では歪みがない画像を表示することができる。この結果、撮影の際にパネル１２２に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による信号処理装置を備える撮像装置について説明する。

図５は、本発明の第２の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。なお、図５において、図１に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。

図５に示す撮像装置は、撮影レンズ１００が交換可能である。つまり、図５に示す例では、交換レンズユニットは、撮影レンズ１００、ズームエンコーダー１１７、および歪係数記憶部１２３を備えており、交換レンズユニットを撮像装置本体に装着すると、交換レンズ側通信端子１２４と撮像装置側通信端子１２５とが接続される。これによって、歪係数記憶部１２３とコントローラ１１９および幾何変形処理回路１０５とが交換レンズ側通信端子１２４および撮像装置側通信端子１２５を介して接続される。

歪補正データ記憶部１２２には、図示の撮像装置本体に装着可能な交換レンズ毎にその焦点距離に対応した歪係数β（および座標）と歪み率Ｄの最大値とが予め記録されている。

交換レンズを撮像装置本体に装着して撮影を開始すると、歪係数記憶部１２３は、装着された交換レンズの焦点距離検出結果に応じた歪係数（および座標）を幾何変形処理回路１０５に送る。さらに、歪係数記憶部１２３は、装着された交換レンズの焦点距離検出結果に応じた歪み率Ｄの最大値をコントローラ１１９に送る。

そして、前述したようにして、コントローラ１１９は歪み率Ｄの最大値と所定の閾値とに応じてスイッチ１２０の切り替え制御を行う。つまり、歪み率Ｄの最大値が所定の閾値以上であると、コントローラ１１９はスイッチ１２０を切り替え制御して記録用信号処理が行われたＹＣＣ画像信号をパネル出力部１２１に与えることになる。一方、歪み率Ｄの最大値が所定の閾値未満であると、コントローラ１１９はスイッチ１２０を切り替え制御して表示用信号処理が行われたＹＣＣ画像信号をパネル出力部１２１に与えることになる。

このように、本発明の第２の実施形態では、撮影レンズが交換可能な撮像装置であっても、装着された交換レンズの焦点距離による歪み率の変化に応じて、記録用信号処理と表示用信号処理とを切り替えることができ、これによって、画像の歪みが小さい焦点距離では表示遅延の少ない画像が表示され、画像の歪みが大きい焦点距離では歪みがない画像を表示することができる。この結果、撮影の際にパネル１２２に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。

上述の説明から明らかなように、図１に示す例においては、少なくともリサイズ回路１０２、１１２、および１１４、現像処理回路１０３、幾何変形処理回路１０５、ポスト処理回路１０７、簡易現像処理回路１１５、スイッチ１２０、コントローラ１１９、歪み補正データ記憶部１１８、パネル出力部１２１、ＤＲＡＭ１０４、１０６、１０８、１１３、および１１６が信号処理装置を構成する。

そして、リサイズ回路１０２は第１の画像処理手段として機能し、現像処理回路１０３、幾何変形処理回路１０５、およびポスト処理回路１０７は第２の画像処理手段として機能する。また、リサイズ回路１１２および１１４、簡易現像処理回路１１５、ＤＲＡＭ１１３および１１６、スイッチ１２０、パネル出力部１２１、およびコントローラ１１９は表示制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を信号処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを信号処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１の画像処理ステップ、第２の画像処理ステップ、および表示制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮像センサー
１０２，１１２，１１４ リサイズ回路
１０３ 現像処理回路
１０４，１０６，１０８，１１３，１１６ ＤＲＡＭ
１０５ 幾何変形処理回路
１０７ ポスト処理回路
１１５ 簡易現像処理回路
１１７ ズームエンコーダー
１１８ 歪み補正データ記憶部
１１９ コントローラ

Claims (7)

1. 少なくとも撮影レンズを備える撮像部で被写体を撮像した結果得られた撮像画像を画像処理して記録媒体に記録するとともに、前記画像処理された画像を表示部に表示する信号処理装置であって、
   前記撮像画像に対して所定の画像処理を行って処理済み画像とする第１の画像処理手段と、
   前記第１の画像処理手段の後段に少なくとも１つ配置され、前記処理済み画像に対して前記第１の画像処理手段による画像処理と異なる画像処理を順次行って前記記録媒体に記録する第２の画像処理手段と、
   前記撮影レンズの焦点距離に対応づけて前記撮影レンズによる歪曲収差を補正するための歪曲収差補正データが記録された記録手段と、
   撮影の際に、前記撮影レンズの焦点距離に応じて前記記憶手段から前記歪曲収差補正データを読み出して、当該読み出された歪曲収差補正データに基づいて選択的に前記第１の画像処理手段の出力である処理済み画像と前記第２の画像処理手段の出力である画像とを前記表示部に表示する表示制御手段と、
   を有することを特徴とする信号処理装置。
2. 前記記憶手段に記録された歪曲収差補正データには前記焦点距離に対応して前記撮像画像の歪曲収差を補正するための歪係数と前記撮像画像における歪み量を示す歪み率とが少なくも含まれており、
   前記第２の画像処理手段は前記歪み係数に基づいて前記処理済み画像の歪み補正処理を行うことを特徴とする請求項１に記載の信号処理装置。
3. 前記表示制御手段は前記歪み率に応じて選択的に前記第１の画像処理手段の出力である処理済み画像と前記第２の画像処理手段の出力である画像とを前記表示部に表示することを特徴とする請求項２に記載の信号処理装置。
4. 前記表示制御手段は、前記歪み率が所定の閾値以上であると、前記第２の画像処理手段の出力である画像を選択し、前記歪み率が所定の閾値未満であると、前記第１の画像処理手段の出力である処理済み画像を選択することを特徴とする請求項３に記載の信号処理装置。
5. 前記撮影レンズは前記撮像部に対して交換可能な交換レンズであり、
   前記記憶手段には、前記交換レンズの各々についてその歪曲収差補正データが記録されていることを特徴とする請求項１〜４のいずれか１項に記載の信号処理装置。
6. 少なくとも撮影レンズを備える撮像部と、前記撮影レンズの焦点距離に対応づけて前記撮影レンズによる歪曲収差を補正するための歪曲収差補正データが記録された記録手段とを備え、前記撮像部で被写体を撮像した結果得られた撮像画像を画像処理して記録媒体に記録するとともに、前記画像処理された画像を表示部に表示する信号処理装置の制御方法であって、
   前記撮像画像に対して所定の画像処理を行って処理済み画像とする第１の画像処理ステップと、
   前記第１の画像処理ステップの後に行われる少なくとも１つ画像処理であり、前記処理済み画像に対して前記第１の画像処理ステップによる画像処理と異なる画像処理を順次行って前記記録媒体に記録する第２の画像処理ステップと、
   撮影の際に、前記撮影レンズの焦点距離に応じて前記記憶手段から前記歪曲収差補正データを読み出して、当該読み出された歪曲収差補正データに基づいて選択的に前記第１の画像処理ステップの出力である処理済み画像と前記第２の画像処理ステップの出力である画像とを前記表示部に表示する表示制御ステップと、
   を有することを特徴とする制御方法。
7. 少なくとも撮影レンズを備える撮像部と、前記撮影レンズの焦点距離に対応づけて前記撮影レンズによる歪曲収差を補正するための歪曲収差補正データが記録された記録手段とを備え、前記撮像部で被写体を撮像した結果得られた撮像画像を画像処理して記録媒体に記録するとともに、前記画像処理された画像を表示部に表示する信号処理装置で用いられる制御プログラムであって、
   前記信号処理装置が備えるコンピュータに、
   前記撮像画像に対して所定の画像処理を行って処理済み画像とする第１の画像処理ステップと、
   前記第１の画像処理ステップの後に行われる少なくとも１つ画像処理であり、前記処理済み画像に対して前記第１の画像処理ステップによる画像処理と異なる画像処理を順次行って前記記録媒体に記録する第２の画像処理ステップと、
   撮影の際に、前記撮影レンズの焦点距離に応じて前記記憶手段から前記歪曲収差補正データを読み出して、当該読み出された歪曲収差補正データに基づいて選択的に前記第１の画像処理ステップの出力である処理済み画像と前記第２の画像処理ステップの出力である画像とを前記表示部に表示する表示制御ステップと、
   を実行させることを特徴とする制御プログラム。

Images