JP2007081685A - 画像信号処理装置、画像信号処理方法及び画像信号処理システム - Google Patents

Abstract

【課題】 ユーザーが簡単な方法で視聴環境や外部画像表示装置の情報、経時変化やユーザーの好みに対応してカメラ撮影時での画質の補正を可能とする。
【解決手段】 本発明の画像信号処理装置では、外部画像表示装置４２との間で通信をする通信手段４１と、外部画像表示装置４２の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得し、調整用画像パターンに基づいてカメラ信号処理部９による画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として外部画像表示装置４２に表示させるマイクロコンピュータ２７とを備え、表示された補正後の調整用画像パターンに対応するように、カメラ信号処理部９による画像信号処理のパラメータを補正することによって外部画像表示装置４２の表示特性に適合する画質補正を行う。
【選択図】 図１

Description

本発明は、例えば、テレビモニタに接続可能なカメラ一体型記録再生装置などに適用される画像信号処理装置、画像信号処理方法及び画像信号処理システムに関する。

従来から、テレビモニタなどの外部画像表示装置に接続可能なデジタルカメラであって、外部画像表示装置の画面の大きさ、アスペクト比、γ特性、解像度、色合い、対応画像フォーマット等の表示性能の情報を外部画像表示装置内のメモリやインターネット上のサーバーから通信によって取得し、この情報に基づいて画像処理のパラメータを設定して表示装置に好適な画質に補正しカメラ信号の出力や記録、再生を行う画像・映像記録再生装置や画像処理装置、方法が知られている (特許文献１、特許文献２等参照) 。

また経年変化による白バランスのずれを外部画像表示装置本体で補正することが可能な外部画像表示装置が知られている（特許文献３）。
また、デジタルカメラ、カメラ一体型記録再生装置等の機器で撮像した画像をパーソナルコンピュータに取り込んで好みの画質に修正をすることが一般化している。
特開2004-320614号公報 特開2003-259207号公報 特開2001-8226号公報

しかし、これら特許文献１、特許文献２に記載のデジタルカメラは、ある標準的な視聴環境では最適な画像表示が可能であるが、視聴においての周囲の明るさや接続される外部画像表示装置までの距離等のユーザーが実際に視聴する環境までは考慮されていなかった。このため、これらの視聴環境についての要素が異なる場合に於いては実際にはユーザーにとって好ましい画質での表示がされているとは必ずしも言えなかった。従って、撮像画像の表示画質が低下するという不都合が生じていいた。

また、特許文献３に記載の外部画像表示装置は、経年変化による白バランスのずれを外部画像表示装置本体で補正するのみであり、デジタルカメラ、カメラ一体型記録再生装置で撮像した画像をデジタルカメラ、カメラ一体型記録再生装置側でこれに接続される外部画像表示装置に適合した画質に補正することができなかった。

また、デジタルカメラ、カメラ一体型記録再生装置等の機器で撮像した画像をパーソナルコンピュータに取り込んで好みの画質に修正をする場合には、一旦画像をパーソナルコンピュータに取り込む処理と、取り込んだ画像の修正部分を特定しながらパーソナルコンピュータ側で補正処理をするという手間が必ず生じるうえに、自動的に外部画像表示装置に適合した画質に補正することができなかった。

さらに、デジタルカメラ、カメラ一体型記録再生装置では、実質的にカメラ部のイメージセンサーから出力される画像信号のみを記録するだけでは撮影時の様々な条件に対応できないため、この画像信号に対してホワイトバランスや、露光レベル、ゲインコントロール、周波数特性を可変にする等の処理を施す機能を一般的に有している。

また、デジタルカメラ、カメラ一体型記録再生装置を外部画像表示装置に直接接続して画像を表示させる場合に、外部画像表示装置の表示特性に対応するためガンマ特性の補正のような非線形の表示処理を行った後に、この表示処理後の画像を出力あるいは記録することが適切である。

このため、外部画像表示装置側での画質補正処理、及びパーソナルコンピュータに取り込んだ画像の修正作業において画質補正処理を行うことは、カメラ部側での撮影時の有限な量子化ビット数における画像処理を含めると、イメージセンサーから出力される画像信号に対して実質的に２重に画像処理が入り、量子化ノイズの増加、Ｓ／Ｎの劣化等の画質劣化を招く可能性がある。

そこで、これらの状況を鑑み、本発明では、ユーザーが簡単な方法で視聴環境や外部画像表示装置の情報、経時変化やユーザーの好みを画像処理の設定に盛り込み、これを記憶してカメラ撮影時での画質の補正を可能とすることにより、外部画像表示装置側での補正等を不要とする画像信号処理装置、画像信号処理方法及び画像信号処理システムを提供することを目的とする。

上記課題を解決し、本発明の目的を達成するため、本発明の画像信号処理装置は、画像信号処理を施した画像情報を外部画像表示装置に表示するために外部画像表示装置との間で通信をする通信手段と、外部画像表示装置の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得する取得手段と、取得手段により取得した調整用画像パターンに基づいて画像信号処理手段による画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として調整用画像パターンを外部画像表示装置に表示させる調整用画像表示手段と、調整用画像表示手段により表示された補正後の調整用画像パターンに対応するように、画像信号処理手段による画像信号処理のパラメータを補正することによって外部画像表示装置の表示特性に適合する画質補正を行う補正手段と、を備えたものである。

また、本発明の画像信号処理方法は、画像信号処理を施した画像情報を外部画像表示装置に表示するために外部画像表示装置との間で通信をする通信ステップと、外部画像表示装置の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得する取得ステップと、取得した調整用画像パターンに基づいて画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として調整用画像パターンを外部画像表示装置に表示させる調整用画像表示ステップと、表示された補正後の調整用画像パターンに対応するように、画像信号処理のパラメータを補正することによって外部画像表示装置の表示特性に適合する画質補正を行う補正ステップと、を含むものである。

また、本発明の画像信号処理システムは、画像信号処理装置は、画像信号処理を施した画像情報を外部画像表示装置に表示するために外部画像表示装置との間で通信をする通信手段と、外部画像表示装置の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得する取得手段と、取得手段により取得した調整用画像パターンに基づいて画像信号処理手段による画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として調整用画像パターンを外部画像表示装置に表示させる調整用画像表示手段と、調整用画像表示手段により表示された補正後の調整用画像パターンに対応するように、画像信号処理手段による画像信号処理のパラメータを補正することによって外部画像表示装置の表示特性に適合する画質補正を行う補正手段と、を備え、外部画像表示装置は、外部画像表示装置の画質調整設定情報及び外部画像表示装置が備える種々の特性情報を含む情報を記憶する記憶手段を備えたものである。

上述した本発明の画像信号処理装置、画像信号処理方法及び画像信号処理システムによれば、例えば、テレビ、ディスプレイ、モニター、プロジェクター等の外部画像表示装置に合わせて画質調整処理を行うようにしている。このため、画質調整用の調整用画像パターンを外部画像表示装置の表示性能情報に適合するようにカメラ部で発生させて取得手段により取得する。そして、取得手段により取得した調整用画像パターンを、カメラ部のカメラ信号処理部で画像信号処理を行った後に、外部画像表示装置に出力して調整用画像表示手段により画像表示させる。この調整用画像パターンは着脱式の記録メディアから読み込んでもよい。

この外部画像表示装置に表示された調整用画像パターンを使用してユーザーが周囲の視聴環境や、外部画像表示装置の表示能力の経時変化、好み等の要素を盛り込んだ上で簡単に画質調整の作業を行い、これに対応した補正処理が、補正手段によりカメラ部側のカメラ信号処理部に対して可能である。また、調整した結果の画像信号処理パラメータをカメラ部側の記憶手段に記憶しておいて撮影時に活用可能とすることができ、調整後に撮影記録された画像を出力対象の外部画像表示装置で閲覧する際には外部画像表示装置側での画質補正やパーソナルコンピュータに取り込んだ画像の画質補正が不要となる。

本発明によれば、テレビモニタなどの外部画像表示装置に接続可能なカメラ一体型記録再生装置などに適用される画像信号処理装置、画像信号処理方法及び画像信号処理システムにおいて、外部画像表示装置の大画面化に伴う視聴環境の固定化に対応するため、外部画像表示装置に表示された調整用画像パターンを使用してユーザーが周囲の視聴環境に合わせることができる。また外部画像表示装置の表示能力の経時変化やユーザーの好みを取り込んで、簡単に画質調整の作業を行うことができるので、これに対応した補正処理がカメラ部側で可能となる。

このとき、画質調整情報をカメラ部内部に記憶しておくことにより、カメラ部での撮影時において画質調整情報に基づいて画像信号処理のパラメータの補正を行うことができる。これにより、外部画像表示装置側での補正処理やパーソナルコンピュータに取り込んだ画像の画質補正による量子化ノイズの悪化を防ぐことができるとともに、余計な手間を回避することができる。また、直接視聴環境や好みに適合した画質の補正を可能とし、撮像画像の表示画質を向上させることができるという効果を奏する。

以下、本発明の実施の形態について、適宜、図面を参照しながら説明する。
図１に、本発明の実施の形態例となるシステム構成図を示す。
図１において、画像記録再生装置１は、ズームレンズ３、フォーカスレンズ４及びアイリス５からなる光学系２と、ズームレンズ３、フォーカスレンズ４及びアイリス５を駆動する光学系ドライバ・アクチュエータ１９（２０，２１及び２２）と、イメージセンサー６と、イメージセンサー６を駆動するタイミング発生器２３及びドライバー２４とを備えている。

また、画像記録再生装置１は、アナログフロントエンド部７と、Ａ／Ｄコンバータ部８と、カメラ信号処理部９とを備えている。アナログフロントエンド部７は、イメージセンサー６からの出力信号をサンプルホールド、黒レベルクランプ、ゲインコントロール等の処理を行う。また、カメラ信号処理部９は、画像の明るさ、カラーバランス、周波数特性、階調特性、色相、彩度、画素数等を調整、変換可能として、イメージセンサー６により撮像されたデジタル信号画像を記録、伝送、表示のための信号処理をする。

このカメラ信号処理部９はイメージセンサー６側からの信号のみならず後述する記録メディアからの再生信号や外部ストリームからの画像信号も処理が可能な入力部を備えている。

図２は、カメラ信号処理部９のブロック構成例を示したものである。
図２において、カメラ信号処理部９は、記録メディア２８からの３原色信号（R,G,B）を入力する記録メディアインターフェース部５２と、調整用画像パターンを発生する調整用画像パターン発生部５３と、イメージセンサー６側からの信号入力５４である３原色信号（R,G,B）の黒レベルをクランプする黒クランプ部５５と、記録メディアインターフェース部５２と、調整用画像パターン発生部５３と黒クランプ部５５の出力を切り替えるスイッチ５６，５７，５８とを備えている。

また、カメラ信号処理部９は、３原色信号（R,G,B）のゲイン調整の処理を行うゲイン調整部５９と、ゲイン調整後の３原色信号（R,G,B）のホワイトバランス処理を行うホワイトバランス部６０と、ホワイトバランス処理後の３原色信号（R,G,B）のガンマ変換（１／γ）処理を行うガンマ変換（１／γ）部６１と、ガンマ変換（１／γ）処理後の３原色信号（R,G,B）の輝度変換を行って輝度信号を出力する輝度変換マトリクス部６２と、輝度変換後の輝度信号の低域成分を通過処理するローパスフィルタ（ＬＰＦ）６３とを備えている。

また、カメラ信号処理部９は、ホワイトバランス処理後の３原色信号（R,G,B）の高周波成分を抽出して輝度信号を出力する高周波成分抽出フィルタ６４と、高周波成分抽出後の輝度信号のゲイン調整の処理を行うゲイン調整部６５と、ゲイン調整後の輝度信号と低域成分を通過処理後の輝度信号とを加算して輝度信号（Y）を出力する加算部６６とを備えている。

また、カメラ信号処理部９は、ゲイン調整後の３原色信号（R,G,B）とホワイトバランス処理後の３原色信号（R,G,B）とから基準レベルに対する光源の明るさ及び色温度を検出する検波部６９と、ガンマ変換（１／γ）処理後の３原色信号（R,G,B）の低域成分を通過処理するローパスフィルタ（ＬＰＦ）７０と、低域成分を通過処理の３原色信号（R,G,B）の色合い(HUE)及びゲイン（GEIN）を合成して色差信号（R‐Y、B‐Y）を出力する色合い/ゲイン（HUE/GEIN）マトリクス部７１とを備えている。

これにより、カメラ信号処理部９は、加算部６６から出力される輝度信号（Y）と色合い/ゲイン（HUE/GEIN）マトリクス部７１から出力される色差信号（R‐Y、B‐Y）を画像信号出力７２として出力する。

また、カメラ信号処理部９は、コントロールバス６７を介して、マイクロコンピュータ５８との間で、コントロール信号及びデータのやりとりを行うマイクロコンピュータインターフェース部６８を備えている。このマイクロコンピュータインターフェース部６８は、コントロールバス６７を介して、黒クランプ部５５と、ゲイン調整部５９と、ホワイトバランス部６０と、ガンマ変換（１／γ）部６１と、輝度変換マトリクス部６２と、ローパスフィルタ（ＬＰＦ）６３と、高周波成分抽出フィルタ６４と、ゲイン調整部６５と、検波部６９と、ローパスフィルタ（ＬＰＦ）７０と、色合い/ゲイン(HUE/GEIN)マトリクス部７１に接続されている。

図１に戻って、画像記録再生装置１は、カメラ信号処理部９からの画像信号や記録メディア３７からの再生信号、外部ストリームインターフェース３８からの入力画像信号を選択するスイッチ１１と、これらの画像信号を保持する画像メモリ１２と、画像メモリ１２に保持した画像信号のノイズを除去するノイズリダクション部１３と、カメラ信号処理部９からの画像信号や記録メディア３７からの再生信号、及び外部ストリームインターフェース３８からの入力画像信号を、必要に応じて画素数変換等処理を行うことによりLCD(liquid crystal display)パネル等の画像表示部１８及び外部画像表示装置４２にそれぞれ表示する画素数変換部１４，１６と、これらの画像信号にマイクロコンピュータ２７からの指示によってLCDパネル等の画像表示部１８用の出力及び外部画像表示装置４２用の出力にそれぞれGUI（graphical user interface）及びOSD（on screen display）を重畳して出力するGUI生成重畳部１５と、OSD生成重畳部１７と、を有するベースバンド信号処理部１０を備えている。

また、画像記録再生装置１は、ベースバンド信号処理後のカメラ側の画像信号、記録メディアからの再生信号、外部ストリームからの入力画像、及びＧＵＩ等を表示するLCDパネル等の画像表示部１８を備えている。この画像表示部１８は、画像記録再生装置本体に搭載されている。以上の各部をもってカメラ部が構成される。

また、画像記録再生装置１は、カメラ信号処理部９からの出力信号を記録メディアに記録するため、又は記録メディアに記録された信号を再生するため圧縮伸張を行う、あるいは外部から入力される、又は外部へ出力されるストリーム内の画像信号の圧縮伸張を行う符号量圧縮/伸張部３４，３５と、記録メディア３７に記録又は再生する形式、あるいはストリーム伝送処理に適した形式に変換するためにエラー訂正処理等を行う記録・再生・伝送用処理部３３と、内蔵または着脱可能な記録メディア部３７と、着脱可能な記録メディア部２８と、を備えている。

また、画像記録再生装置１は、ストリームの入出力処理を行う外部ストリームインターフェース部３８と、カメラ信号処理部９や伸張された画像データを外部画像表示装置４２への適した画像フォーマットや色空間への変換を必要に応じて行う出力フォーマット変換部３９と、外部画像表示装置４２への画像信号の伝送を行う画像信号インターフェース部４０と、を備えている。

また、画像記録再生装置１は、ユーザーの操作によって各部の制御のための入力操作を行うユーザーインターフェース２６と、外部画像表示装置４２の表示性能情報を通信によって取得するための表示装置情報インターフェース部２９と、ネットワークサーバー等とのインターフェース部である通信手段４１と、マイクロコンピュータ２７により各部を制御するためのパラメータや通信によって取得した外部画像表示装置の情報データ及びユーザーの操作によって取得した視聴環境の情報を格納する不揮発性のメモリであるEEPROM（electrical erasable read only memory）３０と、ユーザーインターフェース２６からの操作情報に基づいて以上各部を自動的、あるいは固定的に制御するマイクロコンピュータ２７とを備えて構成される。

また、外部画像表示装置４２は、自身の画面の大きさ、アスペクト比、γ特性、解像度、色合い、対応画像フォーマット等の表示性能に応じた画質設定情報を内部に記憶する不揮発性のメモリである表示装置情報EEPROM４５を持ち、ここに格納された情報を情報通信手段４１を通じて画像記録再生装置１に送信する表示装置情報インターフェース部４４と、画像記録再生装置１からの画像信号の受信を行う画像信号インターフェース部４３とを備えて構成される。

この外部画像表示装置４２内部の表示装置情報EEPROM４５の表示装置情報データはVESA(Video Electronics Standards Association)規格のEDID(Extended Display Identification Data)に準拠していることが望ましい。

このEDIDに含まれる個別識別情報（画質設定情報）データは、情報通信手段４１を介してHDMI（High Definition Multimedia Interface）により送信されるものである。ここで、画像音声記録再生装置１からの画像信号の表示及び音声信号の出力のための受信を行う画像信号インターフェース部４３は、TMDS（Transition Minimized Differential Signaling）チャネルを介して行うが、画像音声記録再生装置１へ個別識別情報（画質設定情報）データを送信する表示装置情報インターフェース部４４は、DDC（Display Data Channel）を介して行う。

図１５は、画質設定情報を取得する通信手段のDDC（Display Data Channel）についての通信例を示す図であり、図１５Ａはデータ、図１５Ｂはクロックである。例えば、Ｔ１時点で通信開始１３１をすると、画像音声記録再生装置１から外部画像表示装置４２内部の表示装置情報EEPROM４５のアドレス指定１３２をして、Ｔ２時点でリード／ライト（R/W）の制御信号１３３を画像音声記録再生装置１から外部画像表示装置４２へ送る。

Ｔ３時点で外部画像表示装置４２から画像音声記録再生装置１へリード／ライト（R/W）の制御信号１３３を受信した旨のアクノレッジ（ACK）１３４を返信すると、Ｔ４時点で外部画像表示装置４２はアドレス指定１３２で指定された表示装置情報EEPROM４５の画質設定情報のデータ１３５を画像音声記録再生装置１へ送る。

Ｔ５時点で画像音声記録再生装置１から外部画像表示装置４２へ画質設定情報のデータ１３５を受信した旨のアクノレッジ（ACK）１３６を返信すると、Ｔ６時点で通信終了１３７となる。

図１６は、表示装置情報EEPROMに記憶される画質設定情報の例を示す図である。
例えば、アドレス１４１が００ｈ（１６進表記）には、データ１４２としてヘッダー１４３が記憶され、アドレス１４１が０８ｈには、データ１４２としてメーカー／個別識別情報（画質設定情報）１４４が記憶される。ここでは、個別識別情報に対応して必須の画質設定情報が格納されるようにしてもよく、また、以下に示すように、画質設定項目毎に任意の画質設定情報が格納されるようにしてもよい。

例えば、アドレス１４１が１２ｈには、データ１４２として入力形式（アナログ／デジタル）１４５が記憶され、アドレス１４１が１５ｈには、データ１４２として画面サイズ１４６が記憶される。

また、アドレス１４１が１７ｈには、データ１４２としてγ特性１４７が記憶され、アドレス１４１が２Ｘｈには、データ１４２として色度点情報１４８が記憶される。
また、アドレス１４１が２Ｙｈには、データ１４２としてビデオフォーマット・タイミング情報１４９が記憶され、アドレス１４１が２Ｚｈには、データ１４２としてビデオ詳細タイミング情報１５０が記憶される。

具体的な画質の調整項目としては、例えば、第１にホワイトバランス（色温度補正）、第２に色相、彩度、第３に周波数特性、第４に階調特性、第５に明るさ等の項目が挙げられる。

これらの項目についてユーザーが外部画像表示装置４２に表示される調整用の画像パターンを見ながら後述する画質調整用のＯＳＤを用いて調整を行い、この調整値に対応するように画像音声記録再生装置１のマイクロコンピュータ２７がカメラ信号処理部９の画像処理パラメータを補正することで画質補正を実現する。

本実施の形態の画像音声記録再生装置１の特徴としては、以下の４点が挙げられる。
第１に、図２に示したように、調整用の画像パターンをカメラ信号処理部９内の調整用画像パターン発生部５３から発生させ、あるいは着脱可能な記録メディア２８から記録メディアインターフェース５２を介して読み込みが可能である。また、イメージセンサー側信号入力５４から調整用の画像パターンを入力することもできる。そして、スイッチ５６，５７，５８を用いてこれらの調整用の画像パターンを選択した後に、イメージセンサー側信号入力５４から切り替えて画像パターンを入力し、画像処理を行う。この画像処理の結果は画像メモリ１２に記憶されると共に、外部画像表示装置４２に出力することができる。また、出力先の外部画像表示装置４２で処理結果としての画像パターンをモニターしながら、画質調整の操作、画質補正の処理が可能である。

ここで調整用画像パターン発生部５３から生成される画像パターンは、処理負担規模やこれにかかる費用等の観点からあまり複雑な画像を生成するのが困難であれば、同期信号発生部５１からの同期信号に基づいて比較的単純に生成可能なパターンにとどめておいても良いし、許容範囲であれば実写の画像データを記憶しておいて出力できるような能力のものでもよい。

また、調整用画像パターン発生部５３によって生成される調整用画像パターンが、出力することが困難と判断される画像である場合、又は後に新しく調整用の画像パターンを追加して更新し、更新された画像パターンにて調整を行いたい場合には、着脱可能な記録メディア２８から画像パターンを読み込んで画像処理した後に、外部画像表示装置４２に出力し、これを用いて調整することも可能である。

第２に、調整用画像パターンの記録・再生に伴う圧縮処理による画質への影響も考慮しながら画質調整したいのであれば、記録メディア３７は介さずに圧縮部３５による圧縮処理から直接伸張部３４による伸張処理を通した上で画像パターンを画像メモリ１２に記憶して、その画像パターンを外部画像表示装置４２に出力することが可能である。

第３に、調整時の外部画像表示装置４２に表示される画像パターンとしては、補正前及び補正後の２つの状態の相対比較形式にてユーザーが直感的にわかりやすい形で表示可能である。
第４に、調整結果の画像処理パラメータをEEPROM３０に記憶しておき、撮影、記録時に画質補正情報として使用することができる。

以下、このように構成された画像記録再生装置１の視聴環境に適合する画質補正動作を説明する。
この視聴環境に合わせた画質補正処理方法は次の処理から成る。
まず、はじめに、調整用画像パターンを外部画像表示装置４２に出力して表示させる。このとき外部画像表示装置４２から画質設定情報を画像記録再生装置１に取り込み、EEPROM３０に記憶する。

次に、外部画像表示装置４２に表示させた画像パターンに基づいて画質調整の操作を行い、これに対応して画質補正の処理を行う。このとき、画質調整及び画質補正の値を画像信号処理のパラメータとして、EEPROM３０に記憶する。

そして、画像パターンの画質調整及び画質補正の情報を合わせて撮像、記録、再生時にカメラ信号処理部９におけるカメラ信号処理のパラメータに使用して視聴環境に適合するように画質を補正する。

次に前記各処理について詳細に説明する。
まず、調整用画像パターンを外部画像表示装置４２に出力して表示させる処理を説明する。
ユーザーは本画像記録再生装置１と外部画像表示装置４２とを画像信号インターフェース４０を通して接続し、画像記録再生装置１からの画像信号を外部画像表示装置４２に表示する。

外部画像表示装置４２側に画質補正機能が備わっている場合には、この補正機能をオフ状態し、外部画像表示装置４２にとっての標準のセッティングとする。
ここで、ユーザーは補正の各項目別の調整用画像パターンをユーザーインターフェース２６を介して選択する。

調整用画像パターンの例としては、まず第１に、ホワイトバランス調整用の全面白色がある。
色温度は外部画像表示装置４２側の値と合わせ、この色温度に相当する黒体放射上の白色とする。このときユーザーが外部画像表示装置４２側の色温度設定を画質設定情報として取得して出力画像の色温度設定をしてもよいし、DDC等の通信手段を介して外部画像表示装置４２側の色温度設定を画質設定情報として取得して設定してもよい。なお、この全面白色は１００％白ではなく中間レベルで明るめの白色である。

また、この調整用画像パターン発生部５３ではある１種の白色のみを発生し、後段のホワイトバランス部６０にて外部画像表示装置４２の色温度に合わせて色温度補正して出力してもよい。

第２の調整用画像パターンの例としては、Ｒ，Ｇ，Ｂ，Ｙｅ（イエロー），Ｃｙ（シアン），Ｍｇ（マゼンタ）を含み各色信号は信号としてのダイナミックレンジの中間のレベルを持つ色相/彩度調整用のカラー画像がある。この画像は、例えば、図７に示すよう一般的なSMPTE（society of motion picture and television engineering）カラーバーでもよい。

第３の調整用画像パターンの例としては、カメラ部から出力される２次元画像におけるＤＣ成分、低周波数から最高周波数の成分を含む周波数特性調整用の画像がある。この画像は、例えば、図９に示すITE（institute of television engineering）サーキュラーゾーンプレートでもよい。このITEサーキュラーゾーンプレートは、放射状の線で構成され、自然画像では遠景における木の葉、繊維の網目、人間の髪の毛、建物などの幾何学的エッジを含んだ画像である。

第４の調整用画像パターンの例としては、画像信号のダイナミックレンジ内で、完全な黒レベルよりレベルが高い黒から、信号レベルの上限よりレベルが低い白までを含む明るさ調整用の画像がある。この画像としては、例えば、図１３に示すグレースケールがあるが、後述するランプ波形でもよい。
この明るさ調整用の画像は、カメラ撮像においては実際には黒の被写体が明るめに浮いて見えたり、高輝度白色の被写体が暗めに沈んで見えることを再現するために用いる。

第５の調整用画像パターンの例としては、図１１に示す階調調整用のランプ波形がある。この画像は、スプーン等曲面を持った金属の画像であり、なめらかな階調変化を持つ画像である。
また、これらの調整用項目についての要素を全て含む１枚の画像にて調整を行ってもよい。

調整用画像パターンは画像記録再生装置１内部の調整用画像パターン発生部５３から外部画像表示装置４２へ入力することもできるが、着脱式の記録メディア２８に任意の調整用画像パターンを記録しておくこともできる。

ユーザーが画像記録再生装置１のカメラ部で撮像した画像を使用して調整したいという場合は、イメージセンサー６からの画像信号を、カメラ信号処理部９の黒クランプ部５５で黒クランプ処理を行う。そして、この黒クランプ処理した後の画像データを記録メディア２８に記録しておく。このとき検波部６９で検波される色温度、自動露光のための輝度レベル等の撮影条件のデータを合わせて記録メディア２８に記録しておく。この調整用画像パターンの記録時にはカメラ部の画像処理、撮影条件のセッティングとしては標準の状態にしておくのがよい。

この画像データと撮影条件のデータを調整時にマイクロコンピュータ２７が読み込み、ゲイン調整部６５によるゲイン調整、ホワイトバランス部６０によるホワイトバランスの処理を行って外部画像表示装置４２に出力して調整を行うようにする。

次に、表示させた調整用画像パターンに基づいて画質の調整を行う操作及びこれに伴う画質の補正を行う処理を説明する。
ユーザーは、画像表示部１８のスイッチやLCDパネルに表示するユーザーインターフェース２６により調整項目を選択し、各調整を行う。以下にその処理例を説明する。

ユーザーが調整用画像パターンを選択すると、信号源からの画像信号はカメラ信号処理部９の各処理部を通ってベースバンド信号処理部１０へ出力される。
ベースバンド信号処理部１０では、この画像信号を画像メモリ１２に記憶し、外部の外部画像表示装置４２へ出力する。

まず、第１に、ホワイトバランスの調整を説明する。
図４に示したホワイトバランス引き込み用の白色画像８４を外部画像表示装置４２に表示したら、図３の８１に示すように本画像記録再生装置１にて外部画像表示装置４２の画面を撮影する。このとき画像記録再生装置１の本体に付属される画像表示部１８のLCDパネルには画枠合わせのガイドとなる枠８３が表示される。ユーザーは外部画像表示装置４２の画面が、画像表示部１８のLCDパネル上でこの画枠合わせガイド枠８３内が表示の白色で埋められるように画枠を合わせる。カメラ信号処理部９の検波部６９はこの画枠合わせガイド枠８３内に相当する領域を検波する。

ここでカメラ信号処理部９における検波部６９での検波値に基づき、ホワイトバランス部６０のオートホワイトバランス機能にて白色の黒体放射上への引き込み動作を行い、引き込み後のホワイトバランス補正値をマイクロコンピュータ２７がEEPROM３０に記憶する。元々の調整用画像パターン発生部５３にて生成された白色の色温度が外部画像表示装置４２の色温度と一致していれば、ホワイトバランス部６０での引き込みを行うことによる補正は不要のはずであるが、外部画像表示装置４２の経時変化等によりずれが生じている可能性があり、この差分が補正の値として反映される。

以上の動作が終了した後、ベースバンド信号処理部１０はオートホワイトバランス機能で引き込まれたカメラ信号処理部９の出力の白色を画像メモリ１２に記憶する。
次に、図５の表示例に示すように、先だって画像メモリ１２に記憶されていた調整前の白色８５とホワイトバランス機能で引き込んだ調整後の白色８６を１画面を分割して並べて外部画像表示装置４２に表示する。

図６にユーザーインターフェースOSDの例として、ホワイトバランス調整バー８７を示す。ホワイトバランス調整バー８７を赤側又は青側に調整することによってユーザーは調整前後のホワイトバランスの状況を確認できる。ホワイトバランス調整バー８７はユーザーインターフェース２６のアップダウンキーや左右キーを用いて調整可能である。

また、この調整結果が不十分であれば、ユーザーはユーザーインターフェースOSDのホワイトバランス調整バー８７にて更に調整をして補正処理をすることが可能である。
カメラ信号処理部９はユーザーの指示により補正された白色画像をベースバンド信号処理部１０に出力し、ベースバンド信号処理部１０はこれを画像メモリ１２に記憶し、前回の調整後の白色画像８６に置き換えて外部画像表示装置４２に出力する。

この動作により、ユーザーは好みによる調整結果を元々の白色との相対比較にて確認できる。
実際にはこれらの処理は高速に行えるため、ユーザーに処理の時間差によるストレスを与えることがない。
以上の動作により得られた最終的なホワイトバランスの補正値をマイクロコンピュータ２７がEEPROM３０に記憶する。

第２に、色相、彩度の調整について詳細に説明する。
マイクロコンピュータ２７が色相、彩度の調整用画像パターンをベースバンド信号処理部１０の画像メモリ１２に記憶し、外部画像表示装置４２に出力する。
このとき、図７に表示例を示すように、画面は調整前９１と調整後９２に分割され同じ対象色同士Ｒ，Ｇ，Ｂ，Ｙｅ（イエロー），Ｃｙ（シアン），Ｍｇ（マゼンタ）を調整前後の画像で比較できる。

図８にユーザーインターフェースＯＳＤの例として、色相調整バー９３及び彩度調整バー９４を示す。色相調整バー９３及び彩度調整バー９４はユーザーインターフェース２６のアップダウンキーや左右キーを用いて調整可能である。

色相、彩度の調整は、ユーザーによる色相調整バー９３及び彩度調整バー９４の操作指示により行われるが、実際の画像の補正処理としては色相調整バー９３及び彩度調整バー９４の操作指示に対応するマイクロコンピュータ２７の制御に基づいてカメラ信号処理部９の色合い/ゲイン（HUE/GEIN）マトリクス部７１で行われる。
ユーザーが調整値を決めた段階で、調整値の設定をマイクロコンピュータ２７がEEPROM３０に記憶する。

第３に、周波数特性の調整について詳細に説明する。
マイクロコンピュータ２７が周波数特性の調整用画像パターンをベースバンド信号処理部１０の画像メモリ１２に記憶し、外部画像表示装置４２に出力する。
このとき、図９に表示例を示すように、画面は調整前１０１と調整後１０２に分割され画像メモリ１２から出力される。

図１０にユーザーインターフェースOSDの例として、周波数特性調整バー１０３及び周波数特性表示１０５を示す。周波数特性調整バー１０３及び周波数特性表示１０５はユーザーインターフェース２６のアップダウンキーや左右キーを用いて調整可能である。

OSDの例の周波数特性表示１０５は周波数対出力のグラフィックイコライザ的表示となっていて、中央値１０４に対応する基準ライン１０７から１０６で示す周波数を選択することにより、図９の表示例の画面の中央部の低周波数部から端部の高周波数部まで、垂直、水平、斜めの各方向に対して表示が可能である。

ユーザーによる周波数特性調整バー１０３及び周波数特性表示１０５の操作指示により、周波数特性を調整するが、実際の画像処理としては周波数特性調整バー１０３及び周波数特性表示１０５の操作指示に対応するマイクロコンピュータ２７の制御に基づいてカメラ信号処理部９の高周波成分抽出フィルタ６４の周波数選択やゲイン調整により行われる。

この高周波成分抽出フィルタ６４は、図９の表示例の画面の中央部の低周波数部から短部の高周波数部まで、垂直、水平、斜め45度方向にそれぞれ複数の周波数帯域での抽出を行い、抽出されたそれぞれの高周波成分についてゲイン調整をユーザーによる周波数特性調整バー１０３及び周波数特性表示１０５の操作指示に連動して行う。

ユーザーは図９の表示例の画面の調整前１０１と調整後１０２の画像の輪郭の状況等を見ながら好みの値に調整する。
ユーザーが調整値を決めた段階で、調整値の設定をマイクロコンピュータ２７がEEPROM３０に記憶する。

第４に、明るさの調整について詳細に説明する。
マイクロコンピュータ２７が明るさの調整用画像パターンをベースバンド信号処理部１０の画像メモリ１２に記憶し、外部画像表示装置４２に出力する。
このとき、図１３に表示例を示すように、画面は調整前１２１と調整後１２２に左右分割され画像メモリ１２から出力される。

図１４にユーザーインターフェースOSDの例として、明るさ調整バー１２３を示す。明るさ調整バー１２３はユーザーインターフェース２６のアップダウンキーや左右キーを用いて調整可能である。
ユーザーによる明るさ調整バー１２３の操作指示により明るさを調整するが、実際の画像処理としては調整バー１２３の操作指示に対応するマイクロコンピュータ２７の制御に基づいてカメラ信号処理部９のゲイン調整部６５で行われる。

ユーザーが調整値を決めた段階で、調整値の設定をマイクロコンピュータ２７がEEPROM３０に記憶する。
ここではゲイン調整部６５のみで調整が行われる例を示したが、実際にこの補正データを使用する際には自動露光の全体動作の中で基準の明るさを補正するという形で使用され、アイリス５の開閉制御やイメージセンサー６の電子シャッター動作にも適用される。

第５に、階調の調整について詳細に説明する。
マイクロコンピュータ２７が階調の調整用画像パターンをベースバンド信号処理部１０の画像メモリ１２に記憶し、外部画像表示装置４２に出力する。
このとき、図１１に表示例を示すように、画面は調整前１１１と調整後１１２に左右分割され画像メモリ１２から出力される。

図１２にユーザーインターフェースOSDの例として、階調調整バー１１３及び階調特性表示１１５を示す。階調特性調整バー１１３及び階調特性表示１１５はユーザーインターフェース２６のアップダウンキーや左右キーを用いて調整可能である。

ユーザーによる階調調整バー１１３及び階調特性表示１１５の操作指示により階調特性を調整するが、実際の画像処理としては階調調整バー１１３及び階調特性表示１１５の操作指示に対応するマイクロコンピュータ２７の制御に基づいてカメラ信号処理部９のガンマ変換（１／γ）部６１の入出力の関係のγカーブを補正することで行われる。

ユーザーは図１１の表示例の画面の調整前１１１と調整後１１２の画像のコントラストの状況等を見ながら好みの調整値に調整する。
ユーザーが調整値を決めた段階で、調整値の設定をマイクロコンピュータ２７がEEPROM３０に記憶する。

このときの調整値のγカーブを実際の撮影時のガンマ変換（１／γ）部６１におけるガンマ変換処理に使用する。
以上が、調整用画像パターンを用いた画質の調整項目の説明であるが、さらに固定の調整用画像パターンに限らず、以下のように任意の画像を用いて画質の調整を行ってもよい。

第６に、ユーザーが撮像した画像を使用する画質の調整を説明する。
マイクロコンピュータ２７が記録メディア２８に記録されている画像をカメラ信号処理部９に入力し、この画像に対応する撮影時の条件データはマイクロコンピュータ２７が取得する。マイクロコンピュータ２７はこの撮影時の条件データに基づきカメラ信号処理部９の各部に対するパラメータを設定し、パラメータに基づくカメラ信号処理部９の各部における信号処理によりこの撮影時の画像を再現する。

マイクロコンピュータ２７はこの再現された撮影時の画像をベースバンド信号処理部１０の画像メモリ１２に記憶し外部画像表示装置４２に出力する。
ユーザーは外部画像表示装置４２の画面に表示された再現された撮影時の画像を見ながら、上述した調整用画像パターンを用いた第１〜第５の画質の調整項目の各項目を調整し、好みの調整値の設定を決定する。

この調整値を決定した段階で、マイクロコンピュータ２８は調整値に対応するパラメータをEEPROM３０に記憶する。
また、上述した調整用画像パターンを用いた画質の調整項目及び任意の画像を用いた画質の調整においては、画像の圧縮、伸張処理による影響を考慮していないが、以下のように画像の圧縮、伸張処理による影響を考慮した画質の調整を行ってもよい。

第７に、圧縮、伸張処理による影響を考慮した画質の調整を説明する。
マイクロコンピュータ２７がカメラ信号処理部９による信号処理後の画像を直接外部画像表示装置４２に出力する場合は上述した調整用画像パターンを用いた第１〜第５の画質の調整項目による調整及び任意の画像を用いた画質の調整で対応する。

ここで、記録メディア３７ヘの画像の記録に伴う符号量圧縮処理を加味して画質を確認したい場合は、マイクロコンピュータ２７が圧縮/伸張部３４，３５による圧縮・伸張の処理を通した上で、圧縮・伸張の処理後の画像をベースバンド信号処理部１０の画像メモリ１２に記憶し、さらに外部画像表示装置４２へ出力することができる。

たとえばJPEG（joint photograph experts group）、MPEG（moving photograph experts group)等のDCT(discreet cosine transformation)を用いた符号量圧縮では画像の周波数特性の劣化が起きる可能性がある。このような要素を含めて画像を確認しながら調整を行うことが可能である。

次に、上述した調整用画像パターンを外部画像表示装置４２に出力して表示させる処理、及び表示させた調整用画像パターンに基づいて画質の調整を行う操作及びこれに伴う画質の補正を行う処理における設定値の情報を合わせて補正情報として活用し、撮像、記録、再生する処理を説明する。

表示させた調整用画像パターンに基づいて画質の調整を行う操作及びこれに伴う画質の補正を行う処理まででEEPROM３０に記憶しておいた調整データを加味して、マイクロコンピュータ２７の制御に基づいてカメラ信号処理部９の各部は、カメラ部での撮影時にカメラ信号処理部９の各部における信号処理のパラメータを補正し、画像処理を行うことにより画質補正する。

第１に、ホワイトバランスの補正について説明する。
検波部６９にて検波された光源の色温度に対して、ホワイトバランス部６０で引き込み動作を行う際に、マイクロコンピュータ２７の制御に基づいてホワイトバランス部６０は調整データに基づきホワイトバランスのパラメータであるＲ，Ｇ，Ｂのバランスを補正する。

第２に、色相、彩度の補正について説明する。
色合い／ゲイン（HUE/GAIN）マトリクス部７１においてＲ，Ｇ，Ｂ信号からＲ−Ｙ，Ｂ−Ｙの色差信号に変換する処理において、マイクロコンピュータ２７の制御に基づいて色合い／ゲイン（HUE/GAIN）マトリクス部７１は以下の数１式の演算を行うところで、調整データに基づき色合い／ゲイン（HUE/GAIN）マトリクスのパラメータであるＲgain,ＲHue,Ｂgain,ＢHueの各係数を補正する。

［数１］
Ｒ−Ｙ＝Ｒgain*(Ｒ−Ｇ)+ＢHue*(Ｂ−Ｇ)
及びＢ−Ｙ＝Ｂgain*(Ｂ−Ｇ)+ＲHue*(Ｒ−Ｇ)

第３に、周波数特性の補正について説明する。
マイクロコンピュータ２７の制御により調整データに基づき高周波成分抽出フィルタ部６４は高周波成分抽出のパラメータである各周波数成分のゲインを補正する。

第４に、明るさの補正について説明する。
マイクロコンピュータ２７の制御により調整データに基づき自動露光の基準レベルを補正する。
実際の動作としてはパラメータであるアイリス５の開閉制御値、電子シャッター６のスピード制御値、ゲイン調整部６５のゲイン値により、自動露光の基準レベルが補正されて明るさが決められる。

第５に、階調の補正について説明する。
マイクロコンピュータ２７の制御により調整データに基づきガンマ変換（１／γ）部６１はガンマ変換処理のパラメータであるγカーブを補正する。

上述した本実施の形態に限らず、本発明の特許請求の範囲内であれば、適宜、その構成を変更しうることはいうまでもない。

本発明の実施の形態例を示すシステム構成図である。 カメラ信号処理部のブロック構成例を示す図である。 ホワイトバランス調整のための画像情報を画像記録再生装置に取り込む様子を示す図である。 ホワイトバランス引き込み用画面を示す図である。 ホワイトバランス調整画面例を示す図である。 ホワイトバランス手動調整用OSDの例を示す図である。 色相、彩度調整画面例を示す図である。 色相、彩度調整用OSDの例を示す図である。 周波数特性調整画面例を示す図である。 周波数特性調整用OSDの例を示す図である。 階調調整画面例を示す図である。 階調調整用OSDの例を示す図である。 明るさ調整画面例を示す図である。 明るさ調整用OSDの例を示す図である。 画質設定情報を取得する通信手段のDDC（Display Data Channel）についての通信例を示す図であり、図１５Ａはデータ、図１５Ｂはクロックである。 表示装置情報EEPROMに記憶される画質設定情報の例を示す図である。

符号の説明

１…画像記録再生装置、２…光学系、３…ズームレンズ、４…フォーカスレンズ、５…アイリス、６…イメージセンサー、７…アナログフロントエンド部、８…A/Dコンバータ部、９…カメラ信号処理部、１０…ベースバンド信号、１１処理部、…スイッチ、１２…画像メモリ、１３…ノイズリダクション部、１４，１６…画素数変換部、１５…GUI生成重畳部、１７…OSD生成重畳部、１８…画像表示部、１９、２０，２１、２２…光学系ドライバ・アクチュエータ、２３…タイミング発生部、２４…イメージセンサードライバー、２６…ユーザーインターフェース、２７…マイクロコンピュータ、２８…記録メディア、２９…表示装置情報インターフェース部、３０…EEPROM、３４，３５…符号量圧縮/伸張部、３７…記録メディア部、３８…外部ストリームインターフェース、３９…出力フォーマット変換部、４０…画像信号インターフェース部、４１…通信手段、４２…外部画像表示装置、４３…画像信号インターフェース部、４４…表示装置情報インターフェース部、４５…表示装置情報EEPROM

Claims (8)

1. 撮像手段により撮像した画像情報に対して画像信号処理手段により画像信号処理を施して、上記画像信号処理を施した画像情報を表示手段に表示すると共に、記録手段により画像情報を記録媒体に記録して、再生手段により画像情報を再生する画像信号処理装置において、
   上記画像信号処理を施した画像情報を外部画像表示装置に表示するために上記外部画像表示装置との間で通信をする通信手段と、
   上記外部画像表示装置の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得する取得手段と、
   上記取得手段により取得した上記調整用画像パターンに基づいて上記画像信号処理手段による画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として上記調整用画像パターンを上記外部画像表示装置に表示させる調整用画像表示手段と、
   上記調整用画像表示手段により表示された補正後の上記調整用画像パターンに対応するように、上記画像信号処理手段による画像信号処理のパラメータを補正することによって上記外部画像表示装置の表示特性に適合する画質補正を行う補正手段と、
   を備えたことを特徴とする画像信号処理装置。
2. 上記調整用画像パターンは、上記撮像手段により上記外部画像表示装置の表示画面を撮像することにより取得するか、上記画像信号処理手段内の信号発生器から取得するか、又は着脱式の他の記録媒体から取得するかのいずれか一つを選択可能にすることを特徴とする請求項１に記載の画像信号処理装置。
3. 上記調整用画像パターンは、上記外部画像表示装置から得られる上記外部画像表示装置の画質調整設定情報及び外部画像表示装置が備える種々の特性情報を含む情報に適合するように調整されることを特徴とする請求項１に記載の画像信号処理装置。
4. 上記調整用画像パターンは、画質調整項目毎に異なるパターンを用いるものであることを特徴とする請求項１に記載の画像信号処理装置。
5. 上記調整用画像表示手段による補正後の上記調整用画像パターンの画質調整に関する情報、及び上記補正手段による上記画像信号処理手段における画像信号処理のパラメータの補正による画質補正に関する情報を記憶する記憶手段を備えたことを特徴とする請求項１に記載の画像信号処理装置。
6. 上記記憶手段に記憶された情報を上記画像信号処理手段による画像信号処理の補正情報として上記パラメータの補正を行い、上記撮像手段による画像情報の撮像、上記記録手段による画像情報の記録及び／又は上記再生手段により画像情報の再生を行うことを特徴とする請求項５に記載の画像信号処理装置。
7. 撮像した画像情報に対して画像信号処理を施して、上記画像信号処理を施した画像情報を表示すると共に、記録媒体に画像情報を記録し、再生する画像信号処理方法において、
   上記画像信号処理を施した画像情報を外部画像表示装置に表示するために上記外部画像表示装置との間で通信をする通信ステップと、
   上記外部画像表示装置の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得する取得ステップと、
   上記取得した上記調整用画像パターンに基づいて上記画像信号処理ステップによる画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として上記調整用画像パターンを上記外部画像表示装置に表示させる調整用画像表示ステップと、
   上記表示された補正後の上記調整用画像パターンに対応するように、上記画像信号処理のパラメータを補正することによって上記外部画像表示装置の表示特性に適合する画質補正を行う補正ステップと、
   を含むことを特徴とする画像信号処理方法。
8. 撮像手段により撮像した画像情報に対して画像信号処理手段により画像信号処理を施して、上記画像信号処理を施した画像情報を表示手段に表示すると共に、記録手段により記録媒体に記録して、再生手段により画像情報を再生する画像信号処理装置と、上記画像信号処理装置と接続されて上記画像信号処理を施した画像情報を表示する外部画像表示装置とを有する画像信号処理システムにおいて、
   上記画像信号処理装置は、
   上記画像信号処理を施した画像情報を外部画像表示装置に表示するために上記外部画像表示装置との間で通信をする通信手段と、
   上記外部画像表示装置の画像表示性能に対応するように画質を調整するために用いる調整用画像パターンを取得する取得手段と、
   上記取得手段により取得した上記調整用画像パターンに基づいて上記画像信号処理手段による画像信号処理のパラメータの補正による画質調整を可能にすると共に、補正前及び補正後の２つの状態として上記調整用画像パターンを上記外部画像表示装置に表示させる調整用画像表示手段と、
   上記調整用画像表示手段により表示された補正後の上記調整用画像パターンに対応するように、上記画像信号処理手段による画像信号処理のパラメータを補正することによって上記外部画像表示装置の表示特性に適合する画質補正を行う補正手段と、
   を備え、
   上記外部画像表示装置は、
   上記外部画像表示装置の画質調整設定情報及び外部画像表示装置が備える種々の特性情報を含む情報を記憶する記憶手段を備えた
   ことを特徴とする画像信号処理システム。