JP2006086886A - 撮像システム - Google Patents

Abstract

【課題】 被写体の色情報を正確に把握することができる撮像システムを提供する。
【解決手段】 レンズユニット１を介してＣＣＤ２で受光した画像は、Ａ／Ｄ変換器６でデジタル映像信号に変換されてＣＣＤインタフェース７から信号処理ＩＣに取り込まれる。取り込まれたデータはＹＵＶ変換部８でＹＵＶ形式のデータに変換され、ＳＤＲＡＭ１６に格納される。ＣＰＵ１３が指定された範囲のＹＵＶデータをＳＤＲＡＭ１６から読み出し、その範囲の平均値を作成する。この平均値と、ＲＯＭ１７にあらかじめ格納されている色情報とに応じて、色の数値と、図上の位置と、色名とを表示する。
【選択図】 図２

Description

本発明は、色を正しく認識できない色覚異常者の補助機能を有する撮像システムに関し、特に、被写体の色情報を認識しにくい状況においても、正確に被写体の色情報を得ることができる撮像システムに関する。

色覚異常には、一般に色盲や色弱と呼ばれる色覚異常や、加齢による色の見分けができなくなる色覚異常などがある。この症状をもつ色覚異常者は、物の色によっては、その色を正しく認識できない場合がある。また、色覚異常者のみならず正常に色を認識できる者にとっても、自分が認識した色を他者に正確に伝えたい場合がある。

色覚異常に対しての補助機能として、パーソナル・コンピュータ（ＰＣ）ではマウスが指している部分の画素のＲＧＢ値や色名の表示をするソフトウェアなどがある。また、例えば特許文献１には、印刷する対象の画像に対して色の抽出をして色名を付けて印刷を行う発明が開示されている。また特許文献２には、色覚異常者に映像がどのように見えているかをシミュレートする発明と、色覚異常者が認識することが困難な配色を色覚異常者でも見やすく変換する発明が開示されている。また、特許文献３には、撮影者が撮影毎に、撮影した画像に対してその画像に対応した色情報を入力することできる発明が開示されている。
特開２００１−２５７８６７号公報 特公平６−８２３８５号公報 特開２００３−１３４３５９号公報

しかし、ＰＣの場合は、ＰＣの画面に表示された画素のデータ表示であり、ＰＣに読み込まれたデータが対象となる。また、特許文献１に記載の発明は、複写機やプリンタなどで紙出力を行う際に、データの色を抽出して色名を合成してプリント出力するものであり、紙に出力する場合の処理である。したがって、データとしては２次元の物体が対象となり、３次元物体の色の抽出ができない。また一般的に、複写機やプリンタ等は携帯して屋外で使用することには不向きである。

また、特許文献２に記載の発明は、映像信号を色覚異常者がどのように認識しているかをシミュレートすることと、色覚異常者が見えやすくする配色に変換するものである。配色の変換は、色の判別が困難な部分を色覚異常者が判別が可能なように色を変換するものであって、その色が何色であるかを判断することはできない。

また、特許文献３に記載の発明は、あらかじめ装置内に用意されている文字列と画像とを合成するための発明であり、色情報の判別や抽出などは行っていない。

上記の課題に鑑み、本発明は、画像データを入力する撮像手段をもち、撮像手段から入力された画像に対して色情報を抽出することにより、ＣＣＤセンサやＣＭＯＳセンサなどの撮像手段によって入力される映像信号から色情報を得ることを目的とする。これにより、３次元物体であっても容易に色名などの色情報を得ることができる。

また、本発明は、撮像手段より入力された画像から抽出された色の情報を、あらかじめ格納している色情報データに応じて色名などの判別を行い、判別した色情報を画像に合成させることを目的とする。これにより、色覚異常者であっても画像の色情報や色名を正確に判別することができる。

請求項１に記載の発明は、レンズから入力された画像を電気信号に変換する撮像手段と、撮像手段で変換された電気信号を所定の表示形式に変換した画像データを生成する画像処理手段と、画像処理手段で生成された画像データをメモリに格納する格納手段と、格納手段によって格納された画像データを表示する表示手段とを有する撮像システムであって、表示手段により表示された画像データの特定範囲を指定する範囲指定手段と、範囲指定手段で指定された特定範囲の色情報を抽出する色情報抽出手段とを有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の撮像システムにおいて、色情報抽出手段によって抽出された色情報を、画像データとともに表示手段によって表示するための色情報表示手段をさらに有することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の撮像システムにおいて、色情報抽出手段によって抽出された色情報を、音声にて出力する色情報音声出力手段をさらに有することを特徴とする。

請求項４に記載の発明は、請求項１から３のいずれか１項に記載の撮像システムにおいて、表示手段により表示される画像データを、特定の周期で連続的に更新する連続表示手段をさらに有し、連続表示手段において表示される画像データから色情報抽出手段によって色情報を抽出する手段をさらに有することを特徴とする。

請求項５に記載の発明は、請求項１から４のいずれか１項に記載の撮像システムに関し、色情報抽出手段において色情報の抽出を行うか否かを選択する手段をさらに有することを特徴とする。

請求項６に記載の発明は、請求項４又は５に記載の撮像システムにおいて、色情報抽出手段と、色情報表示手段と、色情報音声出力手段とのうち少なくとも１つが動作している時に、連続表示手段により表示される画像データの更新周期を変更する更新周期変更手段をさらに有することを特徴とする。

請求項７に記載の発明は、請求項６に記載の撮像システムにおいて、更新周期変更手段により更新される画像データの更新周期が、色情報抽出手段と、色情報表示手段と、色情報音声出力手段とがいずれも動作していない時の更新周期より長いことを特徴とする。

請求項８に記載の発明は、請求項１から７のいずれか１項に記載の撮像システムにおいて、範囲指定手段により指定される特定範囲を操作し、特定範囲を変更する範囲指定変更手段をさらに有することを特徴とする。

請求項９に記載の発明は、請求項１から８のいずれか１項に記載の撮像システムにおいて、色情報抽出手段により抽出される色情報は、範囲指定手段により指定される特定範囲の色情報の平均値から作成されることを特徴とする。

請求項１０に記載の発明は、請求項１から９のいずれか１項に記載の撮像システムにおいて、色情報抽出手段により抽出される色情報は、連続表示手段の動作時に抽出される連続した複数の色情報の平均値から作成されることを特徴とする。

請求項１１に記載の発明は、請求項１から１０に記載の撮像システムにおいて、色情報抽出手段により抽出される色情報を数値に変換する手段をさらに有し、数値を色情報表示手段または色情報音声出力手段に出力することを特徴とする。

請求項１２に記載の発明は、請求項１から１１のいずれか１項に記載の撮像システムにおいて、数値に変換する手段は、色情報をＲＧＢの値に変換するＲＧＢ変換手段であり、ＲＧＢ変換手段により変換されたＲＧＢの値を、色情報表示手段または色情報音声出力手段に出力することを特徴とする。

請求項１３に記載の発明は、請求項１から１１のいずれか１項に記載の撮像システムにおいて、数値に変換する手段は、色情報をＹＵＶの値に変換するＹＵＶ変換手段であり、ＹＵＶ変換手段により変換されたＹＵＶの値を、色情報表示手段または色情報音声出力手段に出力することを特徴とする。

請求項１４に記載の発明は、請求項１から１１のいずれか１項に記載の撮像システムにおいて、数値に変換する手段は、色情報をＸＹＺの値に変換するＸＹＺ変換手段であり、ＸＹＺ変換手段により変換されたＸＹＺの値を、色情報表示手段または色情報音声出力手段に出力することを特徴とする。

請求項１５に記載の発明は、請求項１から１１のいずれか１項に記載の撮像システムにおいて、数値に変換する手段は、色情報をＣＩＥＬＡＢの値に変換するＣＩＥＬＡＢ変換手段であり、ＣＩＥＬＡＢ変換手段により変換されたＣＩＥＬＡＢの値を、色情報表示手段または色情報音声出力手段に出力することを特徴とする。

請求項１６に記載の発明は、請求項１から１０のいずれか１項に記載の撮像システムにおいて、色情報抽出手段により抽出される色情報を色名に置き換える色情報判別手段をさらに有し、色情報判別手段により置き換えられた色情報を、色情報表示手段または色情報音声出力手段に出力することを特徴とする。

請求項１７に記載の発明は、請求項１から１０のいずれか１項に記載の撮像システムにおいて、色情報抽出手段により抽出される色情報を２次元又は３次元の図上に置き換え、色情報を図によって表示する手段をさらに有することを特徴とする。

請求項１８に記載の発明は、請求項１から１７のいずれか１項に記載の撮像システムにおいて、静止画を撮影する静止画撮影手段と、静止画撮影手段により撮影した静止画を不揮発性メモリに記憶する第２の記憶手段とをさらに有し、色情報抽出手段により抽出される色情報と共に静止画を第２の記憶手段に記憶することを特徴とする。

請求項１９に記載の発明は、請求項１８に記載の撮像システムにおいて、第２の記憶手段は、色情報抽出手段により抽出される色情報と共に特定範囲をさらに記憶する手段を有する。

請求項２０に記載の発明は、請求項１から１７のいずれか１項に記載の撮像システムにおいて、静止画撮影手段により撮影された静止画に、色情報抽出手段により抽出される色情報を合成する色情報合成手段をさらに有し、色情報合成手段により合成された色情報を第２の記憶手段に記憶することを特徴とする。

請求項２１に記載の発明は、請求項２０に記載の撮像システムにおいて、色情報合成手段は、静止画に特定範囲を合成し第２の記憶手段に記憶する手段をさらに有することを特徴とする。

請求項２２に記載の発明は、請求項１から２１のいずれか１項に記載の撮像システムにおいて、ホワイトバランスを調整するホワイトバランス調整手段をさらに有し、色情報抽出手段の動作時にはホワイトバランス調整手段による調整を固定することを特徴とする。

請求項２３に記載の発明は、請求項１８から２２のいずれか１項に記載の撮像システムにおいて、記憶手段に記憶された静止画を外部装置に出力する手段をさらに有することを特徴とする。

請求項１、２に記載の発明によれば、本発明はデータを入力する撮像手段をもち、その入力画像に対して色情報を抽出することで、あらかじめデータを用意することなく色情報を得ることができる。

また、請求項３に記載の発明によれば、色情報を表示したり音声で出力したりすることで、例えば色覚異常者であっても色情報を得ることが可能になる。さらに、健常者であっても各々の認識によっては色情報が異なる場合がある。本発明によれば、個人の認識に関わらず共通の色情報を把握することができる。

また、請求項４に記載の発明によれば、本発明の撮像システムをデジタルカメラで実施した場合に、連続的に画面を更新するＬｉｖｅＶｉｅｗモードで連続的に識別データを読み出すことで、画面の表示を確認しながら、抽出したいエリアを調節することが容易になる。したがって、容易に必要な物の色情報を取得することができるようになる。

また、請求項５に記載の発明によれば、色情報抽出のためのメモリへのアクセス回数の増加に伴なう電力消費の増加を防ぐことができる。すなわち、色情報の抽出の有無を選択することができるので、色情報を必要としない場合は、情報抽出をしないことで無駄な電力消費を防ぐことができる。
また、本発明の撮像システムをデジタルカメラのＬｉｖｅＶｉｅｗモードで実現した場合、ＬｉｖｅＶｉｅｗモードは静止画を撮影するための位置決めに使用することが多く、その場合無駄な表示はＬｉｖｅＶｉｅｗモードの画面を見にくくしてしまう。したがって、色情報抽出が不要な場合は、無効として表示を行わないようにして画面を見やすくすることができる。

また、請求項６、７に記載の発明によれば、色情報抽出のためのメモリへのアクセス回数の増加に伴なう電力消費の増加を防ぐことができる。画面の更新サイクルを下げることでＣＣＤ等の撮像手段の駆動クロックを下げることができるために消費電力が減少する。その結果として色情報抽出をした場合の電力増加を低減することができる。
また、デジタルカメラにおいてＬｉｖｅＶｉｅｗモードは、３０Ｈｚ程度の更新サイクルである。しかし３０Ｈｚで色情報データの更新をしても見えにくく、それほど早い更新サイクルは必要ではない。例えば３Ｈｚを更新サイクルとした場合、露光時間を通常のＬｉｖｅＶｉｅｗモードで使用する１０倍の時間に設定することが可能になるため、暗い場所での使用が可能になる。したがって、低輝度被写体でも利用可能なシステムが実現できる。
さらに、露光時間を長くすることで蛍光灯下であればフリッカの影響を軽減することが可能になる。

また、請求項８に記載の発明によれば、表示されている画面内のどの部分を抽出するかを選択できるようにすることで、大きさの変更をすれば、色情報を抽出したいもののサイズや部分のサイズが異なっている場合でも、容易に対応することができる。抽出する位置を変更できれば、撮像システムそのものの位置を変更できない場合であっても、画面内のどの位置にあっても、画面内にあるものであれば色情報の抽出が可能になる。

また、請求項９、１０に記載の発明によれば、ＣＣＤやＣＭＯＳセンサを用いた撮像システムにおける、センサからの出力に一般的に含まれるノイズ成分を、エリア内に画素の平均値を取ることで、このノイズによる影響を軽減することができる。また色抽出対象自体に色のむらがあったとしても、その影響を軽減することができる。さらに、蛍光灯下などのフリッカが発生している光源下でのフリッカの影響を軽減できる。

また、請求項１１から１５に記載の発明によれば、ＲＧＢ、ＹＵＶ、ＸＹＺ、ＣＩＥＬＡＢなどの数値で色情報を表示することにより、正確な値の色情報を取得することができる。このデータは正確な数値なので、健常者が利用しても、簡易の色度計として利用することが可能である。

また、請求項１６に記載の発明によれば、色情報をＲＧＢ等の数値データで表示しても、それがどのような色であるかを感覚的に把握できない人や、数値データなどによる正確な色の情報よりも大まかな色の情報が欲しい場合などであっても、正確な色の数値よりも慣用的な色の名称を表示することができる。したがって、色情報を色の名称に置き換えて表示することで、より多くの人にわかりやすい色情報を提供することができる。

また、請求項１７に記載の発明によれば、色情報をＲＧＢ等の数値データで表示してもそれがどのような色であるかを感覚的に把握できない人が、正確な色情報が必要である場合にも、色度図などの色を平面や立体で表示した図の中にポイントを示すなどの図示をすることで、正確に色情報を把握することができる。

また、請求項１８、１９に記載の発明によれば、静止画とともに色情報と抽出した範囲が記録されていれば、再生時にこの情報を読み出して、どの部分がどのような色であるかの表示をすることができる。またこの情報を利用することのできる画像再生システムであれば、色合わせなどを行う場合に、どの部分の色を合わせるかが明確になるため、より正確な色再現が可能となる。

また、請求項２０に記載の発明によれば、画像データ自体に色情報を書き込むことで、特別な機能を持たない再生システムであっても、被写体の色情報を取得することができる。

また、請求項２１に記載の発明によれば、画像データ自体に色情報を抽出したエリアがわかるような、例えば枠線を書き込むことで、特別な機能を持たない再生システムであっても、どの部分から抽出した色情報かが明確にわかる。

また、請求項２２に記載の発明によれば、例えば画面全体が黄色の場合、オートホワイトバランス（ＡＷＢ）処理が動作すれば黄色を白くするように動作してしまう場合であっても、ホワイトバランスを固定することで、画面内の被写体の色が特定の色相に偏った場合でもＡＷＢ処理の誤動作による色情報抽出の間違えを無くすことができる。

また、請求項２３に記載の発明によれば、画像データとともに色情報が保存されているか、または直接色情報を書き込んだ画像データを外部機器に送信する機能により、遠隔地でも物体の色が正確に把握できる。特に受信側がモノクロ機器、例えばモノクロファクシミリだったとしても、被写体の色を把握することが可能となる。

次に、本発明の好適な実施形態を、デジタルカメラを例に挙げて図面を用いて説明する。

図１は、本実施形態におけるデジタルカメラの外観を示す図である。
本実施形態におけるデジタルカメラは、ＬＣＤディスプレイと、サブＬＣＤと、光学ファインダと、ストロボ発光部と、測距ユニットと、リモコン受光部と、鏡胴ユニットと、ＳＤカード／電池蓋と、オートフォーカスＬＥＤと、ストロボＬＥＤと、を備えている。また、操作部として、レリーズシャッタ（ＳＷ１）と、モードダイアル（ＳＷ２）と、ズームスイッチ（ＳＷ３）と、セルフタイマ／削除スイッチ（ＳＷ４）と、メニュースイッチ（ＳＷ５）と、上／ストロボスイッチ（ＳＷ６）と、右スイッチ（ＳＷ７）と、下／マクロスイッチ（ＳＷ８）と、左／画像確認スイッチ（ＳＷ９）と、ディスプレイスイッチ（ＳＷ１０）と、ＯＫスイッチ（ＳＷ１１）と、電源スイッチ（ＳＷ１２）と、を備えている。

図２は、本実施形態におけるデジタルカメラの構成を示すブロック図である。
本実施形態のデジタルカメラにおける撮像手段は、レンズユニット１、ＣＣＤ２、ＣＣＤ２を駆動するＴＧ（制御信号発生器）３、ＣＣＤ２から出力された電気信号（アナログ画像データ）をサンプリングするＣＤＳ４、ＣＤＳ４においてサンプリングされたデータのゲインを調整するＡＧＣ５、ＡＧＣ５で調整された画像データをデジタル信号に変換するＡ／Ｄ変換器６を備えている。

レンズユニット１を介してＣＣＤ２で受光した画像は、Ａ／Ｄ変換器６でデジタル映像信号に変換されて信号処理ＩＣに入力される。
Ａ／Ｄ変換器６でデジタル画像信号に変換された入力信号を表示可能な形式に変換してメモリに保存する画像処理手段であるＹＵＶ変換部８およびリサイズ処理部９と、表示信号出力手段である表示出力制御部１０と、色情報を抽出する色情報抽出手段であるＣＰＵ１３は、全て信号処理ＩＣに含まれている。

信号処理ＩＣは、ＣＣＤへの同期信号の出力と同期信号に合わせたデータの取り込みを行うＣＣＤインタフェース７と、Ａ／Ｄ変換器６から入力されたデジタル画像信号を表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部８と、表示や記録される画像データのサイズにあわせて画像サイズを変更するリサイズ処理部９と、取り込んだ画像データの表示出力を制御する表示出力制御部１０と、取り込んだ画像データをＪＰＥＧ形式などで記録する場合のデータ圧縮部１１と、取り込んだ画像データをメモリカード１８へ書き込み、又はメモリカード１８に書き込まれた画像データを読み出すメディアインタフェース１２と、デジタルカメラ全体のシステム制御や色情報の抽出、および色名の判定などを行うＣＰＵ１３とを備えている。

また、操作部１４は、色情報を抽出する指示や色情報を抽出するエリアの指定を行う操作スイッチ等を備えている。ＣＰＵ１３は、操作部１４から送られてくる信号を認識して、操作部１４からの指示動作にあわせて全体を制御している。
また、ＣＰＵ１３は、音声出力部１５への音声出力の制御を行う。

表示出力制御部１０はデジタルカメラに内蔵されているＬＣＤディスプレイやＴＶなどに画像の出力を行う。出力先の画像データの形式にあわせて、同期信号などの信号を付加して信号出力を行う。
ＳＤＲＡＭ１６は、取り込んだ画像データおよびＪＰＥＧ形式などに圧縮された画像データを一時保管するメモリの機能と、ＣＰＵ１３のＲＡＭの機能とを兼ねている。さらに、取り込んだ画像データおよび圧縮された画像データと、ＯＳＤ（オンスクリーンディスプレイ）データ領域内のＯＳＤ表示用ビットマップデータとを重ね合わせ、表示出力制御部１０から出力する。なおＯＳＤ表示用ビットマップデータは、ＣＰＵ１３が各状態での文字表示などに合わせてビットマップデータを生成する。また、メモリコントローラは、信号処理ＩＣとＳＤＲＡＭ１６との制御を行う。
ＲＯＭ１７には、デジタルカメラの制御を行う制御プログラムや、画像データから抽出した色情報の色名を判定する際に使用する色名や色の閾値などの情報が格納されている。ＣＰＵ１３は、この制御プログラムや色名情報などをもとに動作する。

次に、本実施形態におけるデジタルカメラの、通常動作時のＬｉｖｅＶｉｅｗモード動作について説明する。ちなみにＬｉｖｅＶｉｅｗとは、撮影レンズから入力された画像データをＬＣＤディスプレイなどで連続的に表示する機能である。

まず、デジタルカメラを起動してモードダイアル（ＳＷ２）を記録モードに設定すると、各ブロックが起動されて、ＣＣＤインタフェース７からの同期信号に同期して制御信号発生器（ＴＧ）３がＣＣＤ２を駆動し、ＣＣＤ２からアナログ画像信号が出力される。ＣＣＤ２から出力されたアナログ画像信号は、ＣＤＳ４で有効信号部分だけがサンプリングされる。ＣＤＳ４でサンプリングされた画像信号は、ＡＧＣ５においてゲインの調整を行われる。ＡＧＣ５においてゲイン調整が行われた画像信号は、Ａ／Ｄ変換器６でデジタル画像信号に変換される。

Ａ／Ｄ変換器６で変換されたデジタル画像信号は信号処理ＩＣへと、ＣＣＤインタフェース７から取り込まれる。ＣＣＤの種類としては、画像信号として光の三原色であるＲ（レッド），Ｇ（グリーン），Ｂ（ブルー）を出力する原色ＣＣＤと、画像信号として色の三原色であるＣ（シアン），Ｙ（イエロー），Ｍ（マゼンダ）を出力する補足ＣＣＤがあるが、本実施形態では、原色ＣＣＤを用いて説明を行う。
取り込まれたデジタル画像信号は、表示可能なサイズに変換されてＳＤＲＡＭ１６に、Ｒ，Ｇ，Ｂの画像データとして書き込まれる。本実施形態では、Ｒ，Ｇ，Ｂで構成される画像データをＲＡＷ形式の画像データ、Ｙ，Ｕ，Ｖで構成される画像データをＹＵＶ形式の画像データと称する。ＳＤＲＡＭ１６に書き込まれたＲＡＷ形式の画像データは順次読み出されてＹＵＶ変換部８へ送られる。ここでＲＡＷ形式の画像データはＹＵＶ形式に変換され、今度はＹＵＶ形式の画像データとしてＳＤＲＡＭ１６に書き戻される。このＹＵＶ形式のデータは表示出力制御部１０に送られ、各出力装置のデータ形式に加工されて出力される。

ＬｉｖｅＶｉｅｗモードでは、ＲＡＷ形式のデータの取り込みからＹＵＶ形式への変換後の書き戻しまでを、ＣＣＤの駆動周期である１／３０秒の期間で実施する。これを連続的に行うことで、ＬｉｖｅＶｉｅｗモードのモニタスルー画面が表示され、この画面表示によって静止画を撮影するための構図の確認をすることができる。

このＬｉｖｅＶｉｅｗモードでは、ＣＣＤインタフェース７で画像の特徴データが抽出される。画面をいくつかのブロックに分割し、各ブロックに対してＲＡＷ形式のデータにおけるＲＧＢ値各々の積算が行われる。この積算値はＣＰＵ１３によって読み出され、ＲＧＢの積算値の大きさからホワイトバランスの制御値を算出する。そして、ホワイトバランスの制御値を算出後、ＹＵＶ形式への変換にホワイトバランスをあわせる、いわゆるオートホワイトバランス（ＡＷＢ）処理が行われる。またＲＧＢ積算値から画面の明るさの分布とレベルを算出し、ＴＧ３からＣＣＤ２に出力される電子シャッタ本数の制御やモータドライバによってレンズの絞りの制御を行うＡＥ（Automatic Exposure）処理が行われる。

次に、本実施形態におけるデジタルカメラの、静止画の撮影時における動作について説明する。
ＬｉｖｅＶｉｅｗモードでＬＣＤディスプレイに画像が表示されているときに、操作部１４のレリーズシャッタ（ＳＷ１）が押されると、静止画の撮影が行われる。

まず、レリーズシャッタ（ＳＷ１）が押されると、撮影に先立ちオートフォーカスが行われる。例えば、ＣＣＤを移動させながらコントラストの最大値を見つける山登りオートフォーカスなどが行われ、フォーカスを合わせる。次に、静止画撮影用の電子シャッタの本数設定と絞りの設定が行われ、画像記録用の露光が行われる。露光完了時点でメカシャッタが閉じられ、ＣＣＤ２から静止画用のＲＡＷ形式の画像データが出力される。

静止画用のＲＡＷ形式のデータは、ＬｉｖｅＶｉｅｗモードと同様にＳＤＲＡＭ１６に取り込まれる。インタレース方式の転送であれば、ＣＣＤ２から出力された全ての画像データが、複数回の転送によってＲＡＷ形式のデータとしてＳＤＲＡＭに書き込まれる。

全てのＲＡＷ形式のデータは、ＹＵＶ変換部でＹＵＶ形式のデータに変換されてＳＤＲＡＭ１６に書き戻される。ここで、内蔵されたＣＣＤのサイズよりも小さいサイズで画像データが記録される場合には、画像データをリサイズ処理部９にて縮小する。
また、撮影した画像データの表示を行う場合にも、小さいサイズに縮小して、ＳＤＲＡＭ１６に書き戻され、表示出力制御部１０を介して表示装置に送られて、画像データの表示が行われる。

記録用として用意されたＹＵＶ形式の画像データは、圧縮部１１でＪＰＥＧ形式などの画像データへと圧縮される。圧縮されたＪＰＥＧ形式などの画像データはＳＤＲＡＭ１６に書き戻され、ヘッダ追加などの処理が行われた後、メモリカード１８へデータが保存される。
画像データが圧縮されて、メモリカード１８への書き込みが始まると、再びＬｉｖｅＶｉｅｗモードに戻り、撮影要求であるレリーズシャッタ（ＳＷ１）が押されるまでＬｉｖｅＶｉｅｗの表示が行われる。

次に本実施形態における色情報の抽出手段を説明する。
まず、モードダイアル（ＳＷ２）を記録モードに設定し、メニュースイッチを押す。すると記録モード用のメニューがＬＣＤディスプレイに表示される。このメニュー内で色情報表示をＯＮに設定し、再度メニュースイッチを押すと、色情報を表示したＬｉｖｅＶｉｅｗ画面が表示される。図３は色情報を表示した場合の表示例である。この表示例では、指定された被写体の色の位置と、２５５を最大値とする指定エリア内のＲＧＢの各数値と、指定された位置の色名とを同時に表示している。

ＬｉｖｅＶｉｅｗモードでは、表示をするためのＹＵＶ形式の画像データが用意されている。ここで色情報表示を実施する設定では、表示を見やすくするために画面表示の更新レートは通常の１／６の５Ｈｚなどに変更される。これは、色情報を高速で更新しても、色情報を認識できないほど早く更新する必要がないためである。よって、この色情報表示を行う設定においては、わざと画面の更新を遅くしているのである。

今回のように画面の表示を見やすくするために画面表示の更新レートを通常の１／６の５Ｈｚなどに変更した場合には、ＬｉｖｅＶｉｅｗモードにおける最大露光時間を通常よりも６倍長くすることができる。これにより通常時よりも露出が大きくなるので、暗い場所での利用も可能になる。さらにＣＣＤやＣＭＯＳなどのセンサを駆動するクロックを遅くすることができるので、消費電力を低減するという効果も得られる。今回は画面表示の更新レートを５Ｈｚとしたが、この更新レートは撮影する明るさによってさらに遅くしてもよい。

ＣＰＵ１３は四角で指定されたエリア内のＹＵＶ形式の画像データをＳＤＲＡＭ１６から読み出し、四角で指定されたエリア内の平均値を作成する。この平均値と、現在表示されている画像のフレームから過去４フレーム分の画像を平均した値とを比較して、さらに平均値を取る。そして、１秒ごとに画像データの色情報である、指定されたエリアの位置、エリア内のＲＧＢ値、エリア内の色名の表示を更新する。

このように、指定されたエリア内の平均値を取り、さらに各画像フレームごとに平均値を取ることによって、ランダムに発生するノイズの影響、一瞬の光源の変化やフリッカの影響などを軽減することができる。

色名を判別する閾値および色名などの情報はＲＯＭ１７内にあらかじめ保存されており、この保存されたデータをもとに色名を判別して表示を行う。本実施形態では色名を、例えば図３に示すように「濃い赤」のように大まかな色の名称で表示しているが、より詳しい色名を必要とするシステムなどの場合には、ＪＩＳ（日本工業規格）で規定しているような色名を表示してもよい。

ＲＧＢ表示の場合は、読み出したＹＵＶの値をＲＧＢに換算して表示を行う。例えば以下の換算式を利用することで換算することができる。
Ｙ＝０．２９９Ｒ＋０．５８９Ｇ＋０．１１４Ｂ
Ｕ＝Ｂ−Ｙ
Ｖ＝Ｒ−Ｙ

本実施形態におけるデジタルカメラの記録モードのメニューでは、表示する数値をＹＵＶ、ＸＹＺ、ＣＩＥＬＡＢのそれぞれの数値で表示するモードに切り替えることができる。
例えば、ＲＧＢからＸＹＺへの変換は、以下のような換算式を利用することで換算することができる。
Ｘ＝３９．３Ｒ^2.2＋３６．５Ｇ^2.2＋１９Ｂ^2.2
Ｙ＝２１．２Ｒ^2.2＋７０．１Ｇ^2.2＋８．６Ｂ^2.2
Ｚ＝１．８Ｒ^2.2＋１１．２Ｇ^2.2＋９５．７Ｂ^2.2
さらに、ＣＩＥＬＡＢへの変換は、以下のような換算式を利用することで換算することができる。
Ｌ＊＝１１６（Ｙ／１００）^1/3−１６
ａ＊＝５００〔（Ｘ／９８）^1/3−（Ｙ／１００）^1/3〕
ｂ＊＝２００〔（Ｙ／１００）^1/3−（Ｚ／１１８）^1/3〕
ここで算出されたＸＹＺの算出値やＣＩＥＬＡＢの算出値のデータを利用すれば、色度図における被写体の色の位置を表示し、色情報を把握することができる。

このようにして抽出された色情報は、デジタルカメラに内蔵されているスピーカやＴＶなどの音声出力部１５から音声として出力される。音声データの合成はＣＰＵ１３によって行われ、ＳＤＲＡＭ１６上に作成される。ＳＤＲＡＭ１６で作成された音声データは再度ＣＰＵ１３に読み込まれ、音声出力部１５から出力される。

また、色情報を抽出するエリアは、抽出エリアのサイズと位置とを変更することができる。例えば本実施形態のデジタルカメラを例に挙げると、図１の外観図の上下左右ボタン（ＳＷ６〜ＳＷ９）で位置を変更できる。また、ディスプレイスイッチ（ＳＷ１０）を押すことにより、抽出するエリアの大きさを変更することができる。被写体の画面内のサイズが大きければ、一番大きいサイズのエリアを選ぶことにより、平均値を取るデータ数が多くなる。従って画像が受けるノイズの影響を、より受けにくくすることができる。また、被写体の画面内のサイズが小さければ、抽出するエリアの大きさを小さくすればよい。これにより、抽出する画像とは関係のない、不要な部分の色情報の影響を受けず、必要な部分のみの色情報を抽出することができる。

ＬｉｖｅＶｉｅｗモード表示状態でレリーズシャッタ（ＳＷ１）が押されると、静止画撮影動作が行われるが、色情報の抽出を有効にしている場合には、レリーズシャッタ（ＳＷ１）が押される時点で表示されていた色情報と色情報を抽出したエリアの情報とをＪＰＥＧヘッダに書き込み、画像とともにメモリに保存する。記録先はＪＰＥＧヘッダとしたが、ファイルのべつの領域でも、別のデータファイルに記録してもよい。静止画とともに、色情報と色情報を抽出したエリアの範囲とが記録されていれば、再生時に保存しておいた情報を読み出して、どの部分がどのような色であるかの表示をすることができる。また、この情報を利用することができる画像再生システムであれば、再生画像を表示するときや印刷出力する際に色合わせなどを行う場合に、どの部分の色を合わせるかが明確になるため、より正確な色の再現が可能となる。

また、抽出した色情報と色情報を抽出したエリアとを、画像データに直接書き込むこともできる。メニューから色情報の書き込み設定を有効にすることで、静止画を撮影する際にデータが直接書き込まれる。図４は静止画を撮影する時にデータが直接書き込まれた例である。従来より画像内に日付などの文字を入れることは行われているが、それと同様の方法で、画像データを圧縮処理する前の記録対象画像データに直接色情報データを書き込む。

また、画像データ自体に、抽出した色情報と色情報を抽出したエリアの枠線とを書き込むことで、特別な機能を持たない画像再生システムにおいても、画像データの特定位置の色情報を取得することができる。抽出するエリアを指定する四角の表示は、あらかじめデータとしてＳＤＲＡＭ１６内のＯＳＤに保存されている。

さらに、抽出した色情報と抽出エリアの枠線を書き込む画像データを作成する際に、同時に、色情報を書き込まない画像を記録してもよい。例えば、オートブラケット撮影のように、一度の記録要求で色情報が書き込まれた画像と、色情報が書き込まれていない画像との、２種類の画像を自動的に記録するようにしてもよい。これにより、再生画像を表示するときや印刷出力する際の色合わせなどを行う場合に、どの部分の色を合わせるかが明確になるため、より正確な色の再現が可能となる。

次に、本実施形態のデジタルカメラにおけるホワイトバランスの調整手段について説明する。
ホワイトバランスは上記のように、画像のＲＧＢ積算値のバランスからゲインを算出して行われる。そのため画面全体が同じ色相の被写体の場合、その色を白くするような誤動作をしてしまう場合が、正確に色情報抽出が出来なくなってしまう場合がある。この場合ホワイトバランスのゲインをある値に固定したほうが良い場合がある。

本実施形態のデジタルカメラは図５に示すように、レリーズシャッタ（ＳＷ１）が２段のスイッチになっている。通常の撮影では、レリーズシャッタ（ＳＷ１）を半押して信号線１と信号線２とが接触することで、撮影を準備するためのフォーカス動作と、ＡＥ処理の更新停止が行われる。さらにレリーズシャッタ（ＳＷ１）を押し込み、信号線２と信号線３とが接触すると静止画の撮影が行われることになる。

本実施形態のデジタルカメラは、画像データから色情報を抽出している際には、ホワイトバランスの自動更新は行わないようになっている。ホワイトバランスの調整は、レリーズシャッタ（ＳＷ１）の半押し状態を１秒以上継続した場合に、その時点で撮影されている画像データの被写体の色に応じてＡＷＢ処理を行い、そのゲインを保持しつづけることになる。これを本実施形態ではプリセットホワイトバランスと呼ぶ。

本実施形態のデジタルカメラの使用者は、画像データから色情報を抽出する前に、色情報を抽出したい光源の下で無彩色の、例えば白い紙などに向けてレリーズシャッタ（ＳＷ１）を１秒以上半押し状態にする。つまり、図５において、信号線１と信号線２とが接触した状態になる。ここでプリセットホワイトバランス処理が行われ、光源に合ったホワイトバランスのゲインが設定される。ここで一度ゲインが設定されると、再度レリーズシャッタ（ＳＷ１）を１秒以上半押し状態にするまで、プリセットホワイトバランスにより設定されたゲインは更新されないことになる。あとはレリーズシャッタ（ＳＷ１）をさらにを押し込み、信号線２と信号線３とを接触させて静止画を撮影することになる。
従って、被写体色に関わらずに被写体の色情報を正確に抽出することができるようになる。

また、本実施形態のデジタルカメラは内部に無線通信機能を有していてもよい。無線通信機能としては、例えば、無線ＬＡＮをデジタルカメラに内蔵し、電子メールを利用した画像データの送信や、画像データをファクシミリへ直接送信することも可能である。ここでは通信システムを無線ＬＡＮを例に挙げて説明したが、この通信システムはＰＨＳやＢｌｕｅｔｏｏｔｈなどの無線通信システムであっても、ＵＳＢなどの有線通信システムであっても構わない。

通信機能を有する機器であれば、本実施形態により抽出される色情報はさらに有効な情報となる。画像データを受信した出力側がモノクロのモニタやプリントシステムのような、色情報をモノクロでしか認識できないような機器であっても、抽出された色情報が画像とともに記録されているか、あるいは画像内に色情報が書き込まれていれば、色の情報を得ることができる。
例えば、抽出された色情報を、デジタルカメラからモノクロファクシミリへ送信した場合でも、画像と色情報とが共に送信されたり、色情報が書き込まれた画像が送信されてくるので、画像データの受信者は被写体の色を正確に認識することができる。

一方、画像データを受信した出力側が色情報をカラーで認識できる機器であっても、それぞれの出力装置によって色合いが一致しないことがある。同一の受信した画像データを出力しても、各出力機器の特性・状態などによって色合いが違って見えてしまうのである。
本実施形態によれば、抽出された色情報が画像とともに記録されているか、あるいは画像内に色情報が書き込まれているので、各出力機器の色再現特性が違っていても、色の情報を正確に得ることができる。

なお、本発明は上記の実施形態に限定されず、その趣旨を逸脱しない範囲において、種々変更が可能である。例えば、今回は本実施形態の撮像システムを、デジタルカメラを用いて説明したが、本実施形態はデジタルカメラに限定されず、デジタルムービーなどでも同様に実現することが可能である。さらに画像を入力する撮像素子と表示出力をもつ撮像システムであれば実施可能である。

例えばスキャナを用いた撮像システムでも同様の動作が可能である。ハンディスキャナを接続した電子手帳（ＰＤＡ）では、スキャナで取り込んだ画像をＰＤＡの画面に表示できるものがあり、取り込んだ画像の色情報をＣＰＵが読むことで色情報の抽出が可能となる。

本実施形態におけるデジタルカメラの外観を示す図である。 本実施形態におけるデジタルカメラの撮像システムを示すブロック図である。 本実施形態により撮影された画像において、色情報を表示した例を示す図である。 本実施形態により撮影された画像において、記録した静止画に抽出された色情報を合成した例を示す図である。 本実施形態におけるデジタルカメラのレリーズシャッタの構造を示す図である。

符号の説明

１ レンズユニット
２ ＣＣＤ
３ ＴＧ（制御信号発生器）
４ ＣＤＳ
５ ＡＧＣ
６ Ａ／Ｄ変換器
７ ＣＣＤインタフェース
８ ＹＵＶ変換部
９ リサイズ処理部
１０ 表示出力制御部
１１ データ圧縮部
１２ メディアインタフェース
１３ ＣＰＵ
１４ 操作部
１５ 音声出力部
１６ ＳＤＲＡＭ
１７ ＲＯＭ
１８ メモリカード

Claims (23)

1. レンズから入力された画像を電気信号に変換する撮像手段と、前記撮像手段で変換された電気信号を所定の表示形式に変換した画像データを生成する画像処理手段と、前記画像処理手段で生成された前記画像データをメモリに記憶する第１の記憶手段と、前記第１の記憶手段によって記憶された前記画像データを表示する表示手段とを有する撮像システムであって、
   前記表示手段により表示された前記画像データの特定範囲を指定する範囲指定手段と、
   前記範囲指定手段で指定された前記特定範囲の色情報を抽出する色情報抽出手段とを有することを特徴とする撮像システム。
2. 前記色情報抽出手段によって抽出された色情報を、前記画像データとともに前記表示手段によって表示するための色情報表示手段をさらに有することを特徴とする請求項１に記載の撮像システム。
3. 前記色情報抽出手段によって抽出された色情報を、音声によって出力する色情報音声出力手段をさらに有することを特徴とする請求項１又は２に記載の撮像システム。
4. 前記表示手段により表示される前記画像データを、特定の周期で連続的に更新する連続表示手段をさらに有し、
   前記連続表示手段において表示される画像データから前記色情報抽出手段によって色情報を抽出する手段をさらに有することを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
5. 前記色情報抽出手段は、色情報の抽出を行うか否かの選択手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
6. 前記色情報抽出手段と、前記色情報表示手段と、前記色情報音声出力手段とのうち少なくとも１つが動作している時に、前記連続表示手段により表示される前記画像データの更新周期を変更する更新周期変更手段をさらに有することを特徴とする請求項４又は５に記載の撮像システム。
7. 前記更新周期変更手段により更新される前記画像データの更新周期が、前記色情報抽出手段と、前記色情報表示手段と、前記色情報音声出力手段とがいずれも動作していない時の更新周期より長いことを特徴とする請求項６に記載の撮像システム。
8. 前記範囲指定手段により指定される前記特定範囲を操作し、前記特定範囲を変更する範囲指定変更手段をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
9. 前記色情報抽出手段により抽出される色情報は、前記範囲指定手段により指定される前記特定範囲の色情報の平均値から作成されることを特徴とする請求項１から８のいずれか１項に記載の撮像システム。
10. 前記色情報抽出手段により抽出される色情報は、前記連続表示手段の動作時に抽出される連続した複数の色情報の平均値から作成されることを特徴とする請求項１から９のいずれか１項に記載の撮像システム。
11. 前記色情報抽出手段により抽出される色情報を数値に変換する手段をさらに有し、前記数値を前記色情報表示手段または前記色情報音声出力手段に出力することを特徴とする請求項１から１０に記載の撮像システム。
12. 前記数値に変換する手段は、前記色情報をＲＧＢの値に変換するＲＧＢ変換手段であり、前記ＲＧＢ変換手段により変換された前記ＲＧＢの値を、前記色情報表示手段または前記色情報音声出力手段に出力することを特徴とする請求項１から１１のいずれか１項に記載の撮像システム。
13. 前記数値に変換する手段は、前記色情報をＹＵＶの値に変換するＹＵＶ変換手段であり、前記ＹＵＶ変換手段により変換された前記ＹＵＶの値を、前記色情報表示手段または前記色情報音声出力手段に出力する手段をさらに有することを特徴とする請求項１から１１のいずれか１項に記載の撮像システム。
14. 前記数値に変換する手段は、前記色情報をＸＹＺの値に変換するＸＹＺ変換手段であり、前記ＸＹＺ変換手段により変換された前記ＸＹＺの値を、前記色情報表示手段または前記色情報音声出力手段に出力する手段をさらに有することを特徴とする請求項１から１１のいずれか１項に記載の撮像システム。
15. 前記数値に変換する手段は、前記色情報をＣＩＥＬＡＢの値に変換するＣＩＥＬＡＢ変換手段であり、前記ＣＩＥＬＡＢ変換手段により変換された前記ＣＩＥＬＡＢの値を、前記色情報表示手段または前記色情報音声出力手段に出力する手段をさらに有することを特徴とする請求項１から１１のいずれか１項に記載の撮像システム。
16. 前記色情報抽出手段により抽出される色情報を色名に置き換える色情報判別手段をさらに有し、前記色情報判別手段により置き換えられた前記色情報を、前記色情報表示手段または前記色情報音声出力手段に出力することを特徴とする請求項１から１０のいずれか１項に記載の撮像システム。
17. 前記色情報抽出手段により抽出される色情報を２次元又は３次元の図上に置き換え、前記色情報を図によって表示する手段をさらに有する請求項１から１０のいずれか１項に記載の撮像システム。
18. 静止画を撮影する静止画撮影手段と、前記静止画撮影手段により撮影した静止画を不揮発性メモリに記憶する第２の記憶手段とをさらに有し、
    前記色情報抽出手段により抽出される色情報と共に前記静止画を前記第２の記憶手段に記憶することを特徴とする請求項１から１７のいずれか１項に記載の撮像システム。
19. 前記第２の記憶手段は、前記色情報抽出手段により抽出される色情報と共に前記特定範囲をさらに記憶する手段を有する請求項１８に記載の撮像システム。
20. 前記静止画撮影手段により撮影された前記静止画に、前記色情報抽出手段により抽出される色情報を合成する色情報合成手段をさらに有し、
    前記色情報合成手段により合成された色情報を前記第２の記憶手段に記憶することを特徴とする請求項１から１７のいずれか１項に記載の撮像システム。
21. 前記色情報合成手段は、前記静止画に前記特定範囲を合成し前記第２の記憶手段に記憶する手段をさらに有する請求項２０に記載の撮像システム。
22. ホワイトバランスを調整するホワイトバランス調整手段をさらに有し、
    前記色情報抽出手段の動作時には前記ホワイトバランス調整手段による調整を固定することを特徴とする請求項１から２１のいずれか１項に記載の撮像システム。
23. 前記記憶手段に記憶された前記静止画を外部装置に出力する手段をさらに有する請求項１８から２２のいずれか１項に記載の撮像システム。