JP2005051394A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2005051394A
JP2005051394A JP2003204468A JP2003204468A JP2005051394A JP 2005051394 A JP2005051394 A JP 2005051394A JP 2003204468 A JP2003204468 A JP 2003204468A JP 2003204468 A JP2003204468 A JP 2003204468A JP 2005051394 A JP2005051394 A JP 2005051394A
Authority
JP
Japan
Prior art keywords
image
pixel
color
value
color conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003204468A
Other languages
Japanese (ja)
Inventor
Hiroaki Kubo
広明 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2003204468A priority Critical patent/JP2005051394A/en
Publication of JP2005051394A publication Critical patent/JP2005051394A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide imaging apparatus and an imaging method capable of alleviating discontinuity caused when image acquisition processing is switched. <P>SOLUTION: The imaging apparatus generates a first image group by using a color conversion matrix MX1 at an interval TM1, generates a second image group by using a color conversion matrix MX2 at an interval TM4, and generates a third image group by using a color conversion matrix MX32 at an interval TM3 between both the intervals TM1, TM4. Each of conversion coefficients Krc, Kgc, Kbc for generating a luminance signal in the color conversion matrix MX32 at the interval TM3 is gradually changed from a value for realizing a mixing ratio of color components in the luminance signal (e.g., Kr:Kg:Kb=0.3:0.59:0.11) generated by using the color conversion matrix MX1 toward a value for realizing a mixing ratio of color components in the luminance signal (e.g., Kr:Kg:Kb=0.25:0.5:0.25) generated by using the color conversion matrix MX2. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置および撮像方法に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置においては、周囲の環境輝度が低下すると、取得画像を切り替えて、高感度のモノクロ画像を取得するものが存在する（たとえば、特許文献１、特許文献２を参照）。
【０００３】
特許文献１は、赤外線カットフィルタの装脱を伴う技術であり、特許文献２は、カラー画像からモノクロ画像などへの切替動作を伴う技術である。
【０００４】
【特許文献１】
特開２００２−１３５７８８号公報
【特許文献２】
特開平６−１６９４６１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このような撮像装置においては、不連続性が生じてしまうという問題がある。たとえば、特許文献１の技術においては、赤外線カットフィルタの装脱に時間を要するとともに、装脱の前後で入射光の成分特性が大きく変わるため、取得画像の連続性が失われてしまう。また、特許文献２の技術においては、カラー画像からモノクロ画像に切り替える際に、取得画像が急激に変化するという印象を受けることがある。
【０００６】
また、同様の問題は、これらの切替動作が行われる場合だけでなく、その他の様々な事情によって種々の切替動作が行われる場合にも発生し得る。
【０００７】
そこで、本発明は前記問題点に鑑み、画像取得処理の切り替え時における不連続性を緩和することが可能な撮像装置および撮像方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、複数の画像を連続的に取得する撮像装置であって、撮像素子と、前記撮像素子からの画像信号に基づいて色変換処理を行う色変換手段と、を備え、前記色変換手段は、第１の期間において、第１の色変換マトリクスを用いて輝度信号を生成することによって、第１の画像群を生成し、第２の期間において、前記第１の色変換マトリクスとは異なる第２の色変換マトリクスを用いて輝度信号を生成することによって、第２の画像群を生成し、前記第１の期間と前記第２の期間との間の期間において、第３の色変換マトリクスを用いて輝度信号を生成することによって、第３の画像群を生成し、前記第１の期間と前記第２の期間との間には、前記第３の色変換マトリックスにおける輝度信号生成用の各変換係数が、第１の色変換マトリクスを用いて生成される輝度信号中の第１の色成分混合比率を実現する値から、第２の色変換マトリクスを用いて生成される輝度信号中の第２の色成分混合比率を実現する値へ向けて徐々に変化する期間が設けられている。
【０００９】
請求項２の発明は、請求項１の発明に係る撮像装置において、前記撮像素子の複数の画素の画素値を加算して新たな画素の画素値を算出する画素加算手段、をさらに備え、前記第２の画像群は、前記撮像素子からの画像信号が前記画素加算手段によって加算されることによって得られる高感度画像で構成される。
【００１０】
請求項３の発明は、請求項２の発明に係る撮像装置において、前記第２の画像群は、モノクロ画像群である。
【００１１】
請求項４の発明は、請求項３の発明に係る撮像装置において、前記第１の画像群も、モノクロ画像群である。
【００１２】
請求項５の発明は、請求項１の発明に係る撮像装置において、前記第１の画像群は、カラー画像群であり、前記第２の画像群は、モノクロ画像群であり、前記第１の期間と前記第２の期間との間には、前記第３の画像群の生成時における彩度の抑圧程度が徐々に変化する期間が設けられる。
【００１３】
請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る撮像装置において、前記撮像装置における環境輝度を測定する輝度取得手段、をさらに備え、前記環境輝度が小さくなるにしたがって、前記第１の画像群、前記第３の画像群、および前記第２の画像群が、この順序で生成される。
【００１４】
請求項７の発明は、撮像素子からの画像信号に基づいて複数の画像を連続的に取得する撮像方法であって、ａ）第１の色変換マトリクスを用いて輝度信号を生成することによって、第１の画像群を取得するステップと、ｂ）前記第１の色変換マトリクスとは異なる第２の色変換マトリクスを用いて輝度信号を生成することによって、第２の画像群を取得するステップと、ｃ）前記ステップａ）と前記ステップｂ）との間において、第３の色変換マトリクスを用いて輝度信号を生成することによって、第３の画像群を取得するステップと、を含み、前記ステップｃ）では、前記第３の色変換マトリックスにおける輝度信号生成用の各変換係数が、前記第１の色変換マトリクスを用いて生成される輝度信号中の第１の色成分混合比率を実現する値から、前記第２の色変換マトリクスを用いて生成される輝度信号中の第２の色成分混合比率を実現する値へ向けて徐々に変化する期間が設けられている。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００１６】
＜構成概要＞
図１〜図３は、本発明の実施形態に係る撮像装置１の要部構成を示す図である。図１〜図３は、それぞれ撮像装置１の正面図、背面図および上面図に相当している。
【００１７】
撮像装置１は、デジタルカメラとして構成されており、撮影レンズ１０ａを含む撮像部１０を備えている。この撮影レンズ１０ａは、フォーカスの調整が可能であり、且つ、焦点距離（ズーム倍率）の調整が可能なレンズである。撮影レンズ１０ａは、フォーカスレンズとズームレンズとを有しているとも表現できる。また、撮像装置１の前面には、被写体に対して発光を行う内蔵フラッシュ１１が設けられている。
【００１８】
撮像装置１の背面には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ４２と電子ビューファインダ４３とＥＶＦ切替スイッチ１９とが設けられている。ＬＣＤモニタ４２および電子ビューファインダ４３には、撮影された画像などが表示される。また、ＥＶＦ切替スイッチ１９は、スライド式の切替スイッチである。このＥＶＦ切替スイッチ１９によって、撮影画像等をＬＣＤモニタ４２および電子ビューファインダ４３のいずれに表示させるか、あるいは両者のいずれにも表示させないかなどを設定することができる。
【００１９】
撮像装置１の上面には、レリーズボタン１２とモニタ拡大スイッチ１３と高感度撮影スイッチ１４とモード切替スイッチ１６と電源ボタン１８とが設けられている。
【００２０】
電源ボタン１８は、撮像装置１における通電状態（オン状態）と非通電状態（オフ状態）とを切り替えるボタンである。
【００２１】
レリーズボタン１２は、半押し状態（以下、状態Ｓ１とも称する）と全押し状態（以下、状態Ｓ２とも称する）とを区別して検出することが可能な、２段階押し込みスイッチである。撮像装置１は、操作者（ユーザ）によってレリーズボタン１２が半押し状態Ｓ１にまで押下されると、「撮影準備開始」の指示入力が受け付けられたと判定する。また、撮像装置１は、操作者によってレリーズボタン１２が全押し状態Ｓ２にまで押下されると、「撮影開始」の指示入力が受け付けられたと判定する。
【００２２】
モニタ拡大スイッチ１３は、ＬＣＤモニタ４２および電子ビューファインダ４３における表示画像の拡大率を変更するためのスイッチである。このスイッチ１３の押下によって、撮影画像を拡大して表示することができる。
【００２３】
モード切替スイッチ１６は、再生モードと撮影モードとを切り替えるレバー式のスイッチである。モード切替スイッチ１６のレバーを「ＲＥＣ」の位置に合わせることによって撮像装置１は撮影モードに設定され、モード切替スイッチ１６のレバーを「ＰＬＡＹ」の位置に合わせることによって撮像装置１は再生モードに設定される。
【００２４】
高感度撮影スイッチ１４は、撮影モード（より詳細には撮影モードにおけるサブモード）を切り替えるためのスイッチである。具体的には、高感度撮影スイッチ１４が押下されるごとに、カメラの周囲の輝度によらず常に通常のカラー撮像を行うモード（通常モード）と、カメラの周囲の輝度（環境輝度）に応じた感度の切替を伴うモード（感度切替可能モード）とが交互に選択される。
【００２５】
「感度切替可能モード」は、高輝度環境下においては通常の感度でカラー撮像を行い、低輝度環境下（輝度が所定の閾値よりも小さくなる環境下）においては、画素加算によって感度を向上させた高感度のモノクロ画像（ここでは白黒画像）を撮像するモードである。この高感度のモノクロ画像によれば、非常に暗い環境下においても被写体像を得ることが可能になる。
【００２６】
感度切替可能モードで撮像された各画像（高感度のモノクロ画像を含む）は、通常モードで撮像された各画像と同様に、ライブビュー画像としてＬＣＤモニタ４２などに表示され、さらに、レリーズボタン１２の押下時には記録用画像（静止画像または動画像）としてメモリカード９内に記録される。
【００２７】
図４は、撮像装置１の機能ブロックを示す図である。なお、図４においては、図示の都合上、撮像装置１の外部に示されている各種の機能ブロックも存在するが、これらの機能ブロックは実際には撮像装置１の内部又は表面に設けられている。
【００２８】
撮像装置１は、撮像センサ１５と、撮像センサ１５にデータ伝送可能に接続する信号処理部２と、信号処理部２に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０とを備えている。また、カメラ制御部４０は、画素加算処理を行う画素加算部２０を有している。画素加算部２０は、タイミングジェネレータ４４などを介して又は直接に撮像センサ１５の読出動作を制御することにより、画素加算処理を行う。
【００２９】
撮像センサ１５は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の原色透過フィルター（色フィルタ）が市松状に配置されたベイヤー配列を有する単板のエリアセンサとして構成されている。撮像センサ１５は、いわゆるＣＣＤ撮像素子である。この撮像センサ１５では、電荷の蓄積が完了すると光電変換された信号が遮光された転送路にシフトされて読み出され、被写体に係る画像信号が出力される。
【００３０】
また、撮像センサ１５と撮影レンズ１０ａとの間の光路には、赤外線カットフィルタＦＴが設けられている。この赤外線カットフィルタＦＴによって、余分な赤外成分が入射光から除去されるため、カラー画像において正確な色再現を行うことができる。
【００３１】
信号処理部２は、ＣＤＳ２１とＡＧＣ２２とＡ／Ｄ変換部２３とを有している。
【００３２】
通常のカラー撮影モードにおいては、撮像センサ１５から出力された画像信号はＣＤＳ２１でサンプリングされノイズが除去された後、ＡＧＣ２２により感度補正が行われる。
【００３３】
Ａ／Ｄ変換部２３は、１４ビットＡＤ変換器で構成されており、ＡＧＣ２２で正規化されたアナログ信号をデジタル化する。デジタル変換された画像信号は、画像処理部３で所定の画像処理が施されて画像ファイルが生成される。
【００３４】
また、上記の「感度切替可能モード」において高感度モノクロ画像が生成されるときには、撮像センサ１５における画像信号に対して、後述するような画素値の加算動作が画素加算部２０の制御下において行われた後に、加算後の画素信号が信号処理部２による処理を経てデジタル化されて画像処理部３に出力される。
【００３５】
画像処理部３は、ＣＰＵおよびメモリを有しており、デジタル処理部３０と画像圧縮部３７とビデオエンコーダ３６とメモリカードドライバ３８とを備えている。
【００３６】
デジタル処理部３０は、画素補間部３１と解像度変換部３２とホワイトバランス制御部３３とガンマ補正部３４とマトリクス演算部３５とを有している。
【００３７】
画像処理部３に入力された画像データは、撮像センサ１５の読出しに同期し画像メモリ４１に書き込まれる。以後、この画像メモリ４１に格納される画像データにアクセスし、デジタル処理部３０で各種の処理が行われる。
【００３８】
画像メモリ４１内の画像データは、ホワイトバランス（ＷＢ）制御部３３によりＲ，Ｇ，Ｂの各画素が独立にゲイン補正される（ホワイトバランス補正）。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度、彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値と、Ｇ／Ｒ、Ｇ／Ｂ比とを求め、これらの情報に基づいてＲおよびＢの補正ゲインとして制御される。
【００３９】
画素補間部３１は、ホワイトバランス補正がなされた画像データに対して画素補間処理を行い、撮像センサ１５の各位置における画素の各成分チャンネル値を周辺画素の画素値に基づいて補間により求める。
【００４０】
画素補間部３１は、カラー画像生成時には、撮像センサ１５における画素値に基づいて補間後の各色成分値Ｒ，Ｇ，Ｂを各成分チャンネル値（具体的には、Ｒチャンネル値Ｒｃｈ、Ｇチャンネル値Ｇｃｈ、Ｂチャンネル値Ｂｃｈの３つの値）として求める。また、画素補間部３１は、後述するように、高感度のモノクロ画像生成時には、画素加算部２０による画素加算処理が施された後の新たな画素値に基づいて、補間後の各色成分値（厳密には、Ｒ，Ｇ，Ｂの各色成分を表す値ではないので、「擬似色成分値」とも称する）を各成分チャンネル値として求める。画素補間部３１は、前者のカラー画像生成時および後者のモノクロ画像生成時のいずれにおいても、画素位置に応じた同一の補間用フィルタを用いて補間処理を行う。
【００４１】
補間後の画像データは、ガンマ補正部３４で各出力機器に合った非線形変換が行われ、８ビットのデータへと変換される。
【００４２】
マトリクス演算部３５は、画素補間後の各成分チャンネル値に基づいて色変換を行う機能を有している。マトリクス演算部３５は、カラー画像生成時には、色変換マトリクスＭＸ１と画素補間後の各画素の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈとに基づいて、各画素についての色信号（色成分値）Ｙｃｈ，Ｃｒｃｈ，Ｃｂｃｈを生成する。カラー画像生成時においては、変換後の色信号Ｙｃｈは輝度信号に相当し、変換後の色信号Ｃｒｃｈ，Ｃｂｃｈは色差信号に相当する。また、マトリクス演算部３５は、高感度モノクロ画像生成時には、補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈと色変換マトリクスＭＸ２とに基づいて輝度信号Ｙｃｈを含む色信号（擬似色成分値）Ｙｃｈ，Ｃｒｃｈ，Ｃｂｃｈを生成する。ただし、高感度モノクロ画像生成時には、色信号Ｃｒｃｈ，Ｃｂｃｈは、いずれもゼロとなる。
【００４３】
なお、以下では、色信号Ｙｃｈ，Ｃｒｃｈ，Ｃｂｃｈを単に、Ｙ，Ｃｒ，Ｃｂとも表記する。
【００４４】
その後、記録用の画像については、マトリクス演算部３５から出力された色変換後の各画素値に対して、解像度変換部３２で設定された画素数に水平／垂直方向の縮小または間引きが行われ、画像圧縮部３７で圧縮処理が行われる。そして、得られた記録用画像は、メモリカードドライバ３８を介してメモリカード９に記録される。
【００４５】
また、解像度変換部３２では、プレビュー用（ライブビュー用）の画像についても画素間引きを行って、ＬＣＤモニタ４２または電子ビューファインダ４３に表示するための低解像度画像を作成する。プレビュー時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３６でＮＴＳＣ方式（あるいはＰＡＬ方式）の信号にエンコードされ、この低解像度画像がＬＣＤモニタ４２または電子ビューファインダ４３で表示される。
【００４６】
カメラ制御部４０は、ＣＰＵおよびメモリを備え、撮像装置１における統括的な制御部として機能する。
【００４７】
カメラ制御部４０は、具体的には、上記のレリーズボタン１２や高感度撮影スイッチ１４などを有するカメラ操作スイッチ４９に対して撮影者が行う操作入力を処理する。
【００４８】
また、カメラ制御部４０は、絞りドライバ４６を介してシャッター４５を開閉することなどによって、カメラの絞り値を制御する。
【００４９】
さらに、カメラ制御部４０は、フォーカスモータドライバ４７を介してフォーカス制御用モータＭＴ１を駆動して、撮影レンズ（より詳細には撮影レンズのうちのフォーカス制御用レンズ）の位置（以下、単に「撮影レンズの位置」とも称する）を制御する。これによって、撮影レンズ１０ａの合焦状態の制御（すなわちフォーカス制御）が行われる。
【００５０】
また、カメラ制御部４０は、ズームモータドライバ４８を介してズーム制御用モータＭＴ２を駆動し、撮影レンズ１０ａを構成する複数のレンズの配置を変更する。これにより、撮影レンズ１０ａの焦点距離ｆが変更されて、ズーム倍率が制御される。
【００５１】
撮影待機状態においては、カメラ制御部４０は、１／３０（秒）毎に撮像されたプレビュー用の画像（ライブビュー画像）を、ＬＣＤモニタ４２等に表示する。通常モードが選択されたときには、原則としてカラー画像がライブビュー画像として表示される。また、感度切替可能モードが選択されたときには、高輝度時においてはカラー画像が表示され低輝度時においては高感度モノクロ画像がライブビュー画像として表示される。
【００５２】
操作者は、このライブビュー画像を見ながら、フレーミング動作等を行うことができる。その後、レリーズボタン１２の押下操作に応答して本撮影画像（記録用の静止画像）が撮影され、本撮影直後には、本撮影による静止画像がＬＣＤモニタ４２に確認用の画像（アフタービュー画像）として一定期間表示される。その後、本撮影画像は、記録画像としてメモリカード９内に転送され記録される。
【００５３】
また、この撮像装置１は、動画像を撮影することも可能である。操作者は、ＬＣＤモニタ４２に表示される所定のメニュー画面を見ながら、カーソルボタン１７等を用いて選択操作等を行うことによって、動画像の撮影と静止画像の撮影とを切り替えることができる。
【００５４】
この撮像装置１においては、静止画像の撮影時においてだけでなく、動画像の撮影時においても、「感度切替可能モード」に関する設定内容が反映される。したがって、撮像装置１は、動画撮影時においても、輝度に応じた画像生成処理を行うことが可能である。その場合、複数の高感度モノクロ画像によって構成される連続画像が、メモリカードドライバ３８などによってメモリカード９に動画像として記録される。
【００５５】
＜画像処理の概要＞
つぎに、図５および図６を参照しながら、この撮像装置１において、「感度切替可能モード」が採用されるときの画像処理の概要について説明する。この「感度切替可能モード」では、比較的高輝度の環境下においては通常の感度でカラー画像を取得する動作が行われる。一方、比較的低輝度の環境下においては、近隣の画素を加算することによって感度を向上させて高感度のモノクロ（ここでは白黒）画像を取得する動作が行われる。
【００５６】
図５はカラー画像生成時の画像処理の概要を示す図であり、図６は高感度モノクロ画像生成時の画像処理の概要を示す図である。なお、図５および図６では、説明の簡略化のため、Ａ／Ｄ変換処理、ホワイトバランス制御、ガンマ補正処理などを省略して示している。
【００５７】
図５に示すように、カラー画像生成時においては、撮像センサ１５から出力される画像信号は、画素補間部３１およびマトリクス演算部３５を介して、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂとして出力される。
【００５８】
また、図６に示すように、高感度モノクロ画像生成時においては、撮像センサ１５の画像信号は、画素加算部２０によって水平方向に加算されて新たな画素の新たな画素値として合成されて撮像センサ１５から出力される。撮像センサ１５からの画像信号は、画素補間部３１およびマトリクス演算部３５を介して輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに変換される。なお、出力されるべき画像はモノクロ画像であるため、色差信号Ｃｒ，Ｃｂはともにゼロとなる。
【００５９】
以下では、カラー画像生成時の画像処理と高感度モノクロ画像生成時の画像処理とについて、それぞれ、説明する。
【００６０】
＜カラー画像生成時の画像処理＞
まず、カラー画像生成時の画像処理（カラー画像生成処理）について説明する。このカラー画像生成処理は、通常のカラー撮像のみを行うモード（「通常モード」）で行われるとともに、上記の「感度切替可能モード」における高輝度環境下においても行われる。
【００６１】
図７は、カラー画像生成時の補間処理に用いられる補間フィルタを示す図であり、各画素位置に応じた複数の補間フィルタを示している。また、図８は、図７の補間フィルタを用いた補間結果の一例を示す図である。
【００６２】
図８の左側には、撮像センサ１５におけるベイヤー配列の各画素が示されている。最上段の行には、グリーン（Ｇ）の色フィルタに覆われた画素とレッド（Ｒ）の色フィルタに覆われた画素とが水平方向において交互に配置されている。また、次の行には、ブルー（Ｂ）の色フィルタに覆われた画素とグリーン（Ｇ）の色フィルタに覆われた画素とが水平方向において交互に配置されている。撮像センサ１５における画素列は、上記のような１組（２行）の水平画素列が垂直方向に繰り返し配置されることによって、構成されている。
【００６３】
ただし、このままでは、各画素位置における特定成分以外の色成分を得ることができない。たとえば、グリーンの色フィルタの位置においては、グリーン成分以外の成分チャンネル値を得ることができない。そこで、近隣画素（周辺画素）の画素値（階調値）を用いた補間処理によって、そのグリーンの色フィルタの位置における画素のレッド成分とブルー成分とを求める。その他の成分チャンネル値についても同様である。なお、図８の右側においては、複数の画素のうち８つの画素Ｐ２２〜Ｐ２５，Ｐ３２〜Ｐ３５のそれぞれについて、画素補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが示されている。
【００６４】
たとえば、図８の左側の画素配列において、第２行目の左から第２番目の位置の画素Ｐ２２については、そのままではグリーン成分しか判らないため、レッド成分とブルー成分とを補間により求める。具体的には、図７（ａ）のレッドチャンネル用フィルタを用いて、画素Ｐ２２のレッド成分チャンネル値Ｒｃｈは、画素Ｐ１２の階調値と画素Ｐ３２の階調値との平均値（Ｒ／２＋Ｒ／２＝Ｒ）として求められる。同様に、図７（ａ）のブルーチャンネル用フィルタを用いて、画素Ｐ２２のブルー成分チャンネル値Ｂｃｈは、画素Ｐ２１の階調値と画素Ｐ２３の階調値との平均値（Ｂ／２＋Ｂ／２＝Ｂ）として求められる。また、画素Ｐ２２のグリーン成分チャンネル値Ｇｃｈは、画素Ｐ２２の階調値そのものとして求められる。
【００６５】
同様にして、図７（ｂ）の各成分チャンネル用フィルタを用いて、画素Ｐ２３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが求められる。また、画素Ｐ３２の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｃ）の各成分チャンネル用フィルタを用いて求められ、画素Ｐ３３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｄ）の各成分チャンネル用フィルタを用いて求められる。
【００６６】
撮像センサ１５においては、これらの画素配列（Ｐ２２，Ｐ２３，Ｐ３２，Ｐ３３）と同様の画素配列が水平方向および垂直方向に繰り返し配置されている。したがって、同様のフィルタを各画素の位置に応じて作用させることによって、各画素の補間処理を行うことができる。
【００６７】
また、図９は、画素補間後の画素に対する色変換処理を示す図である。ここでは、８つの画素Ｐ２２〜Ｐ２５，Ｐ３２〜Ｐ３５について例示している。図９の左側は、図８の右側の状態に相当し、画素補間後且つ色変換処理前の各画素の画素値を示している。図９の右側は、色変換処理後の各画素の画素値を示している。また、各画素の画素値は、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈごとに示されている。
【００６８】
マトリクス演算部３５は、色変換マトリクスＭＸ１を用いて、各画素Ｐ２２，Ｐ２３，Ｐ３２，Ｐ３３等に対して、それぞれ、所定の変換式による色変換処理を施す。これにより、各成分チャンネル値（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）は、別の色空間表現（Ｙ，Ｃｒ，Ｃｂ）へと変換される。
【００６９】
輝度信号Ｙは、Ｙ＝（Ｋｒｃ×Ｒｃｈ＋Ｋｇｃ×Ｇｃｈ＋Ｋｂｃ×Ｂｃｈ）の変換式によって算出される。ここで、変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃは、それぞれ、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈに対する係数（輝度信号生成用の係数）である。また、各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃは、後述する区間ＴＭ４以外の区間ＴＭ１〜ＴＭ３においては、輝度信号中のＲ，Ｇ，Ｂの各色成分の混合比率Ｋｒ，Ｋｇ，Ｋｂ（ただし、Ｋｒ＋Ｋｇ＋Ｋｂ＝１）とそれぞれ同一の値となる。ここでは、区間ＴＭ１，ＴＭ２においては、変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（Ｋｒ，Ｋｇ，Ｋｂ）として、（０．３０，０．５９，０．１１）の値を用いる。
【００７０】
また、色差信号Ｃｒは、変換式Ｃｒ＝α×（Ｒｃｈ−Ｙ）、に基づいて算出され、色差信号Ｃｂは、変換式Ｃｂ＝α×（Ｂｃｈ−Ｙ）、に基づいて算出される。ここで、係数αは、このカラー画像生成時においてはα＝１である。後述するように、この係数αをゼロにすれば、モノクロ画像を生成することができ、係数αを、０＜α＜１を満たす任意の値に設定することによれば、彩度を抑圧した画像を生成することができる。
【００７１】
以上のようにして、カラー画像が生成される。
【００７２】
なお、カラー画像生成時の補間処理は、上述の態様以外にも様々な態様のものを用いることが可能である。たとえば、グリーンの色フィルタの位置において、当該位置のグリーン成分値だけでなく、斜め方向の隣接４画素をも用いた平均値をグリーン成分チャンネル値として得るようにしてもよい。
【００７３】
＜高感度モノクロ画像生成時の画像処理＞
つぎに、高感度のモノクロ画像生成時の画像処理（高感度モノクロ画像生成処理）について説明する。この高感度ノクロ画像生成処理は、後述するように本実施形態では、上記の「感度切替可能モード」において、輝度（環境輝度）を表すＢＶ値が所定の閾値ＴＨ３よりも小さいときに実行される。この高感度モノクロ画像を得ることによれば、非常に暗い環境下でも被写体像を得ることが可能になる。
【００７４】
この高感度モノクロ画像生成処理においては、ベイヤー配列の画素に対する画素加算処理が行われる。これにより、上記の通常感度のカラー画像よりも高感度の画像を生成することができる。この画素加算処理は、上述の画素補間処理の前であって、且つ、Ａ／Ｄ変換前に行われる。すなわち、各画素信号がアナログ信号の状態で行われる。これによれば、Ａ／Ｄ変換時に量子化単位よりも小さな信号がデジタル化に伴って消失してしまうことを防止して、より高感度の画素値を得ることができる。
【００７５】
また、ここでは撮像センサ１５の全画素を用いるのではなく、間引き後の一部の画素を用いて、画素数を減じた画像を生成するものとする。
【００７６】
具体的には、画素加算部２０は、水平方向および垂直方向に所定間隔の画素位置における画素の画素値を、その各画素の周辺画素の画素値を加算することによって得る。これにより、低輝度下におけるＳ／Ｎ比を向上させて感度を向上させることが可能になる。また、水平方向および垂直方向における所定間隔の画素位置以外の画素の画素値は求めないことによって、画素数を減少させる間引き処理を同時に行うことができる。
【００７７】
図１０は、この画素加算処理を示す図である。図１０（ａ）は、撮像センサ１５におけるベイヤー配列の各画素を示しており、図１０（ｃ）は、画素加算処理後の状態を示している。また、図１０（ｂ）は、画素加算処理の中間段階の状態を示す図である。
【００７８】
ここでは、画素配列の垂直方向における加算処理と水平方向における加算処理との両方を行う場合について説明する。
【００７９】
まず、画素加算部２０は、撮像センサ１５における画素列に対して垂直加算処理（垂直方向の加算処理）を行う。これによって、図１０（ａ）の状態から図１０（ｂ）の状態へと移行する。この撮像センサ１５においては、第（ｉ×８＋１）行の水平画素列と第（ｉ×８＋３）行の水平画素列との加算、および第（ｉ×８＋６）行の水平画素列と第（ｉ×８＋８）行の水平画素列との加算がそれぞれ行われる（ただし、ｉはゼロ以上の整数）。
【００８０】
この垂直加算処理は、たとえば、垂直転送路内での加算処理によって実現される。
【００８１】
具体的には、図１１に示すように、まず、撮像センサ１５の第３行の水平画素列Ｌ３の各画素の画素信号（画素値）を示す各蓄積電荷（Ｇ，Ｒ，Ｇ，Ｒ，．．．）が、隣接する各垂直転送路ＶＬに送り出される。また、撮像センサ１５の第８行の水平画素列Ｌ８の各画素の画素信号を示す各蓄積電荷（Ｂ，Ｇ，Ｂ，Ｇ，．．．）が、隣接する各垂直転送路ＶＬに送り出される。つぎに、画素加算部２０は、各垂直転送路ＶＬ内の各蓄積電荷を図面の上方向に２画素分移動させる。このとき、図１２に示すように、各垂直転送路ＶＬ内の水平画素列Ｌ３の各蓄積電荷（Ｇ，Ｒ，Ｇ，Ｒ，．．．）は、第１行の水平画素列Ｌ１の各蓄積電荷の真横に位置している。この状態で、水平画素列Ｌ１の各蓄積電荷（Ｇ，Ｒ，Ｇ，Ｒ，．．．）が、さらに各垂直転送路ＶＬに送り出される。これによって、水平画素列Ｌ１の各蓄積電荷と水平画素列Ｌ３の各蓄積電荷とが各列ごとに加算される。
【００８２】
図１０（ｂ）は、垂直加算処理後の状態を示している。図１０（ｂ）の最上段（第１行）且つ最左列（第１列）の信号は、図１０（ａ）の第１行第１列の画素値（Ｇ）と第３行第１列の画素値（Ｇ）とを合計した値（２Ｇ）となる。また、図１０（ｂ）の第１行第２列の信号は、図１０（ａ）の第１行第２列の画素値（Ｒ）と第３行第２列の画素値（Ｒ）とを合計した値（２Ｒ）となる。第３列以降についても同様である。これによって、加算後の第１行の画素列ＬＬ１の各画素の画素値は、２Ｇ，２Ｒ，２Ｇ，２Ｒ，．．．というように、加算前の第１行の画素列Ｌ１の各画素の画素値と第３行の画素列Ｌ３の対応画素の画素値とが加算された状態となる。
【００８３】
また、図１２に示すように、上記の２画素分の移動によって、各垂直転送路ＶＬ内の水平画素列Ｌ８の各蓄積電荷（Ｂ，Ｇ，Ｂ，Ｇ，．．．）は、第６行の水平画素列Ｌ６の各蓄積電荷の真横に位置している。この状態で、水平画素列Ｌ６の各蓄積電荷（Ｂ，Ｇ，Ｂ，Ｇ，．．．）が、さらに各垂直転送路ＶＬに送り出される。これによって、水平画素列Ｌ６の各蓄積電荷と水平画素列Ｌ８の各蓄積電荷とが各列ごとに加算される。
【００８４】
この垂直加算処理によって、図１０（ｂ）における第２行目の水平画素列ＬＬ２の信号が得られる。この加算後の第２行目の水平画素列ＬＬ２の各画素は、２Ｂ，２Ｇ，２Ｂ，２Ｇ，．．．というように、第６行の水平画素列Ｌ６の各画素の画素値と第８行の水平画素列Ｌ８の対応画素の画素値とが加算された状態となる。
【００８５】
なお、ここでは詳述しないが、同様に、第９行目以後の水平画素列についても同様の処理によって垂直加算処理が施されている。
【００８６】
つぎに、画素加算部２０は、水平加算処理（水平方向の加算動作）を行う。これによって、図１０（ｂ）の状態から図１０（ｃ）の状態へと移行する。
【００８７】
画素加算部２０は、図１０（ｂ）の第１行目の水平画素列ＬＬ１において、隣接する信号を４画素ごとに合算し、図１０（ｃ）の第１行目の新たな画素列ＬＣ１を生成する。なお、図１０（ｃ）は、水平加算処理後の状態を示している。
【００８８】
具体的には、図１２において、画素加算部２０は、各垂直転送路ＶＬ内の各蓄積電荷を図面の上方向に１画素分移動させて、水平画素列ＬＬ１の各画素の画素値を水平転送路ＨＬへと送り出す。
【００８９】
そして、今度は図の左側へ向けて水平転送を行って水平方向の４画素ずつの画素値を合算する。具体的には、水平転送路ＨＬに接続されたフローティングディフュージョンアンプＡＰ内のコンデンサＣＮに、水平画素列ＬＬ１における画素値を４画素毎に蓄積する。詳細には、１画素の水平転送動作毎にコンデンサをリセットするのではなく、４画素の水平転送動作毎にコンデンサをリセットすることによって、４画素の合算値を求めることができる。
【００９０】
この結果、図１０（ｃ）の最上段（第１行）且つ最左列（第１列）の信号は、図１０（ｂ）の第１行第１列の画素値（２Ｇ）と第１行第２列の画素値（２Ｒ）と第１行第３列の画素値（２Ｇ）と第１行第４列の画素値（２Ｒ）とを合計した値（４Ｇ＋４Ｒ）となる。これによって、図１０（ｃ）における加算後の各画素の画素値は、図１０（ｂ）の画素に比べて約４倍の大きさ、図１０（ａ）の画素に比べて約８倍の大きさを有することになる。これにより、低輝度下においても、十分な感度を得ることが可能になる。
【００９１】
同様に、画素加算部２０は、図１０（ｂ）の第１行目の水平画素列ＬＬ１において、第５列から第８列までの画素の信号を合算し、図１０（ｃ）における第１行第２列の新たな画素の画素値とする。さらに、図１０（ｂ）の第１行目の水平画素列ＬＬ１において、第９列から第１２列までの画素の信号を合算し、図１０（ｃ）における第１行第３列の新たな画素の画素値とする。以降、同様の動作が繰り返される。
【００９２】
以上のようにして、図１０（ｃ）の第１行の画素列が生成される。
【００９３】
つぎに、画素加算部２０は、図１０（ｂ）の第２行目の水平画素列ＬＬ２において、隣接する信号を４画素ごとに合算し、図１０（ｃ）の第２行の新たな画素列ＬＣ２を生成する。
【００９４】
具体的には、画素加算部２０は、図１２において、各垂直転送路ＶＬ内の各蓄積電荷を、図面の上方向に１画素分移動させた上記の状態から図面の上方向にさらに５画素分移動させて、水平転送路ＨＬへと送り出す。その後、図の左側への水平転送を行って水平方向の４画素ずつの画素値を合算する。
【００９５】
この結果、図１０（ｃ）の第２行第１列の信号は、図１０（ｂ）の第２行第１列の画素値（２Ｂ）と第２行第２列の画素値（２Ｇ）と第２行第３列の画素値（２Ｂ）と第２行第４列の画素値（２Ｇ）とを合計した値（４Ｇ＋４Ｂ）となる。同様に、図１０（ｃ）の第２行第２列の信号は、図１０（ｂ）の第２行における第５列から第８列までの４つの画素の画素値を合計した値（４Ｇ＋４Ｂ）となる。第２行の残りの画素列についても同様である。
【００９６】
この水平加算処理によって、第２行の画素列も、図１０（ｂ）の状態から図１０（ｃ）の状態へと移行する。これによって、図１０（ｃ）における加算後の各画素の画素値は、図１０（ｂ）の画素に比べて約４倍の大きさ、図１０（ａ）の画素に比べて約８倍の大きさを有することになり、低輝度下においても十分な感度を得ることが可能になる。
【００９７】
さらに、画素加算部２０は、同様の読み出し動作および画素加算動作を繰り返し実行することによって、図１０（ｃ）における第３行目以降の水平画素列を生成する。
【００９８】
このように、画素加算部２０は、高感度モノクロ画像生成時には、２つの色成分のみを加算して新たな画素値を算出することによって、互いに異なる組合せの２つの色成分のみを含む所定方向の２種類の水平画素列を交互に生成する。具体的には、Ｇ成分（グリーン成分）およびＲ成分（レッド成分）のみを含む奇数行目の水平画素列と、Ｇ成分（グリーン成分）およびＢ成分（ブルー成分）のみを含む偶数行目の水平画素列とが生成される。
【００９９】
また、画素加算部２０は、撮像センサ１５における水平方向の画素値をｎ画素（ただし、ｎは２以上の自然数、上記の例ではｎ＝４）ずつ加算するとともに、垂直方向に対しては画素数をｎ分の１に間引く間引き処理を行う。この結果、水平方向の画素数および垂直方向の画素数がいずれもｎ分の１となるように、加算後の新たな画素の画素値が得られる。この場合、加算後の新たな画素で構成される画像は、そのアスペクト比が加算前後で変更されないので、アスペクト比を加算前後で合致させるためのさらなる処理を行う必要がない。
【０１００】
以上のようにして、画素加算処理が実行される。この後、Ａ／Ｄ変換が施されて、各画素の画素値がデジタル値に変換される。そして、デジタル化された画素値に対して、今度は画素補間処理が施される。
【０１０１】
つぎに、この画素補間処理について説明する。この実施形態においては、高感度モノクロ画像生成時においても、カラー画像生成時と同一の補間フィルタ（図７参照）を用いて、画素補間部３１による画素補間処理を行う。
【０１０２】
図１３は、図７の補間フィルタを用いた補間結果の一例を示す図である。図１３は、高感度モノクロ画像生成処理時の画素補間結果を示す図であり、カラー画像生成処理時の画素補間結果を示す図８に対応する図である。
【０１０３】
図１３の左側には、図１０の画素加算処理によって高感度化された後の各画素（すなわち、図１０（ｃ）の各画素）が示されている。ただし、図１３では、画素の画素値は、各色成分の混合割合（混合比率とも称する）を示すことを主目的として表現されており、図１０（ｃ）の「４Ｇ＋４Ｒ」などにおける各色成分の前の係数は省略して示されている。たとえば、「Ｇ＋Ｒ」は、グリーン成分（Ｇ）とレッド成分（Ｒ）とが１対１の比率（割合）で混合されていることを示している。なお、この「Ｇ＋Ｒ」と図８における記述とのレベルを合わせるためには、成分の和（Ｒ＋Ｇ）に対して係数４を乗じた（掛け合わせた）上で、正規化のため８で除した（割った）値で表現すればよい。
【０１０４】
この図１３の左側に示すような各画素に対して、図７と同一の補間フィルタを用いて上記と同様の画素補間処理が行われ、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが算出される。
【０１０５】
たとえば、図１３の左側の画素配列において第２列目の左から第２番目の位置の画素Ｑ２２について考察する。
【０１０６】
この画素Ｑ２２のレッド成分チャンネル値Ｒｃｈは、図７（ａ）のレッドチャンネル用フィルタを用いて求める。具体的には、画素Ｑ２２のレッド成分チャンネル値Ｒｃｈは、画素Ｑ１２の階調値と画素Ｑ３２の階調値との平均値（（Ｇ＋Ｒ）／２＋（Ｇ＋Ｒ）／２＝Ｇ＋Ｒ）として求められる。同様に、画素Ｑ２２のブルー成分チャンネル値Ｂｃｈは、図７（ａ）のブルーチャンネル用フィルタを用いて、画素Ｑ２１の階調値と画素Ｑ２３の階調値との平均値（（Ｇ＋Ｂ）／２＋（Ｇ＋Ｂ）／２＝Ｇ＋Ｂ）として求められる。また、画素Ｑ２２のグリーン成分チャンネル値Ｇｃｈは、図７（ａ）のグリーンチャンネル用フィルタを用いて、画素Ｑ２２の階調値（Ｇ＋Ｂ）そのものとして求められる。
【０１０７】
同様にして、図７（ｂ）の各成分チャンネル用フィルタを用いて、画素Ｑ２３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが求められる。また、画素Ｑ３２の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｃ）の各成分チャンネル用フィルタを用いて求められ、画素Ｑ３３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｄ）の各成分チャンネル用フィルタを用いて求められる。
【０１０８】
撮像センサ１５においては、図１３の左側に示すような画素配列（Ｑ２２，Ｑ２３，Ｑ３２，Ｑ３３）と同様の画素配列が水平方向および垂直方向に繰り返し配置されている。したがって、同様のフィルタを各画素の位置に応じて作用させることによって、各画素の補間処理後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈを得ることができる。
【０１０９】
この結果、図１３の右側に示されるように、各画素Ｑ２２，Ｑ２３，Ｑ２４，Ｑ２５，．．．，Ｑ３２，Ｑ３３，Ｑ３４，Ｑ３５．．．のいずれの画素においても、そのレッド成分チャンネル値Ｒｃｈは「Ｇ＋Ｒ」となり、そのブルー成分チャンネル値Ｂｃｈは「Ｇ＋Ｂ」となる。なお、各画素のグリーン成分チャンネル値Ｇｃｈとしては、「Ｇ＋Ｂ」と「Ｇ＋Ｒ／２＋Ｂ／２」とが水平方向および垂直方向のそれぞれにおいて交互に出現する。
【０１１０】
また、図１４は、補間処理後の画素に対する色変換処理を示す図であり、（カラー画像生成処理時についての）図９に対応する。
【０１１１】
マトリクス演算部３５は、色変換マトリクスＭＸ２を用いて、各画素Ｑ２２，Ｑ２３，Ｑ３２，Ｑ３３等に対して、それぞれ、所定の変換式による色変換処理を施す。これにより、各成分チャンネル値（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）は、別の色空間表現（Ｙ，Ｃｒ，Ｃｂ）へと変換される。色変換マトリクスＭＸ２は、上述の色変換マトリクスＭＸ１とは異なる変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを有している。すなわち、高感度モノクロ画像生成時において、各画像信号は、上記のカラー画像生成時の変換係数とは異なる変換係数で処理されて生成される。
【０１１２】
たとえば、輝度信号Ｙは、Ｙ＝（０．５×Ｒｃｈ＋０．５×Ｂｃｈ）の変換式によって算出される。すなわち、変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（０．５，０，０．５）であり、レッド成分チャンネル値Ｒｃｈとブルー成分チャンネル値Ｂｃｈとを同一比率で混合することによって、輝度信号Ｙが生成される。なお、この輝度信号Ｙは、カラー画像生成時とは異なる変換式によって算出されているため、高感度モノクロ画像における輝度信号Ｙは擬似輝度信号とも称される。
【０１１３】
この結果、図１４の右側に示すような輝度信号Ｙが生成される。この輝度信号Ｙは、いずれの画素においても、「Ｇ＋Ｒ／２＋Ｂ／２」として算出される。すなわち、いずれの画素においても、各成分値Ｒ，Ｇ，Ｂが１：（１／２）：（１／２）の同一の割合で混合された値がその画素値として生成される。
【０１１４】
この結果、次述するように、横縞模様が発生することもなく、綺麗な高感度モノクロ画像を生成することができる。
【０１１５】
なお、図９と比較するため正規化した状態で、変換後の輝度信号Ｙを各色成分値Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）の線形和で表現すると、Ｙ＝０．２５×Ｒ＋０．５×Ｇ＋０．２５×Ｂ、となる。この式は、上記の変換式において、Ｒｃｈに（（Ｇ＋Ｒ）／２）を代入し、Ｂｃｈに（（Ｇ＋Ｂ）／２）を代入することによって得ることができる。したがって、色変換マトリクスＭＸ２を用いて生成される輝度信号中での各色成分Ｒ，Ｇ，Ｂの混合比率を表す係数Ｋｒ，Ｋｇ，Ｋｂは（０．２５，０．５，０．２５）となる。
【０１１６】
また、モノクロ画像信号を生成するため、色差信号Ｃｒ，Ｃｂはいずれもゼロ（固定値）である。
【０１１７】
以上のようにして、高感度のモノクロ画像が生成される。
【０１１８】
上記のような撮像装置１によれば、画素加算によって高感度化を図ることができるので、高感度化を図るために赤外線カットフィルタＦＴを光路から外す必要がない。したがって、赤外線カットフィルタＦＴの装脱を行うための構成を設ける必要がないので、構成が簡易である。
【０１１９】
＜参考例との比較＞
ところで、画素加算によって高感度モノクロ画像を生成するにあたっては、画素加算処理によって得られた画素値を、別個に設けられたローパスフィルタを用いて垂直方向に平滑化する技術を想定することができる。以下、この技術を参考例と称するものとする。
【０１２０】
ここで、上記実施形態の技術的意義をより明確にするため、この参考例との比較を行う。
【０１２１】
図１５〜図１７は、参考例に関する処理動作等について説明する図である。図１５は、参考例における機能ブロックを示す図であり、上記の図６に対応する図である。また、図１６は図１３に対応する図であり、図１７は図１４に対応する図である。なお、上記実施形態の撮像装置１と同様の構成を有するブロックについては、同様の符号を付して説明する。
【０１２２】
この参考例に係る技術は、結果的に、図１５に示される機能ブロックと同等の処理を行うものに相当する。この技術においては、加算処理が施された画素値は、画素補間部３１による補間処理を経ることなく画素補間部３１（図１５）をスルーして、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが同一の値となる。
【０１２３】
具体的には、図１６の左側に示すように、画素加算処理後の画素配列において、第２行目の水平画素列の各画素の画素値は「Ｇ＋Ｂ」となり、その後、画素補間部３１をスルーすることによって、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈはいずれも「Ｇ＋Ｂ」となる（図１６の右側参照）。同様に、画素加算処理後の画素配列において、第３行目の水平画素列の各画素の画素値は、「Ｇ＋Ｒ」となり、その後、画素補間部３１をスルーすることによって、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈはいずれも「Ｇ＋Ｒ」となる。
【０１２４】
その後、図１７に示すように、マトリクス演算部３５により色変換処理が施される。
【０１２５】
図１６にも示されるように、画素補間部３１から出力される偶数行の水平画素列の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは、いずれも同一の値「Ｇ＋Ｂ」となる。ここでは、マトリクス演算部３５は、図１７の上側に示すように、そのうちのグリーン成分チャンネル値Ｇｃｈをそのまま用いて「Ｇ＋Ｂ」を擬似輝度信号Ｙとして出力する。また、色差信号Ｃｒ，Ｃｂは、いずれもゼロ（固定値）とされる。
【０１２６】
また、奇数行の水平画素列の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは、いずれも同一の値「Ｇ＋Ｒ」となるので、マトリクス演算部３５は、図１７の下側に示すように、そのうちのグリーン成分チャンネル値Ｇｃｈをそのまま用いて「Ｇ＋Ｒ」を擬似輝度信号Ｙとして出力する。
【０１２７】
ここで、偶数行の水平画素列（図１７の上段参照）においては、「Ｒ」成分はいずれの成分チャンネル値にも含まれない。そのため、マトリクス演算部３５における色変換マトリクスの変換係数を変更して各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈの混合割合を変更しても、「Ｒ」成分を輝度信号Ｙに反映させることはできない。
【０１２８】
同様に、奇数行の水平画素列（図１７の下段参照）においては、「Ｂ」成分はいずれの成分チャンネル値にも含まれない。そのため、マトリクス演算部３５における色変換マトリクスの変換係数を変更して各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈの混合割合を変更しても、「Ｂ」成分を輝度信号Ｙに反映させることはできない。
【０１２９】
このように、参考例の技術においては、色変換マトリクスにおける変換係数をどのように設定したとしても、偶数行の水平画素列に対する擬似輝度信号と奇数行の水平画素列に対する擬似輝度信号とは、互いに異なる値となる。そのため、１ライン毎に異なる割合の混合色成分が擬似輝度信号として出力されることになる。ここでは、「Ｇ＋Ｂ」と「Ｇ＋Ｒ」とが交互に擬似輝度信号として出力される。
【０１３０】
したがって、被写体の色が特定の色成分に偏っている場合には、高感度モノクロ画像において縞模様が発生することになる。たとえば、赤一色の被写体を撮影する場合には、「Ｇ＋Ｒ」の奇数行には赤色成分が反映された値が出力される一方で、「Ｇ＋Ｂ」の偶数行の画素値はほぼゼロとなり、撮影されたモノクロ画像において縞模様が出現する。
【０１３１】
そして、このような縞模様の発生を防止するためには、図１５に示すように、垂直方向の平滑化を図るためのローパスフィルタ（ＬＰＦ）３９を設けることなどが求められる。
【０１３２】
なお、図１５に示す技術は、画素加算部２０による画素加算処理を受けた水平画素列ごとの画像信号を、画素補間部３１およびマトリクス演算部３５を経ることなく、そのままローパスフィルタ３９によって平滑化処理するものであるとも理解できる。
【０１３３】
これに対して、上記の実施形態に係る撮像装置１によれば、参考例のようなローパスフィルタ３９を設けることなく、簡易な構成で高感度の綺麗なモノクロ画像を得ることができる。
【０１３４】
具体的には、上記実施形態に係る撮像装置１の画素補間部３１は、カラー画像生成時には、図７の補間用フィルタを用いて、撮像センサ１５における画素値に基づいて補間後の各色成分値を各成分チャンネル値として求め、高感度モノクロ画像生成時には、カラー画像生成時と同一の補間用フィルタを用いて、加算後の新たな画素値に基づいて補間後の各擬似色成分値を各成分チャンネル値として求める。そして、マトリクス演算部３５は、カラー画像生成時には、補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈと色変換マトリクスＭＸ１とに基づいて色信号Ｙ，Ｃｒ，Ｃｂを生成し、高感度モノクロ画像生成時には、補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈと色変換マトリクスＭＸ２とに基づいて輝度信号Ｙ等を生成する。
【０１３５】
すなわち、高感度のモノクロ画像生成時において、カラー画像生成時と同一の補間用フィルタを用いて画素補間が行われ、且つ、カラー画像生成時とは異なる変換係数を有する色変換マトリクスを用いて色変換処理（輝度信号生成処理）が行われる。
【０１３６】
このように、画素加算によって感度が向上した新たな画素値に対して、カラー画像生成に用いられる画素補間部３１およびマトリクス演算部３５を用いて、高感度モノクロ画像への変換処理を行うことができるので、簡易な構成で高感度のモノクロ画像を得ることができる。言い換えれば、カラー画像生成用に既に存在している画素補間部３１およびマトリクス演算部３５を巧みに活用して、高感度のモノクロ画像を生成することが可能になる。
【０１３７】
特に、上記の画素補間部３１は、水平方向および垂直方向の両方向における２次元フィルタリング処理を伴う画像補間処理を行うことによって、画素加算部２０による加算処理後の新たな画素に対する各成分チャンネル値を求めている。そして、これにより、画素加算において加算されなかった成分をも含む３つの全ての色成分Ｒ，Ｇ，Ｂを、各画素における複数の成分チャンネル値のいずれかにおいて出力することができる。このように、高感度モノクロ画像生成時における画像補間処理は、上記のカラー画像生成時の画像補間処理とは異なる作用を有している。そして、このような各成分チャンネル値に対してマトリクス演算部３５による色変換処理を行うことによって、特定の色成分への偏りが無い又は偏りが少ない輝度信号を生成することが可能になる。
【０１３８】
具体的には、図１３の右側に示すように、画素補間部３１による画素補間後の偶数行の水平画素列において、レッド成分チャンネル値Ｒｃｈ（＝「Ｇ＋Ｒ」）には、「Ｒ」と「Ｇ」との両色成分が含まれており、ブルー成分チャンネル値Ｂｃｈ（＝「Ｇ＋Ｂ」）には、「Ｂ」と「Ｇ」との両色成分が含まれている。画素補間前の偶数行の水平画素列（「Ｇ＋Ｂ」）には「Ｒ」成分は含まれていなかったのに対して、画素補間後の偶数行の水平画素列においては、この「Ｒ」成分がレッド成分チャンネル値Ｒｃｈに含まれている。
【０１３９】
そして、マトリクス演算部３５において、２つ（２種類）の成分チャンネル値Ｒｃｈ，Ｂｃｈを加算して平均化することによって、輝度信号Ｙを求めている。したがって、マトリクス演算部３５の色変換処理によって、３つの全ての色成分「Ｒ」，「Ｇ」，「Ｂ」が混合された輝度信号Ｙを得ることが可能である。
【０１４０】
同様に、奇数行の水平画素列においても、同様である。すなわち、奇数行の水平画素列において、レッド成分チャンネル値Ｒｃｈには、「Ｒ」と「Ｇ」との両色成分が含まれており、ブルー成分チャンネル値Ｂｃｈには、「Ｂ」と「Ｇ」との両色成分が含まれている。画素補間前の奇数行の水平画素列には「Ｂ」成分は含まれていなかったのに対して、画素補間後の奇数行の水平画素列においては、この「Ｂ」成分がブルー成分チャンネル値Ｂｃｈに含まれている。
【０１４１】
そして、奇数行の水平画素列についても、マトリクス演算部３５の色変換処理によって、３つの全ての色成分「Ｒ」，「Ｇ」，「Ｂ」が混合された輝度信号Ｙを得ることが可能である。
【０１４２】
この結果、マトリクス演算部３５による色変換処理によって、偶数行および奇数行のいずれにおいても、３つの色成分「Ｒ」，「Ｇ」，「Ｂ」が混合された輝度信号Ｙを得ることが可能である。
【０１４３】
具体的には、この実施形態においては、図１４に示すように、マトリクス演算部３５による変換の結果、偶数行および奇数行のいずれにおいても、輝度信号Ｙは「Ｇ＋Ｒ／２＋Ｂ／２」として求められる。すなわち、輝度信号Ｙにおいては、偶数行と奇数行とで、色成分Ｒ，Ｇ，Ｂの混合比率（Ｋｒ：Ｋｇ：Ｋｂ）が同一（１：２：１）である。
【０１４４】
そのため、被写体の色が特定の色成分に偏っている場合であっても、縞模様の発生を回避して、綺麗な高感度モノクロ画像を得ることが可能である。すなわち、垂直方向の平滑化を図るためのローパスフィルタ（ＬＰＦ）３９を設けることなく、綺麗な高感度画像を得ることが可能である。
【０１４５】
特に、図１４に示すように、マトリクス演算部３５による変換の結果、輝度信号Ｙにおける各色成分の混合割合は、いずれの画素においても、「Ｇ＋Ｒ／２＋Ｂ／２」となる。すなわち、各色成分の混合割合が各画素間で同一となる。したがって、当該混合割合が異なる場合に起こり得る模様（あるいはざらつき感）等の発生を回避して、綺麗な高感度モノクロ画像を得ることが可能になる。
【０１４６】
また、この実施形態においては、図１３に示すように、高感度モノクロ画像生成時には、２つの成分チャンネル値Ｒｃｈ（＝Ｇ＋Ｒ），Ｂｃｈ（＝Ｇ＋Ｂ）の和成分（＝（Ｇ＋Ｒ）＋（Ｇ＋Ｂ））における３つの色成分「Ｒ」，「Ｇ」，「Ｂ」の混合割合が、偶数行の水平画素列の画素と奇数行の水平画素列の対応画素との間で同一の割合（１：２：１）となるように、画素補間部３１による画素補間が行われている。したがって、偶数行と奇数行とで色変換マトリクスの係数を変更することなく色変換処理を行うことによって、同一割合の混合比率を有する輝度信号を容易に生成することが可能である。
【０１４７】
特に、この実施形態においては、２つの成分チャンネル値Ｒｃｈ，Ｂｃｈの和成分における３つの色成分「Ｒ」，「Ｇ」，「Ｂ」の混合割合が、所定の画素と任意の画素との間でも同一の割合（１：２：１）となるように、画素補間部３１による画素補間が行われている。したがって、全ての画素について同一変換係数の色変換マトリクスを用いた色変換処理を行うことによって、同一割合の混合比率を有する輝度信号を容易に生成することが可能である。
【０１４８】
＜輝度に応じたモード変更＞
つぎに、「感度切替可能モード」において、環境輝度が変化したときの撮像装置１の動作について説明する。ここでは、撮像装置１の環境輝度を表す指標値として、露出制御に用いるＡＰＥＸ値のうちのＢＶ値を用いるものとする。このＢＶ値は、撮像センサ１５への入射光量を反映した値として算出される。また、この算出動作は、画像処理部３などによって行われる。
【０１４９】
撮像装置１は、この「感度切替可能モード」においては、まず、高輝度環境下では通常の感度でカラー撮像を行う「カラー画像生成処理」を実行する。そして、輝度の更なる減少に応じて、彩度を抑圧する「彩度抑圧画像生成処理」、「通常感度モノクロ画像生成処理」、および「高感度モノクロ画像生成処理」を順次に実行する。詳細には、輝度に応じて区分された４つの区間ＴＭ１〜ＴＭ４において、互いに異なるこれらの画像生成処理のそれぞれが行われる。なお、これらの区間は、ＢＶ値に関する３つの閾値ＴＨ１，ＴＨ２，ＴＨ３（ＴＨ１＞ＴＨ２＞ＴＨ３）によって区分される。
【０１５０】
図１８は、感度切替可能モードにおける動作を示す図である。図１８のグラフの横軸は、輝度を表すＢＶ値（ＡＰＥＸ値）を示しており、縦軸は、色変換に関する各種のパラメータ（係数）α，Ｋｒ，Ｋｇ，Ｋｂの値を示している。
【０１５１】
まず、輝度を表すＢＶ値が閾値ＴＨ１（ここでは、−０．２）よりも大きい場合（すなわち撮影環境が所定値よりも明るい場合）（区間ＴＭ１）には、通常感度のカラー画像が生成される。すなわち、区間ＴＭ１においては、通常感度の「カラー画像生成処理」が実行される。
【０１５２】
この区間ＴＭ１でのカラー画像生成処理は、図５，図８，図９などを用いて説明した通りである。区間ＴＭ１においては、マトリクス演算部３５における変換係数αは１であり、彩度は全く抑圧されない。
【０１５３】
つぎに、ＢＶ値が閾値ＴＨ１よりも小さく且つ閾値ＴＨ２（ここでは、−１．２）よりも大きい場合（区間ＴＭ２）には、彩度抑圧処理を行う。すなわち、区間ＴＭ２においては、「彩度抑圧画像生成処理」（後述）が実行される。詳細には、後述するように、マトリクス演算部３５における変換係数αが、輝度の減少に応じて、徐々に小さな値に設定される。
【０１５４】
そして、ＢＶ値が閾値ＴＨ２よりも小さくなると、変換係数αがゼロになり、モノクロ画像が生成される。すなわち、区間ＴＭ３および区間ＴＭ４においては、マトリクス演算部３５における変換係数αはゼロとなり、モノクロ画像が生成される。
【０１５５】
より具体的には、ＢＶ値が閾値ＴＨ２よりも小さく且つ閾値ＴＨ３（ここでは、−２．５）よりも大きい場合（区間ＴＭ３）においては、画素加算動作を伴わない通常感度によるモノクロ画像が生成される。すなわち、区間ＴＭ３においては、「通常感度モノクロ画像生成処理」（後述）が実行される。
【０１５６】
また、ＢＶ値が閾値ＴＨ３よりもさらに小さい場合（区間ＴＭ４）においては、画素加算動作を伴う高感度のモノクロ画像が生成される。すなわち、区間ＴＭ４においては、「高感度モノクロ画像生成処理」が実行される。この区間ＴＭ４での高感度モノクロ画像生成処理は、図６，図１３，図１４などを用いて説明した通りである。
【０１５７】
以上のように、区間ＴＭ１，ＴＭ２，ＴＭ３においては、図５に示すように、画素加算処理が施されることなく、マトリクス演算部３５の色変換マトリクスＭＸ１を用いた処理が行われる。これによって、各区間ＴＭ１，ＴＭ２，ＴＭ３において、それぞれ、通常感度の複数の画像（画像群）が連続的に取得される。
【０１５８】
ただし、このとき、マトリクス演算部３５における変換係数αは、区間に応じて変化する。具体的には、区間ＴＭ１では１であり、区間ＴＭ３ではゼロである。また、区間ＴＭ２では、変換係数αは、０≦α≦１を満たす値となり、具体的には、輝度の減少に応じて１からゼロへ向けて徐々に小さくなる。言い換えれば、区権ＴＭ２においては、輝度の減少に応じて彩度の抑圧程度が徐々に上昇する。そして、ＢＶ値が閾値ＴＨ２（区間ＴＭ３と区間ＴＭ２との境界値）となるときには、彩度が完全に抑制された状態（α＝０）となる。
【０１５９】
また、区間ＴＭ４においては、図６に示すように、画素加算処理が施された上で、マトリクス演算部３５の色変換マトリクスＭＸ２を用いた処理が行われる。これによって、複数の高感度モノクロ画像（高感度モノクロ画像群）が連続的に取得される。
【０１６０】
ここにおいて、図１８に示す処理において、輝度が経時的に変化（たとえば、低下（減少））していく場合を想定する。このとき、上記の４つの区間ＴＭ１，ＴＭ２，ＴＭ３，ＴＭ４にそれぞれ対応する４つの期間において、上述のような各時点の輝度に応じた画像処理が施される。
【０１６１】
そして、この経時的変化においては、次のような２つの状態遷移が存在する。
【０１６２】
１つは、区間ＴＭ１〜ＴＭ３にわたる状態遷移である。これによって、取得される画像は、カラー画像からモノクロ画像へと、その彩度の抑圧程度が徐々に上昇されつつ移行する。
【０１６３】
もう１つは、区間ＴＭ２〜ＴＭ４にわたる状態遷移である。これによって、取得される画像は、通常感度の画像から高感度の画像へと移行する。特に、ＢＶ値が閾値ＴＨ２以下の区間の状態遷移について考察すれば、取得される画像は、通常感度のモノクロ画像から高感度のモノクロ画像へと移行する。
【０１６４】
以下では、これら２つの状態遷移動作について詳述する。
【０１６５】
まず、区間ＴＭ１〜ＴＭ３にわたる状態遷移について説明する。図１８においては、カラー画像（彩度が抑圧されていない画像）が取得される区間ＴＭ１と、モノクロ画像が取得される区間ＴＭ３との間に、彩度抑圧処理を施した画像が取得される区間ＴＭ２が存在する。
【０１６６】
この区間ＴＭ２における彩度抑圧処理は、図５のマトリクス演算部３５における変換係数αの値を１よりも小さな値にすることによって行われる。
【０１６７】
具体的には、係数αはＢＶ値の減少に応じて徐々に小さくなる。ここでは、図１８に示すように、係数αはＢＶ値との間に線形関係を有するように変化する。そして、ＢＶ値が閾値ＴＨ１に等しいときに係数αが１となり且つＢＶ値が閾値ＴＨ２に等しいときに係数αが０となるように、閾値ＴＨ１，ＴＨ２の中間値ＢＶに対する係数αの値が定められる。区間ＴＭ２においては、このような係数αを有する色変換マトリクスＭＸ３（後述のマトリクスＭＸ３２と区別する場合にはＭＸ３１とも称する）を用いて色変換処理が行われる。なお、区間ＴＭ２における色変換マトリクスＭＸ３１の他の変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（Ｋｒ，Ｋｇ，Ｋｂ）は、色変換マトリクスＭＸ１と同じ値である。
【０１６８】
そして、ＢＶ値が閾値ＴＨ２よりも小さくなると、係数α＝０となりモノクロ画像生成処理に移行する。ただし、ＢＶ値が閾値ＴＨ３よりも大きい区間ＴＭ３においては、画素加算処理は未だ行われず通常感度のモノクロ画像が生成される。
【０１６９】
このように、カラー画像生成処理を行う区間ＴＭ１と、通常感度モノクロ画像生成処理を行う区間ＴＭ３との間の区間ＴＭ２において、環境輝度に応じて係数αを連続的に変更させて彩度の抑圧程度を徐々に変化させる彩度抑圧画像生成処理が行われる。したがって、カラー画像からモノクロ画像への移行がスムーズに行われ、画像が急激に変化することを回避できる。すなわち、移行時における違和感を減少させることができる。
【０１７０】
次に、区間ＴＭ２〜ＴＭ４にわたる状態遷移について説明する。図１８においては、通常感度の画像（彩度が抑圧されたカラー画像、およびモノクロ画像）が取得される区間ＴＭ２と、高感度のモノクロ画像が取得される区間ＴＭ４との間に、通常感度のモノクロ画像が取得される区間ＴＭ３が存在する。
【０１７１】
上述したように、マトリクス演算部３５における、輝度信号Ｙにおける各色成分の混合比率を表す係数Ｋｒ，Ｋｇ，Ｋｂは、区間ＴＭ１，ＴＭ２と、区間ＴＭ４との間で異なっている。すなわち、通常感度画像生成時（カラー画像生成時および彩度抑圧画像生成時等）と、高感度モノクロ画像生成時とでは、混合比率Ｋｒ，Ｋｇ，Ｋｂが異なっている。具体的には、区間ＴＭ１，ＴＭ２においては、混合比率Ｋｒ，Ｋｇ，Ｋｂは、それぞれ、０．３，０．５９，０．１１であるのに対して、区間ＴＭ３の終端（および区間ＴＭ４の開始点）においては、混合比率Ｋｒ，Ｋｇ，Ｋｂは、それぞれ、０．２５，０．５，０．２５である。
【０１７２】
仮に、区間ＴＭ３においても、区間ＴＭ１，ＴＭ２と同一の混合比率Ｋｒ，Ｋｇ，Ｋｂを実現するような変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを用いる場合を想定する。この場合、区間ＴＭ３での通常感度モノクロ画像生成処理から区間ＴＭ４での高感度モノクロ画像生成処理への切替時点において、切替前後に生成された両画像はともにモノクロ画像ではある。しかしながら、被写体の有彩色部分については、その有彩色部分における各色成分値の相違と混合比率Ｋｒ，Ｋｇ，Ｋｂの急激な変化とに伴って、これらの両モノクロ画像の切替時点において、急激な濃度変化が生じるために、不連続性が目立つことになる。たとえば、撮像装置１の操作者は、たとえば、動画像撮影時、あるいは、静止画撮影のためのプレビュー画像表示（ライブビュー表示）時において、モノクロ画像における不連続な濃度変化を感じることになる。
【０１７３】
これに対して、この実施形態においては、区間ＴＭ３でのモノクロ画像生成処理での変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃ（したがって混合比率Ｋｒ，Ｋｇ，Ｋｂ）を輝度に応じて変化させることによって、区間ＴＭ２から区間ＴＭ４への移行時における急激な変化を防止する。
【０１７４】
具体的には、この区間ＴＭ３においては、マトリクス演算部３５における輝度信号を求めるための変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを輝度の変化に応じて徐々に変化させる。
【０１７５】
より詳細には、図１８に示すように、ＢＶ値（環境輝度）の減少（変化）に応じて、各混合比率Ｋｒ，Ｋｇ，Ｋｂが、それぞれ、区間ＴＭ２の終点（閾値ＴＨ２）における値から区間ＴＭ４の始点（閾値ＴＨ３）における値へ向けて徐々に変化するように、色変換マトリクスＭＸ３２における各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃが徐々に変化する。ここで、区間ＴＭ２の終点における各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃの各値は、色変換マトリクスＭＸ１（あるいは色変換マトリクスＭＸ３１）を用いて生成される輝度信号Ｙでの色成分混合比率（Ｋｒ：Ｋｇ：Ｋｂ）＝（０．３：０．５９：０．１１）を実現する値であるとも表現できる。また、区間ＴＭ３の終点における各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃの各値は、色変換マトリクスＭＸ２を用いて生成される輝度信号Ｙでの色成分混合比率（Ｋｒ：Ｋｇ：Ｋｂ）＝（０．２５：０．５：０．２５）を実現する値であるとも表現できる。
【０１７６】
すなわち、区間ＴＭ３において、ＢＶ値（環境輝度）の減少に応じて、各変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（Ｋｒ，Ｋｇ，Ｋｂ）が（０．３：０．５９：０．１１）から（０．２５：０．５：０．２５）へ向けて徐々に変化する。
【０１７７】
たとえば、変換係数Ｋｒｃ（＝Ｋｒ）は、閾値ＴＨ１，ＴＨ２の間ではＢＶ値の変化に応じて次のような値となる。すなわち、変換係数Ｋｒｃは、ＢＶ値が閾値ＴＨ２に等しいときに０．３であり、その後、ＢＶ値の減少に応じて、しばらくその値を維持した後に徐々に減少する。そして、変換係数Ｋｒｃは、ＢＶ値が閾値ＴＨ３よりも少し大きな値であるとき（ここでは−２．３）に０．２５となり、その値を維持して、ＢＶ値が閾値ＴＨ３にほぼ等しいときにも０．２５となる。
【０１７８】
同様に、係数Ｋｇｃ（＝Ｋｇ）は、閾値ＴＨ１，ＴＨ２の間ではＢＶ値の変化に応じて、ＢＶ値が閾値ＴＨ２に等しいときに０．５９であり、その後、ＢＶ値の減少に応じて、しばらくその値を維持した後に徐々に減少する。そして、係数Ｋｇｃは、ＢＶ値が閾値ＴＨ３よりも少し大きな値（ここでは−２．３）であるときに０．５となり、その値を維持して、ＢＶ値が閾値ＴＨ３にほぼ等しいときにも０．５となる。
【０１７９】
また同様に、係数Ｋｂｃ（＝Ｋｂ）は、ＢＶ値が閾値ＴＨ２に等しいときに０．１１であり、その後、ＢＶ値の減少に応じて、しばらくその値を維持した後に徐々に減少する。そして、係数Ｋｂｃは、ＢＶ値が閾値ＴＨ３よりも少し大きな値であるときに０．２５となり、その値を維持して、ＢＶ値が閾値ＴＨ３にほぼ等しいときにも０．２５となる。
【０１８０】
区間ＴＭ３においては、このような係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを有する色変換マトリクスＭＸ３（ＭＸ３１と区別する場合にはＭＸ３２とも称する）を用いて色変換処理が行われる。なお、区間ＴＭ３における色変換マトリクスＭＸ３２の他の変換係数αは、色変換マトリクスＭＸ２と同じくゼロである。
【０１８１】
この結果、図１８に示すように、上記のように区間ＴＭ３において、ＢＶ値（環境輝度）の変化に応じて、色変換マトリクスＭＸ３２で生成された輝度信号中の各色成分の混合比率Ｋｒ，Ｋｇ，Ｋｂが、色変換マトリクスＭＸ１によって実現される値から色変換マトリクスＭＸ２によって実現される値へ向けて徐々に変化する。すなわち、各混合比率Ｋｒ，Ｋｇ，Ｋｂの連続性を担保しつつ、各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃの値が変更される。
【０１８２】
また、区間ＴＭ４においては、画素加算処理を開始するとともに、変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを（０．５，０，０．５）に切り替える。この切替後の区間ＴＭ４において色変換マトリクスＭＸ２を用いて生成される輝度信号Ｙでの色成分混合比率（Ｋｒ：Ｋｇ：Ｋｂ）は、図１８に示すように、（０．２５：０．５：０．２５）である。したがって、変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃは不連続的に変更されるが、輝度信号中の各色成分の混合比率（Ｋｒ：Ｋｇ：Ｋｂ）は図１８に示すように連続的に変更されることになる。
【０１８３】
したがって、通常感度画像から高感度画像へと徐々に移行させることができ、通常感度画像から高感度画像への移行時における不連続性を回避して、画像変化における違和感を緩和することができる。
【０１８４】
以上のように、撮像装置１は、カラー画像生成処理からモノクロ画像生成処理へと移行する場合には、区間ＴＭ２において係数αを連続的に変化させ、且つ、通常感度モノクロ画像生成処理から高感度モノクロ画像生成処理へと移行する場合には、区間ＴＭ３において変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを連続的に変化させる。
【０１８５】
このように、撮像装置１による上記の実施形態の撮像方法（撮像装置の制御方法）によれば、輝度の変化に応じて、区間ＴＭ１，ＴＭ２，ＴＭ３，ＴＭ４の各処理が順次に切り替えて行われるに際して、切替時の不連続変化の発生を回避することができる。
【０１８６】
また、ホワイトバランス制御における補正パラメータが複数の区間において異なる場合には、その補正パラメータを輝度に応じて変更することによって、切替時の補正パラメータを調整することが好ましい。たとえば、区間ＴＭ２から区間ＴＭ４への切替時には、両区間の中間の区間ＴＭ３において、区間ＴＭ２での値から区間ＴＭ４での値と徐々に変更されるように、ホワイトバランス制御用の補正パラメータを変更すればよい。これによれば、通常感度画像から高感度画像への切替時における不連続性をさらに高度に緩和することが可能である。
【０１８７】
＜その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１８８】
たとえば、上記実施形態においては、ＡＰＥＸ値のうちのＢＶ値を用いて環境輝度を測定する場合について説明したが、これに限定されず、撮像装置の表面に輝度センサを設け、その輝度センサによって環境輝度を測定するようにしてもよい。
【０１８９】
また、上記実施形態においては、輝度に応じて画像生成処理を変更する場合について例示したが、これに限定されない。たとえば、撮影者からの明示的なモード変更（詳細には、カラー画像を生成する撮影モードから高感度モノクロ画像を生成する撮影モードへのモード変更）を受け付けた後、徐々に変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを変更して、そのモード変更を行うようにしてもよい。
【０１９０】
さらに、上記実施形態においては、通常感度カラー画像生成処理から通常感度モノクロ画像生成処理を経て高感度モノクロ画像生成処理への移行が行われる場合について説明したが、これに限定されない。たとえば、区間ＴＭ３の通常感度モノクロ画像生成処理を経ることなく、区間ＴＭ２の彩度抑制処理から直ぐに区間ＴＭ４の高感度モノクロ画像生成処理へと移行するようにしてもよい。この場合には、区間ＴＭ２において、輝度の減少に応じて、係数αを減少させるとともに変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃをも（上記の区間ＴＭ３と同様に）変更するようにすればよい。これにより、彩度抑圧画像生成処理から高感度モノクロ画像生成処理への直接切替において、混合比率Ｋｒ，Ｋｇ，Ｋｂの不連続性による影響を緩和することができる。
【０１９１】
また、上記実施形態においては、撮像センサ１５としてＣＣＤ撮像センサを用いる場合を例示したが、これに限定されず、ＣＭＯＳ撮像センサを用いても良い。
【０１９２】
さらに、上記実施形態においては、図１１、図１２などを用いて垂直転送路ＨＬ中で垂直画素加算を行う場合を例示したが、これに限定されない。たとえば、加算対象となる画素列を垂直転送路ＶＬに送り出した後に水平転送路ＨＬで加算するようにしてもよい。より詳細には、まず、４つの水平画素列Ｌ１〜Ｌ４のうち、加算対象となる水平画素列Ｌ１，Ｌ３のみの蓄積電荷を同時に垂直転送路に送り出す。そして、４画素分の垂直転送を行って、水平転送路ＨＬで水平画素列Ｌ１，Ｌ３の２つの蓄積電荷を合計すればよい。
【０１９３】
【発明の効果】
以上のように、請求項１〜６に記載の発明によれば、第１の期間と第２の期間との間には、第３の色変換マトリックスにおける輝度信号生成用の各変換係数が、第１の色変換マトリクスを用いて生成される輝度信号での色成分混合比率を実現する値から、第２の色変換マトリクスを用いて生成される輝度信号での色成分混合比率を実現する値へ向けて、徐々に変化する期間が設けられているので、第１の画像群から第２の画像群へと徐々に移行させることができ、画像が不連続に切り替わることを回避できる。すなわち、移行時の違和感を緩和することができる。
【０１９４】
請求項７に記載の発明によれば、ステップｃ）では、第３の色変換マトリックスにおける輝度信号生成用の各変換係数が、第１の色変換マトリクスを用いて生成される輝度信号中の第１の色成分混合比率を実現する値から、第２の色変換マトリクスを用いて生成される輝度信号中の第２の色成分混合比率を実現する値へ向けて、徐々に変化する期間が設けられているので、第１の画像群から第２の画像群へと徐々に移行させることができ、不連続に切り替わることを回避できる。すなわち、移行時の不自然さを緩和することができる。
【０１９５】
特に、請求項２に記載の発明によれば、高感度画像への移行動作における不連続性を回避することができる。
【０１９６】
また、請求項３に記載の発明によれば、高感度モノクロ画像への移行時における不連続性を回避することができる。
【０１９７】
さらに、請求項４に記載の発明によれば、モノクロ画像から高感度モノクロ画像への移行時における不連続性を回避することができる。
【０１９８】
また、請求項５に記載の発明によれば、第１の期間と第２の期間との間には、第３の画像群の生成時における彩度の抑圧程度が徐々に上昇する期間が設けられるので、カラー画像からモノクロ画像への移行がスムーズに行われ、移行時における違和感を減少させることができる。
【０１９９】
さらに、請求項６に記載の発明によれば、第１の画像群から第２の画像群への移行が環境輝度に応じて、自動的に行われる。
【図面の簡単な説明】
【図１】この発明の実施形態に係る撮像装置１の正面図である。
【図２】撮像装置１の背面図である。
【図３】撮像装置１の上面図である。
【図４】撮像装置１の機能ブロックを示す図である。
【図５】カラー画像生成時の画像処理の概要を示す図である。
【図６】高感度モノクロ画像生成時の画像処理の概要を示す図である。
【図７】補間処理に用いられる補間フィルタを示す図である。
【図８】カラー画像生成時における補間処理の一例を示す図である。
【図９】カラー画像生成時における色変換処理の一例を示す図である。
【図１０】高感度モノクロ画像生成時の画素加算処理を示す図である。
【図１１】画素加算処理を示す図である。
【図１２】画素加算処理を示す図である。
【図１３】高感度モノクロ画像生成時における補間処理の一例を示す図である。
【図１４】高感度モノクロ画像生成時における色変換処理の一例を示す図である。
【図１５】参考例における機能ブロックを示す図である。
【図１６】参考例での高感度モノクロ画像生成時における補間処理の一例を示す図である。
【図１７】参考例での高感度モノクロ画像生成時における色変換処理の一例を示す図である。
【図１８】感度切替可能モードにおけるパラメータ等の変化を示す図である。
【符号の説明】
１ 撮像装置
１０ 撮像部
１０ａ 撮影レンズ
１５ 撮像センサ
２０ 画素加算部
３１ 画素補間部
３５ マトリクス演算部
Ｋｒ，Ｋｇ，Ｋｂ （色成分の）混合比率
Ｋｒｃ，Ｋｇｃ，Ｋｂｃ （輝度信号生成用の）変換係数
Ｒｃｈ，Ｇｃｈ，Ｂｃｈ 各成分チャンネル値
Ｌ１〜Ｌ８，ＬＣ１，ＬＣ２，ＬＬ１，ＬＬ２ 水平画素列
Ｐｉｊ，Ｑｉｊ 画素
ＴＭ１〜ＴＭ４ 区間[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus such as a digital camera and an imaging method.
[0002]
[Prior art]
Some imaging devices such as a digital camera switch acquired images and acquire high-sensitivity monochrome images when ambient environmental brightness decreases (see, for example, Patent Document 1 and Patent Document 2).
[0003]
Patent Document 1 is a technique involving attachment / detachment of an infrared cut filter, and Patent Document 2 is a technique involving a switching operation from a color image to a monochrome image.
[0004]
[Patent Document 1]
JP 2002-135788 A
[Patent Document 2]
JP-A-6-169461
[0005]
[Problems to be solved by the invention]
However, such an imaging apparatus has a problem that discontinuity occurs. For example, in the technique of Patent Document 1, it takes time to attach / detach the infrared cut filter, and the component characteristics of incident light greatly change before and after the attachment / detachment, so that the continuity of the acquired image is lost. In the technique of Patent Document 2, when switching from a color image to a monochrome image, there may be an impression that the acquired image changes abruptly.
[0006]
The same problem may occur not only when these switching operations are performed, but also when various switching operations are performed due to various other circumstances.
[0007]
In view of the above problems, an object of the present invention is to provide an imaging apparatus and an imaging method that can alleviate discontinuity when switching between image acquisition processes.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 is an imaging apparatus for continuously acquiring a plurality of images, and performs color conversion processing for performing color conversion processing based on an image sensor and an image signal from the image sensor. And the color conversion means generates a first image group by generating a luminance signal using the first color conversion matrix in the first period, and in the second period, A luminance signal is generated using a second color conversion matrix different from the first color conversion matrix, thereby generating a second image group, and between the first period and the second period. In this period, a third image group is generated by generating a luminance signal using a third color conversion matrix, and the third image group is between the first period and the second period. For luminance signal generation in color conversion matrix The conversion coefficient is a value that realizes the first color component mixing ratio in the luminance signal generated using the first color conversion matrix, and the second in the luminance signal generated using the second color conversion matrix. A period of gradual change is provided toward a value that realizes the color component mixing ratio of 2.
[0009]
According to a second aspect of the present invention, in the image pickup apparatus according to the first aspect of the present invention, the image pickup apparatus further comprises pixel addition means for adding pixel values of a plurality of pixels of the image pickup element to calculate a pixel value of a new pixel, The second image group is composed of high-sensitivity images obtained by adding image signals from the image sensor by the pixel adding means.
[0010]
According to a third aspect of the present invention, in the imaging apparatus according to the second aspect of the invention, the second image group is a monochrome image group.
[0011]
According to a fourth aspect of the present invention, in the imaging apparatus according to the third aspect of the present invention, the first image group is also a monochrome image group.
[0012]
According to a fifth aspect of the present invention, in the imaging apparatus according to the first aspect of the invention, the first image group is a color image group, the second image group is a monochrome image group, and the first image group is the first image group. Between the period and the second period, a period in which the degree of saturation suppression at the time of generating the third image group gradually changes is provided.
[0013]
According to a sixth aspect of the present invention, in the imaging apparatus according to any one of the first to fifth aspects, the apparatus further comprises a luminance acquisition unit that measures the environmental luminance in the imaging apparatus, and the environmental luminance decreases. The first image group, the third image group, and the second image group are generated in this order.
[0014]
The invention of claim 7 is an imaging method for continuously acquiring a plurality of images based on an image signal from an imaging element, and a) generating a luminance signal using a first color conversion matrix, Obtaining a first image group; b) obtaining a second image group by generating a luminance signal using a second color conversion matrix different from the first color conversion matrix; C) obtaining a third group of images by generating a luminance signal using a third color conversion matrix between the step a) and the step b). In c), each conversion coefficient for generating a luminance signal in the third color conversion matrix is a value that realizes the first color component mixing ratio in the luminance signal generated using the first color conversion matrix. Et al., The second period gradually changes toward the value to realize a color component mixing ratio in the second luminance signal generated using a color conversion matrix is provided.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0016]
<Outline of configuration>
1-3 is a figure which shows the principal part structure of the imaging device 1 which concerns on embodiment of this invention. 1 to 3 correspond to a front view, a rear view, and a top view of the imaging apparatus 1, respectively.
[0017]
The imaging device 1 is configured as a digital camera and includes an imaging unit 10 including a photographing lens 10a. The photographing lens 10a is a lens capable of adjusting the focus and adjusting the focal length (zoom magnification). The photographing lens 10a can also be expressed as having a focus lens and a zoom lens. A built-in flash 11 that emits light to the subject is provided on the front surface of the imaging apparatus 1.
[0018]
An LCD (Liquid Crystal Display) monitor 42, an electronic viewfinder 43, and an EVF changeover switch 19 are provided on the back surface of the imaging apparatus 1. The LCD monitor 42 and the electronic viewfinder 43 display captured images. The EVF changeover switch 19 is a slide-type changeover switch. With this EVF changeover switch 19, it is possible to set whether the captured image or the like is displayed on the LCD monitor 42 or the electronic viewfinder 43, or not on either of them.
[0019]
On the upper surface of the imaging apparatus 1, a release button 12, a monitor enlargement switch 13, a high-sensitivity photographing switch 14, a mode switch 16 and a power button 18 are provided.
[0020]
The power button 18 is a button for switching between an energized state (on state) and a non-energized state (off state) in the imaging apparatus 1.
[0021]
The release button 12 is a two-stage push-in switch that can distinguish and detect a half-pressed state (hereinafter also referred to as a state S1) and a fully-pressed state (hereinafter also referred to as a state S2). When the release button 12 is pressed down to the half-pressed state S1 by the operator (user), the imaging apparatus 1 determines that an instruction input for “start shooting preparation” has been received. In addition, when the release button 12 is pressed down to the fully-pressed state S2 by the operator, the imaging apparatus 1 determines that an instruction input of “shooting start” has been received.
[0022]
The monitor enlargement switch 13 is a switch for changing the enlargement ratio of the display image on the LCD monitor 42 and the electronic viewfinder 43. By pressing the switch 13, the captured image can be enlarged and displayed.
[0023]
The mode switch 16 is a lever type switch that switches between the reproduction mode and the shooting mode. By setting the lever of the mode switch 16 to the “REC” position, the image pickup apparatus 1 is set to the shooting mode, and by setting the lever of the mode switch 16 to the position “PLAY”, the image pickup apparatus 1 is set to the playback mode. Is done.
[0024]
The high-sensitivity shooting switch 14 is a switch for switching a shooting mode (more specifically, a sub mode in the shooting mode). Specifically, each time the high-sensitivity shooting switch 14 is pressed, a mode in which normal color imaging is always performed regardless of the brightness around the camera (normal mode) and the brightness around the camera (environmental brightness) A mode with sensitivity switching (sensitivity switchable mode) is alternately selected.
[0025]
“Sensitivity switchable mode” performs color imaging at normal sensitivity in high-brightness environments, and improves sensitivity by adding pixels in low-brightness environments (in environments where the brightness is smaller than a predetermined threshold). In this mode, a highly sensitive monochrome image (in this case, a monochrome image) is captured. According to this highly sensitive monochrome image, it is possible to obtain a subject image even in a very dark environment.
[0026]
Each image (including a high-sensitivity monochrome image) captured in the sensitivity switchable mode is displayed on the LCD monitor 42 or the like as a live view image in the same manner as each image captured in the normal mode. When is pressed, it is recorded in the memory card 9 as a recording image (still image or moving image).
[0027]
FIG. 4 is a diagram illustrating functional blocks of the imaging device 1. In FIG. 4, there are various functional blocks shown outside the imaging apparatus 1 for the sake of illustration, but these functional blocks are actually provided inside or on the imaging apparatus 1. Yes.
[0028]
The imaging device 1 includes an imaging sensor 15, a signal processing unit 2 connected to the imaging sensor 15 so as to be able to transmit data, an image processing unit 3 connected to the signal processing unit 2, and a camera control unit 40 connected to the image processing unit 3. And. The camera control unit 40 includes a pixel addition unit 20 that performs pixel addition processing. The pixel addition unit 20 performs pixel addition processing by controlling the readout operation of the image sensor 15 via the timing generator 44 or the like.
[0029]
The imaging sensor 15 is configured as a single-plate area sensor having a Bayer arrangement in which three primary color transmission filters (color filters) of R (red), G (green), and B (blue) are arranged in a checkered pattern. Yes. The image sensor 15 is a so-called CCD image sensor. In the image sensor 15, when the charge accumulation is completed, the photoelectrically converted signal is shifted to a light-shielded transfer path and read out, and an image signal related to the subject is output.
[0030]
In addition, an infrared cut filter FT is provided in the optical path between the imaging sensor 15 and the photographing lens 10a. The infrared cut filter FT removes excess infrared components from the incident light, so that accurate color reproduction can be performed in a color image.
[0031]
The signal processing unit 2 includes a CDS 21, an AGC 22, and an A / D conversion unit 23.
[0032]
In the normal color photographing mode, the image signal output from the image sensor 15 is sampled by the CDS 21 and noise is removed, and then sensitivity correction is performed by the AGC 22.
[0033]
The A / D converter 23 is composed of a 14-bit AD converter, and digitizes the analog signal normalized by the AGC 22. The digitally converted image signal is subjected to predetermined image processing by the image processing unit 3 to generate an image file.
[0034]
Further, when a high-sensitivity monochrome image is generated in the “sensitivity switchable mode”, the pixel value addition operation described below is performed under the control of the pixel addition unit 20 with respect to the image signal in the imaging sensor 15. Then, the pixel signal after addition is digitized through processing by the signal processing unit 2 and output to the image processing unit 3.
[0035]
The image processing unit 3 includes a CPU and a memory, and includes a digital processing unit 30, an image compression unit 37, a video encoder 36, and a memory card driver 38.
[0036]
The digital processing unit 30 includes a pixel interpolation unit 31, a resolution conversion unit 32, a white balance control unit 33, a gamma correction unit 34, and a matrix calculation unit 35.
[0037]
The image data input to the image processing unit 3 is written into the image memory 41 in synchronization with the reading of the image sensor 15. Thereafter, the image data stored in the image memory 41 is accessed, and various processes are performed in the digital processing unit 30.
[0038]
In the image data in the image memory 41, the white balance (WB) control unit 33 independently performs gain correction on each of the R, G, and B pixels (white balance correction). In this white balance correction, a portion that is originally white from a photographic subject is estimated from luminance, saturation data, and the like, and an average value of each of R, G, and B, and a G / R, G / B ratio are obtained. Based on these pieces of information, the R and B correction gains are controlled.
[0039]
The pixel interpolation unit 31 performs pixel interpolation processing on the image data that has been subjected to white balance correction, and obtains each component channel value of the pixel at each position of the imaging sensor 15 by interpolation based on the pixel values of the surrounding pixels.
[0040]
When generating a color image, the pixel interpolation unit 31 converts each color component value R, G, B after interpolation based on the pixel value in the image sensor 15 to each component channel value (specifically, the R channel value Rch, G channel value). 3 values of Gch and B channel values Bch). Further, as described later, the pixel interpolation unit 31 generates each color component value after interpolation (based on the new pixel value after the pixel addition processing by the pixel addition unit 20 is performed, when generating a highly sensitive monochrome image. Strictly speaking, since it is not a value representing each of the R, G, and B color components, it is also obtained as each component channel value. The pixel interpolation unit 31 performs an interpolation process using the same interpolation filter corresponding to the pixel position in both the former color image generation and the latter monochrome image generation.
[0041]
The interpolated image data is subjected to non-linear conversion suitable for each output device by the gamma correction unit 34 and converted to 8-bit data.
[0042]
The matrix calculation unit 35 has a function of performing color conversion based on each component channel value after pixel interpolation. At the time of color image generation, the matrix calculator 35 generates color signals (color component values) Ych, Ych for each pixel based on the color conversion matrix MX1 and the component channel values Rch, Gch, Bch of each pixel after pixel interpolation. Crch and Cbch are generated. At the time of color image generation, the converted color signal Ych corresponds to a luminance signal, and the converted color signals Crch and Cbch correspond to color difference signals. In addition, the matrix calculation unit 35 generates a color signal (pseudo color component value) Ych including a luminance signal Ych based on the interpolated component channel values Rch, Gch, Bch and the color conversion matrix MX2 when generating a high-sensitivity monochrome image. , Crch, Cbch. However, when generating a high-sensitivity monochrome image, the color signals Crch and Cbch are both zero.
[0043]
Hereinafter, the color signals Ych, Crch, and Cbch are also simply expressed as Y, Cr, and Cb.
[0044]
Thereafter, with respect to the image for recording, each pixel value after color conversion output from the matrix calculation unit 35 is reduced or thinned in the horizontal / vertical direction to the number of pixels set by the resolution conversion unit 32. The image compression unit 37 performs compression processing. The obtained recording image is recorded on the memory card 9 via the memory card driver 38.
[0045]
In addition, the resolution conversion unit 32 performs pixel thinning on the preview (live view) image to create a low-resolution image to be displayed on the LCD monitor 42 or the electronic viewfinder 43. At the time of preview, a low resolution image of 640 × 240 pixels read from the image memory 41 is encoded into an NTSC (or PAL) signal by the video encoder 36, and this low resolution image is displayed on the LCD monitor 42 or the electronic viewfinder 43. Is displayed.
[0046]
The camera control unit 40 includes a CPU and a memory, and functions as a general control unit in the imaging apparatus 1.
[0047]
Specifically, the camera control unit 40 processes an operation input performed by the photographer on the camera operation switch 49 including the release button 12 and the high-sensitivity shooting switch 14 described above.
[0048]
The camera control unit 40 controls the aperture value of the camera by opening and closing the shutter 45 via the aperture driver 46.
[0049]
Further, the camera control unit 40 drives the focus control motor MT1 via the focus motor driver 47 to position the photographic lens (more specifically, the focus control lens of the photographic lens) (hereinafter simply referred to as “photographing”). The lens position "is also controlled. Thereby, control of the focusing state of the photographing lens 10a (that is, focus control) is performed.
[0050]
In addition, the camera control unit 40 drives the zoom control motor MT2 via the zoom motor driver 48 to change the arrangement of a plurality of lenses constituting the photographing lens 10a. As a result, the focal length f of the photographic lens 10a is changed, and the zoom magnification is controlled.
[0051]
In the shooting standby state, the camera control unit 40 displays a preview image (live view image) captured every 1/30 (second) on the LCD monitor 42 or the like. When the normal mode is selected, in principle, a color image is displayed as a live view image. When the sensitivity switchable mode is selected, a color image is displayed at high luminance, and a high sensitivity monochrome image is displayed as a live view image at low luminance.
[0052]
The operator can perform a framing operation or the like while viewing the live view image. Thereafter, in response to the pressing operation of the release button 12, a main image (recording still image) is captured. Immediately after the main image capturing, the still image obtained by the main imaging is displayed on the LCD monitor 42 as a confirmation image (after-view image). ) Is displayed for a certain period of time. Thereafter, the actual captured image is transferred and recorded in the memory card 9 as a recorded image.
[0053]
The imaging apparatus 1 can also capture a moving image. The operator can switch between shooting a moving image and shooting a still image by performing a selection operation using the cursor button 17 or the like while viewing a predetermined menu screen displayed on the LCD monitor 42.
[0054]
In the imaging apparatus 1, not only when capturing a still image, but also when capturing a moving image, the setting content related to the “sensitivity switchable mode” is reflected. Therefore, the imaging device 1 can perform image generation processing according to the luminance even during moving image shooting. In this case, a continuous image composed of a plurality of high-sensitivity monochrome images is recorded as a moving image on the memory card 9 by the memory card driver 38 or the like.
[0055]
<Overview of image processing>
Next, an overview of image processing when the “sensitivity switchable mode” is employed in the imaging apparatus 1 will be described with reference to FIGS. 5 and 6. In this “sensitivity switchable mode”, an operation of acquiring a color image with normal sensitivity is performed in a relatively high brightness environment. On the other hand, under a relatively low brightness environment, an operation is performed in which sensitivity is improved by adding neighboring pixels to obtain a highly sensitive monochrome (in this case, monochrome) image.
[0056]
FIG. 5 is a diagram showing an overview of image processing when generating a color image, and FIG. 6 is a diagram showing an overview of image processing when generating a high-sensitivity monochrome image. In FIGS. 5 and 6, for simplification of description, A / D conversion processing, white balance control, gamma correction processing, and the like are omitted.
[0057]
As shown in FIG. 5, when generating a color image, an image signal output from the image sensor 15 is output as a luminance signal Y and color difference signals Cr and Cb via a pixel interpolation unit 31 and a matrix calculation unit 35. The
[0058]
Also, as shown in FIG. 6, when generating a high-sensitivity monochrome image, the image signal of the image sensor 15 is added in the horizontal direction by the pixel adder 20 and synthesized as a new pixel value of a new pixel. Output from the sensor 15. An image signal from the image sensor 15 is converted into a luminance signal Y and color difference signals Cr and Cb via a pixel interpolation unit 31 and a matrix calculation unit 35. Since the image to be output is a monochrome image, the color difference signals Cr and Cb are both zero.
[0059]
Hereinafter, image processing at the time of color image generation and image processing at the time of high-sensitivity monochrome image generation will be described.
[0060]
<Image processing during color image generation>
First, image processing at the time of color image generation (color image generation processing) will be described. This color image generation processing is performed in a mode in which only normal color imaging is performed (“normal mode”) and also in a high-luminance environment in the “sensitivity switchable mode”.
[0061]
FIG. 7 is a diagram showing an interpolation filter used for interpolation processing when generating a color image, and shows a plurality of interpolation filters corresponding to each pixel position. FIG. 8 is a diagram illustrating an example of an interpolation result using the interpolation filter of FIG.
[0062]
On the left side of FIG. 8, each pixel of the Bayer array in the image sensor 15 is shown. In the uppermost row, pixels covered with a green (G) color filter and pixels covered with a red (R) color filter are alternately arranged in the horizontal direction. In the next row, pixels covered with a blue (B) color filter and pixels covered with a green (G) color filter are alternately arranged in the horizontal direction. The pixel column in the image sensor 15 is configured by repeatedly arranging one set (two rows) of horizontal pixel columns as described above in the vertical direction.
[0063]
However, it is not possible to obtain color components other than the specific component at each pixel position as it is. For example, a component channel value other than the green component cannot be obtained at the position of the green color filter. Therefore, the red component and the blue component of the pixel at the position of the green color filter are obtained by interpolation processing using the pixel value (gradation value) of the neighboring pixel (peripheral pixel). The same applies to other component channel values. On the right side of FIG. 8, the component channel values Rch, Gch, and Bch after pixel interpolation are shown for each of the eight pixels P22 to P25 and P32 to P35 among the plurality of pixels.
[0064]
For example, in the pixel array on the left side of FIG. 8, for the pixel P22 at the second position from the left in the second row, since only the green component can be determined as it is, the red component and the blue component are obtained by interpolation. Specifically, using the red channel filter of FIG. 7A, the red component channel value Rch of the pixel P22 is an average value (R / 2 + R) of the gradation value of the pixel P12 and the gradation value of the pixel P32. / 2 = R). Similarly, using the blue channel filter of FIG. 7A, the blue component channel value Bch of the pixel P22 is the average value (B / 2 + B / 2) of the gradation value of the pixel P21 and the gradation value of the pixel P23. = B). Further, the green component channel value Gch of the pixel P22 is obtained as the gradation value itself of the pixel P22.
[0065]
Similarly, the respective component channel values Rch, Gch, and Bch of the pixel P23 are obtained using the respective component channel filters shown in FIG. Further, the respective component channel values Rch, Gch, Bch of the pixel P32 are obtained using the respective component channel filters shown in FIG. 7C, and the respective component channel values Rch, Gch, Bch of the pixel P33 are shown in FIG. It is calculated | required using each component channel filter.
[0066]
In the image sensor 15, pixel arrays similar to these pixel arrays (P22, P23, P32, P33) are repeatedly arranged in the horizontal direction and the vertical direction. Therefore, the interpolation process of each pixel can be performed by applying the same filter according to the position of each pixel.
[0067]
FIG. 9 is a diagram illustrating color conversion processing for pixels after pixel interpolation. Here, eight pixels P22 to P25 and P32 to P35 are illustrated. The left side of FIG. 9 corresponds to the state on the right side of FIG. 8 and shows the pixel value of each pixel after pixel interpolation and before color conversion processing. The right side of FIG. 9 shows the pixel value of each pixel after color conversion processing. The pixel value of each pixel is shown for each component channel value Rch, Gch, Bch.
[0068]
The matrix calculation unit 35 uses the color conversion matrix MX1 to perform color conversion processing by a predetermined conversion formula on each of the pixels P22, P23, P32, P33, and the like. Thereby, each component channel value (Rch, Gch, Bch) is converted into another color space representation (Y, Cr, Cb).
[0069]
The luminance signal Y is calculated by a conversion formula of Y = (Krc × Rch + Kgc × Gch + Kbc × Bch). Here, the conversion coefficients Krc, Kgc, and Kbc are coefficients (coefficients for generating a luminance signal) for the component channel values Rch, Gch, and Bch, respectively. Further, the respective conversion coefficients Krc, Kgc, Kbc are mixed ratios Kr, Kg, Kb (where Kr + Kg + Kb =) of the R, G, B color components in the luminance signal in the sections TM1 to TM3 other than the section TM4 described later. It becomes the same value as 1). Here, in the sections TM1 and TM2, values of (0.30, 0.59, 0.11) are used as conversion coefficients (Krc, Kgc, Kbc) = (Kr, Kg, Kb).
[0070]
The color difference signal Cr is calculated based on the conversion formula Cr = α × (Rch−Y), and the color difference signal Cb is calculated based on the conversion formula Cb = α × (Bch−Y). Here, the coefficient α is α = 1 when the color image is generated. As will be described later, when this coefficient α is set to zero, a monochrome image can be generated. By setting the coefficient α to an arbitrary value satisfying 0 <α <1, the saturation is suppressed. An image can be generated.
[0071]
As described above, a color image is generated.
[0072]
In addition to the above-described modes, various modes can be used for the interpolation processing when generating a color image. For example, at the position of the green color filter, an average value using not only the green component value at the position but also four adjacent pixels in the diagonal direction may be obtained as the green component channel value.
[0073]
<Image processing when generating high-sensitivity monochrome images>
Next, image processing (high-sensitivity monochrome image generation processing) when generating a high-sensitivity monochrome image will be described. In the present embodiment, as described later, this high-sensitivity black image generation process is executed when the BV value representing the luminance (environmental luminance) is smaller than the predetermined threshold value TH3 in the “sensitivity switchable mode”. . By obtaining this high-sensitivity monochrome image, a subject image can be obtained even in a very dark environment.
[0074]
In this high-sensitivity monochrome image generation processing, pixel addition processing is performed on pixels in the Bayer array. As a result, an image with higher sensitivity than the normal sensitivity color image can be generated. This pixel addition processing is performed before the above-described pixel interpolation processing and before A / D conversion. That is, each pixel signal is performed in an analog signal state. According to this, it is possible to prevent a signal smaller than the quantization unit during A / D conversion from being lost due to digitization, and to obtain a pixel value with higher sensitivity.
[0075]
Here, not all the pixels of the image sensor 15 are used, but an image with a reduced number of pixels is generated using some of the pixels after thinning.
[0076]
Specifically, the pixel adder 20 obtains pixel values of pixels at pixel positions at predetermined intervals in the horizontal direction and the vertical direction by adding pixel values of peripheral pixels of each pixel. Thereby, it is possible to improve the sensitivity by improving the S / N ratio under low luminance. Further, by not obtaining pixel values of pixels other than the pixel positions at predetermined intervals in the horizontal direction and the vertical direction, it is possible to simultaneously perform a thinning process for reducing the number of pixels.
[0077]
FIG. 10 is a diagram showing this pixel addition processing. FIG. 10A shows each pixel of the Bayer array in the image sensor 15, and FIG. 10C shows a state after the pixel addition process. FIG. 10B is a diagram illustrating a state in an intermediate stage of the pixel addition process.
[0078]
Here, a case will be described in which both addition processing in the vertical direction of the pixel array and addition processing in the horizontal direction are performed.
[0079]
First, the pixel addition unit 20 performs vertical addition processing (vertical addition processing) on the pixel columns in the image sensor 15. As a result, the state shown in FIG. 10A is shifted to the state shown in FIG. In this image sensor 15, the addition of the (i × 8 + 1) th horizontal pixel column and the (i × 8 + 3) th horizontal pixel column and the (i × 8 + 6) th horizontal pixel column and the (i Addition to the horizontal pixel column of (× 8 + 8) rows is performed (where i is an integer equal to or greater than zero).
[0080]
This vertical addition process is realized, for example, by an addition process in the vertical transfer path.
[0081]
Specifically, as shown in FIG. 11, first, each accumulated charge (G, R, G, R, and R) indicating the pixel signal (pixel value) of each pixel of the horizontal pixel column L3 of the third row of the image sensor 15 is displayed. ... Are sent to the adjacent vertical transfer paths VL. Further, the accumulated charges (B, G, B, G,...) Indicating the pixel signals of the respective pixels of the horizontal pixel column L8 in the eighth row of the image sensor 15 are sent out to the adjacent vertical transfer paths VL. . Next, the pixel addition unit 20 moves each accumulated charge in each vertical transfer path VL by two pixels upward in the drawing. At this time, as shown in FIG. 12, the accumulated charges (G, R, G, R,...) Of the horizontal pixel column L3 in each vertical transfer path VL are stored in the horizontal pixel column L1 of the first row. Located right next to the accumulated charge. In this state, the accumulated charges (G, R, G, R,...) Of the horizontal pixel row L1 are further sent out to the vertical transfer paths VL. As a result, the accumulated charges in the horizontal pixel column L1 and the accumulated charges in the horizontal pixel column L3 are added for each column.
[0082]
FIG. 10B shows a state after the vertical addition process. The signals in the uppermost row (first row) and the leftmost column (first column) in FIG. 10B are the pixel values (G) in the first row and first column in FIG. The sum (2G) is the sum of the column pixel values (G). Further, the signal in the first row and the second column in FIG. 10B is the pixel value (R) in the first row and the second column in FIG. 10A and the pixel value (R) in the third row and the second column. Is the total value (2R). The same applies to the third and subsequent columns. As a result, the pixel values of the pixels in the pixel column LL1 in the first row after addition are 2G, 2R, 2G, 2R,. . . As described above, the pixel value of each pixel in the pixel column L1 in the first row before the addition and the pixel value of the corresponding pixel in the pixel column L3 in the third row are added.
[0083]
Further, as shown in FIG. 12, the accumulated charges (B, G, B, G,...) Of the horizontal pixel column L8 in each vertical transfer path VL are changed to the sixth by the movement of the two pixels. It is located directly beside each accumulated charge in the horizontal pixel column L6 of the row. In this state, the accumulated charges (B, G, B, G,...) Of the horizontal pixel row L6 are further sent out to the vertical transfer paths VL. As a result, the accumulated charges in the horizontal pixel column L6 and the accumulated charges in the horizontal pixel column L8 are added for each column.
[0084]
By this vertical addition processing, a signal of the horizontal pixel column LL2 in the second row in FIG. 10B is obtained. Each pixel of the horizontal pixel column LL2 in the second row after the addition is 2B, 2G, 2B, 2G,. . . As described above, the pixel value of each pixel in the horizontal pixel column L6 in the sixth row and the pixel value of the corresponding pixel in the horizontal pixel column L8 in the eighth row are added.
[0085]
Although not described in detail here, similarly, vertical addition processing is similarly performed on horizontal pixel columns in the ninth and subsequent rows.
[0086]
Next, the pixel addition unit 20 performs horizontal addition processing (horizontal addition operation). As a result, the state shown in FIG. 10B is shifted to the state shown in FIG.
[0087]
The pixel addition unit 20 adds the adjacent signals for every four pixels in the first horizontal pixel column LL1 in FIG. 10B, and creates a new pixel column LC1 in the first row in FIG. Is generated. FIG. 10C shows a state after the horizontal addition process.
[0088]
Specifically, in FIG. 12, the pixel addition unit 20 moves each accumulated charge in each vertical transfer path VL by one pixel in the upward direction in the drawing, so that the pixel value of each pixel in the horizontal pixel column LL1 is horizontal. Send out to transfer path HL.
[0089]
Next, horizontal transfer is performed toward the left side of the figure, and the pixel values of every four pixels in the horizontal direction are added together. Specifically, the pixel value in the horizontal pixel row LL1 is accumulated every four pixels in the capacitor CN in the floating diffusion amplifier AP connected to the horizontal transfer path HL. Specifically, the total value of four pixels can be obtained by resetting the capacitor every horizontal transfer operation of four pixels, instead of resetting the capacitor every horizontal transfer operation of one pixel.
[0090]
As a result, the signals in the uppermost row (first row) and the leftmost column (first column) in FIG. 10C are the first and first pixel values (2G) in the first row and first column in FIG. The sum (4G + 4R) is the sum of the pixel value (2R) in the second row and second column, the pixel value (2G) in the first row and third column, and the pixel value (2R) in the first row and fourth column. Thus, the pixel value of each pixel after addition in FIG. 10C is about four times larger than the pixel in FIG. 10B, and about eight times larger than the pixel in FIG. Will have a size. Thereby, sufficient sensitivity can be obtained even under low luminance.
[0091]
Similarly, the pixel addition unit 20 adds the signals of the pixels from the fifth column to the eighth column in the first horizontal pixel column LL1 in FIG. 10B, and adds the first signal in FIG. The pixel value of the new pixel in the row and second column is used. Furthermore, in the horizontal pixel column LL1 of the first row in FIG. 10B, the signals of the pixels from the ninth column to the twelfth column are added together, and a new first row and third column in FIG. The pixel value of the pixel. Thereafter, the same operation is repeated.
[0092]
As described above, the pixel column of the first row in FIG. 10C is generated.
[0093]
Next, the pixel addition unit 20 adds the adjacent signals for every four pixels in the second horizontal pixel column LL2 in FIG. 10B, and creates a new pixel in the second row in FIG. Generate column LC2.
[0094]
Specifically, in FIG. 12, the pixel addition unit 20 further shifts each accumulated charge in each vertical transfer path VL by one pixel in the upward direction of the drawing from the above state to 5 pixels in the upward direction of the drawing. It is moved by an amount and sent to the horizontal transfer path HL. Thereafter, horizontal transfer to the left side of the figure is performed to add up the pixel values of every four pixels in the horizontal direction.
[0095]
As a result, the signal in the second row and the first column in FIG. 10C is the pixel value (2B) in the second row and the first column in FIG. 10B and the pixel value (2G) in the second row and the second column. And the pixel value (2B) of the second row and third column and the pixel value (2G) of the second row and fourth column are the sum (4G + 4B). Similarly, the signal in the second row and the second column in FIG. 10C is the sum of the pixel values of the four pixels from the fifth column to the eighth column in the second row in FIG. 10B (4G + 4B). ) The same applies to the remaining pixel columns in the second row.
[0096]
By this horizontal addition process, the pixel column in the second row also shifts from the state of FIG. 10B to the state of FIG. Thus, the pixel value of each pixel after addition in FIG. 10C is about four times larger than the pixel in FIG. 10B, and about eight times larger than the pixel in FIG. Thus, sufficient sensitivity can be obtained even under low luminance.
[0097]
Furthermore, the pixel addition unit 20 generates horizontal pixel columns from the third row in FIG. 10C by repeatedly executing the same readout operation and pixel addition operation.
[0098]
As described above, the pixel addition unit 20 adds only two color components and calculates a new pixel value when generating a high-sensitivity monochrome image, thereby obtaining a predetermined direction including only two color components of different combinations. Two types of horizontal pixel columns are generated alternately. Specifically, an odd-numbered horizontal pixel column including only the G component (green component) and the R component (red component), and an even-numbered row including only the G component (green component) and the B component (blue component). A horizontal pixel column is generated.
[0099]
Further, the pixel addition unit 20 adds the pixel values in the horizontal direction of the image sensor 15 by n pixels (where n is a natural number of 2 or more, n = 4 in the above example) and the pixels in the vertical direction. Thinning-out processing is performed to thin out the number to 1 / n. As a result, the pixel value of the new pixel after addition is obtained so that the number of pixels in the horizontal direction and the number of pixels in the vertical direction are both 1 / n. In this case, since the aspect ratio of the image composed of new pixels after addition is not changed before and after addition, it is not necessary to perform further processing for matching the aspect ratio before and after addition.
[0100]
As described above, the pixel addition process is executed. Thereafter, A / D conversion is performed to convert the pixel value of each pixel into a digital value. A pixel interpolation process is then performed on the digitized pixel values.
[0101]
Next, the pixel interpolation process will be described. In this embodiment, even when a high-sensitivity monochrome image is generated, pixel interpolation processing by the pixel interpolation unit 31 is performed using the same interpolation filter (see FIG. 7) as that for color image generation.
[0102]
FIG. 13 is a diagram illustrating an example of an interpolation result using the interpolation filter of FIG. FIG. 13 is a diagram illustrating a pixel interpolation result at the time of high-sensitivity monochrome image generation processing, and corresponds to FIG. 8 illustrating a pixel interpolation result at the time of color image generation processing.
[0103]
The left side of FIG. 13 shows each pixel after the sensitivity is increased by the pixel addition process of FIG. 10 (that is, each pixel of FIG. 10C). However, in FIG. 13, the pixel value of the pixel is expressed mainly for the purpose of indicating a mixing ratio (also referred to as a mixing ratio) of each color component, and before each color component in “4G + 4R” in FIG. The coefficients of are omitted. For example, “G + R” indicates that the green component (G) and the red component (R) are mixed at a ratio (ratio) of 1: 1. In order to match the level of this “G + R” with the description in FIG. 8, the sum (R + G) of the components is multiplied (multiplied) by a coefficient 4 and then divided by 8 for normalization. It can be expressed by (divided) value.
[0104]
The pixel interpolation processing similar to the above is performed on each pixel as shown on the left side of FIG. 13 using the same interpolation filter as in FIG. 7, and the component channel values Rch, Gch, and Bch are calculated.
[0105]
For example, consider the pixel Q22 at the second position from the left in the second column in the pixel array on the left side of FIG.
[0106]
The red component channel value Rch of the pixel Q22 is obtained using the red channel filter shown in FIG. Specifically, the red component channel value Rch of the pixel Q22 is obtained as an average value ((G + R) / 2 + (G + R) / 2 = G + R) of the gradation value of the pixel Q12 and the gradation value of the pixel Q32. Similarly, the blue component channel value Bch of the pixel Q22 is an average value ((G + B) / 2 +) of the gradation value of the pixel Q21 and the gradation value of the pixel Q23 using the blue channel filter of FIG. (G + B) / 2 = G + B). Further, the green component channel value Gch of the pixel Q22 is obtained as the gradation value (G + B) itself of the pixel Q22 by using the green channel filter of FIG.
[0107]
Similarly, the respective component channel values Rch, Gch, and Bch of the pixel Q23 are obtained using the respective component channel filters shown in FIG. Further, the respective component channel values Rch, Gch, Bch of the pixel Q32 are obtained using the respective component channel filters of FIG. 7C, and the respective component channel values Rch, Gch, Bch of the pixel Q33 are shown in FIG. It is calculated | required using each component channel filter.
[0108]
In the image sensor 15, a pixel array similar to the pixel array (Q22, Q23, Q32, Q33) as shown on the left side of FIG. 13 is repeatedly arranged in the horizontal direction and the vertical direction. Therefore, by applying a similar filter according to the position of each pixel, each component channel value Rch, Gch, Bch after interpolation processing of each pixel can be obtained.
[0109]
As a result, as shown on the right side of FIG. 13, each pixel Q22, Q23, Q24, Q25,. . . , Q32, Q33, Q34, Q35. . . In any of the pixels, the red component channel value Rch is “G + R”, and the blue component channel value Bch is “G + B”. As the green component channel value Gch of each pixel, “G + B” and “G + R / 2 + B / 2” appear alternately in the horizontal direction and the vertical direction, respectively.
[0110]
FIG. 14 is a diagram showing color conversion processing for pixels after interpolation processing, and corresponds to FIG. 9 (for color image generation processing).
[0111]
The matrix calculation unit 35 uses the color conversion matrix MX2 to perform color conversion processing by a predetermined conversion formula on each of the pixels Q22, Q23, Q32, Q33, and the like. Thereby, each component channel value (Rch, Gch, Bch) is converted into another color space representation (Y, Cr, Cb). The color conversion matrix MX2 has conversion coefficients Krc, Kgc, and Kbc different from the color conversion matrix MX1 described above. That is, at the time of generating a high-sensitivity monochrome image, each image signal is generated by being processed with a conversion coefficient different from the conversion coefficient at the time of generating the color image.
[0112]
For example, the luminance signal Y is calculated by a conversion formula of Y = (0.5 × Rch + 0.5 × Bch). That is, the conversion coefficient (Krc, Kgc, Kbc) = (0.5, 0, 0.5), and the luminance signal Y is obtained by mixing the red component channel value Rch and the blue component channel value Bch at the same ratio. Is generated. Since the luminance signal Y is calculated by a conversion formula different from that used when generating a color image, the luminance signal Y in the high-sensitivity monochrome image is also referred to as a pseudo luminance signal.
[0113]
As a result, a luminance signal Y as shown on the right side of FIG. 14 is generated. The luminance signal Y is calculated as “G + R / 2 + B / 2” in any pixel. That is, in any pixel, a value obtained by mixing the component values R, G, and B at the same ratio of 1: (1/2) :( 1/2) is generated as the pixel value.
[0114]
As a result, as described below, a beautiful high-sensitivity monochrome image can be generated without generating a horizontal stripe pattern.
[0115]
When the converted luminance signal Y is expressed as a linear sum of the color component values R (red), G (green), and B (blue) in a normalized state for comparison with FIG. 9, Y = 0.25. × R + 0.5 × G + 0.25 × B. This equation can be obtained by substituting ((G + R) / 2) for Rch and ((G + B) / 2) for Bch in the above conversion equation. Accordingly, the coefficients Kr, Kg, Kb representing the mixing ratio of the color components R, G, B in the luminance signal generated using the color conversion matrix MX2 are (0.25, 0.5, 0.25). Become.
[0116]
Further, since the monochrome image signal is generated, the color difference signals Cr and Cb are both zero (fixed value).
[0117]
As described above, a highly sensitive monochrome image is generated.
[0118]
According to the imaging apparatus 1 as described above, since it is possible to achieve high sensitivity by pixel addition, it is not necessary to remove the infrared cut filter FT from the optical path in order to achieve high sensitivity. Therefore, since it is not necessary to provide a configuration for attaching / detaching the infrared cut filter FT, the configuration is simple.
[0119]
<Comparison with reference example>
By the way, when generating a high-sensitivity monochrome image by pixel addition, it is possible to assume a technique in which pixel values obtained by pixel addition processing are smoothed in the vertical direction using a low-pass filter provided separately. Hereinafter, this technique is referred to as a reference example.
[0120]
Here, in order to clarify the technical significance of the above embodiment, a comparison with this reference example is performed.
[0121]
15 to 17 are diagrams for explaining processing operations and the like regarding the reference example. FIG. 15 is a diagram showing functional blocks in the reference example, and corresponds to FIG. 6 described above. 16 is a diagram corresponding to FIG. 13, and FIG. 17 is a diagram corresponding to FIG. Note that blocks having the same configuration as the imaging device 1 of the above-described embodiment will be described with the same reference numerals.
[0122]
As a result, the technique according to this reference example corresponds to a process that performs the same processing as the functional block shown in FIG. In this technique, the pixel value subjected to the addition process passes through the pixel interpolation unit 31 (FIG. 15) without undergoing the interpolation process by the pixel interpolation unit 31, and the respective component channel values Rch, Gch, and Bch are the same. It becomes the value of.
[0123]
Specifically, as shown on the left side of FIG. 16, in the pixel array after the pixel addition process, the pixel value of each pixel in the second horizontal pixel column is “G + B”. By passing through, all the component channel values Rch, Gch, and Bch become “G + B” (see the right side of FIG. 16). Similarly, in the pixel array after pixel addition processing, the pixel value of each pixel in the horizontal pixel column of the third row is “G + R”, and then passes through the pixel interpolating unit 31, whereby each component channel value Rch. , Gch, and Bch are all “G + R”.
[0124]
Thereafter, as shown in FIG. 17, the matrix calculation unit 35 performs color conversion processing.
[0125]
As shown in FIG. 16, the component channel values Rch, Gch, and Bch of the even-numbered horizontal pixel columns output from the pixel interpolation unit 31 all have the same value “G + B”. Here, the matrix calculation unit 35 outputs “G + B” as the pseudo luminance signal Y using the green component channel value Gch as it is, as shown in the upper side of FIG. The color difference signals Cr and Cb are both zero (fixed value).
[0126]
In addition, since the component channel values Rch, Gch, and Bch of the odd-numbered horizontal pixel columns are all the same value “G + R”, the matrix calculation unit 35, as shown on the lower side of FIG. The green component channel value Gch is used as it is and “G + R” is output as the pseudo luminance signal Y.
[0127]
Here, in an even-numbered horizontal pixel column (see the upper part of FIG. 17), the “R” component is not included in any component channel value. Therefore, the “R” component cannot be reflected in the luminance signal Y even if the conversion coefficient of the color conversion matrix in the matrix calculation unit 35 is changed to change the mixing ratio of the component channel values Rch, Gch, and Bch.
[0128]
Similarly, in an odd-numbered horizontal pixel column (see the lower part of FIG. 17), the “B” component is not included in any component channel value. Therefore, the “B” component cannot be reflected in the luminance signal Y even if the conversion coefficient of the color conversion matrix in the matrix calculator 35 is changed to change the mixing ratio of the component channel values Rch, Gch, and Bch.
[0129]
Thus, in the technique of the reference example, no matter how the conversion coefficient in the color conversion matrix is set, the pseudo luminance signal for the even-numbered horizontal pixel column and the pseudo-luminance signal for the odd-numbered horizontal pixel column are: The values are different from each other. Therefore, a mixed color component having a different ratio for each line is output as a pseudo luminance signal. Here, “G + B” and “G + R” are alternately output as pseudo luminance signals.
[0130]
Therefore, when the color of the subject is biased to a specific color component, a striped pattern occurs in the high-sensitivity monochrome image. For example, when photographing an object of a single red color, a value reflecting a red component is output to an odd number row of “G + R”, while a pixel value of an even number row of “G + B” is almost zero. A striped pattern appears in the monochrome image.
[0131]
In order to prevent the occurrence of such a striped pattern, it is required to provide a low-pass filter (LPF) 39 for smoothing in the vertical direction as shown in FIG.
[0132]
In the technique shown in FIG. 15, the image signal for each horizontal pixel column subjected to the pixel addition processing by the pixel addition unit 20 is directly smoothed by the low-pass filter 39 without passing through the pixel interpolation unit 31 and the matrix calculation unit 35. It can also be understood that it is to be processed.
[0133]
On the other hand, according to the imaging device 1 according to the above-described embodiment, a beautiful monochrome image with high sensitivity can be obtained with a simple configuration without providing the low-pass filter 39 as in the reference example.
[0134]
Specifically, the pixel interpolation unit 31 of the imaging device 1 according to the above embodiment uses the interpolation filter of FIG. 7 to generate each color component value after interpolation based on the pixel value in the imaging sensor 15 when generating a color image. Is used as each component channel value, and when generating a high-sensitivity monochrome image, each pseudo color component value after interpolation is converted into each component based on the new pixel value after addition using the same interpolation filter as when generating a color image. Obtained as channel value. The matrix calculation unit 35 generates color signals Y, Cr, and Cb based on the interpolated component channel values Rch, Gch, and Bch and the color conversion matrix MX1 when generating a color image, thereby generating a high-sensitivity monochrome image. In some cases, a luminance signal Y or the like is generated based on each component channel value Rch, Gch, Bch after interpolation and the color conversion matrix MX2.
[0135]
That is, when generating a high-sensitivity monochrome image, pixel interpolation is performed using the same interpolation filter as that used when generating a color image, and color conversion is performed using a color conversion matrix having a conversion coefficient different from that used when generating a color image. Conversion processing (luminance signal generation processing) is performed.
[0136]
In this way, a new pixel value whose sensitivity has been improved by pixel addition can be converted into a high-sensitivity monochrome image using the pixel interpolation unit 31 and the matrix calculation unit 35 used for color image generation. Therefore, a highly sensitive monochrome image can be obtained with a simple configuration. In other words, a highly sensitive monochrome image can be generated by skillfully utilizing the pixel interpolation unit 31 and the matrix calculation unit 35 that already exist for color image generation.
[0137]
In particular, the pixel interpolation unit 31 performs image interpolation processing with two-dimensional filtering processing in both the horizontal direction and the vertical direction, thereby obtaining each component channel value for a new pixel after the addition processing by the pixel addition unit 20. Looking for. As a result, all three color components R, G, and B including components not added in the pixel addition can be output in any one of a plurality of component channel values in each pixel. As described above, the image interpolation process at the time of generating a high-sensitivity monochrome image has an operation different from the image interpolation process at the time of generating a color image. Then, by performing color conversion processing by the matrix calculation unit 35 on each of these component channel values, it is possible to generate a luminance signal with little or no bias toward a specific color component.
[0138]
Specifically, as shown on the right side of FIG. 13, “R” and “R” are included in the red component channel value Rch (= “G + R”) in the even-numbered horizontal pixel column after pixel interpolation by the pixel interpolation unit 31. Both color components “G” are included, and the blue component channel value Bch (= “G + B”) includes both color components “B” and “G”. The even-numbered horizontal pixel column (“G + B”) before pixel interpolation does not include the “R” component, whereas the even-numbered horizontal pixel column after pixel interpolation has this “R” component. Is included in the red component channel value Rch.
[0139]
Then, the matrix calculation unit 35 obtains the luminance signal Y by adding and averaging two (two types) component channel values Rch and Bch. Therefore, the luminance signal Y in which all three color components “R”, “G”, and “B” are mixed can be obtained by the color conversion processing of the matrix calculation unit 35.
[0140]
Similarly, the same applies to the odd-numbered horizontal pixel columns. That is, in the odd-numbered horizontal pixel columns, the red component channel value Rch includes both color components “R” and “G”, and the blue component channel value Bch includes “B” and “G”. Both color components are included. The odd-numbered horizontal pixel column before pixel interpolation did not include the “B” component, whereas in the odd-numbered horizontal pixel column after pixel interpolation, this “B” component is the blue component channel value. It is included in Bch.
[0141]
Further, even for odd-numbered horizontal pixel columns, a luminance signal Y in which all three color components “R”, “G”, and “B” are mixed can be obtained by the color conversion processing of the matrix calculation unit 35. It is.
[0142]
As a result, the luminance signal Y in which the three color components “R”, “G”, and “B” are mixed can be obtained in both the even and odd rows by the color conversion processing by the matrix calculation unit 35. It is.
[0143]
Specifically, in this embodiment, as shown in FIG. 14, the luminance signal Y is obtained as “G + R / 2 + B / 2” in both the even and odd rows as a result of the conversion by the matrix operation unit 35. It is done. That is, in the luminance signal Y, the mixing ratio (Kr: Kg: Kb) of the color components R, G, and B is the same (1: 2: 1) in the even and odd rows.
[0144]
Therefore, even when the color of the subject is biased to a specific color component, it is possible to avoid occurrence of a striped pattern and obtain a beautiful high-sensitivity monochrome image. That is, it is possible to obtain a beautiful high-sensitivity image without providing a low-pass filter (LPF) 39 for smoothing in the vertical direction.
[0145]
In particular, as shown in FIG. 14, as a result of conversion by the matrix calculation unit 35, the mixing ratio of each color component in the luminance signal Y is “G + R / 2 + B / 2” in any pixel. That is, the mixing ratio of each color component is the same among the pixels. Therefore, it is possible to avoid the occurrence of a pattern (or a rough feeling) that may occur when the mixing ratio is different, and to obtain a beautiful high-sensitivity monochrome image.
[0146]
In this embodiment, as shown in FIG. 13, when generating a high-sensitivity monochrome image, the sum component (= (G + R) + (G + B) of two component channel values Rch (= G + R) and Bch (= G + B). ) Of the three color components “R”, “G”, and “B” are the same ratio between the pixels in the even-numbered horizontal pixel columns and the corresponding pixels in the odd-numbered horizontal pixel columns (1: 2: 1), the pixel interpolation by the pixel interpolation unit 31 is performed. Therefore, it is possible to easily generate luminance signals having the same mixing ratio by performing color conversion processing without changing the coefficients of the color conversion matrix between even and odd rows.
[0147]
In particular, in this embodiment, the mixing ratio of the three color components “R”, “G”, and “B” in the sum component of the two component channel values Rch and Bch is between a predetermined pixel and an arbitrary pixel. However, pixel interpolation is performed by the pixel interpolation unit 31 so that the ratio is the same (1: 2: 1). Therefore, it is possible to easily generate luminance signals having the same mixing ratio by performing color conversion processing using a color conversion matrix having the same conversion coefficient for all pixels.
[0148]
<Change mode according to brightness>
Next, the operation of the imaging apparatus 1 when the environmental brightness changes in the “sensitivity switchable mode” will be described. Here, the BV value of the APEX value used for exposure control is used as the index value representing the environmental brightness of the imaging apparatus 1. This BV value is calculated as a value reflecting the amount of light incident on the image sensor 15. This calculation operation is performed by the image processing unit 3 or the like.
[0149]
In this “sensitivity switchable mode”, the imaging apparatus 1 first executes “color image generation processing” for performing color imaging with normal sensitivity in a high-luminance environment. Then, “saturation-suppressed image generation processing”, “normal-sensitivity monochrome image generation processing”, and “high-sensitivity monochrome image generation processing” that suppress saturation are sequentially executed in accordance with the further decrease in luminance. Specifically, each of these different image generation processes is performed in four sections TM1 to TM4 divided according to luminance. These sections are divided by three threshold values TH1, TH2, TH3 (TH1>TH2> TH3) regarding the BV value.
[0150]
FIG. 18 is a diagram illustrating the operation in the sensitivity switchable mode. The horizontal axis of the graph of FIG. 18 indicates the BV value (APEX value) representing luminance, and the vertical axis indicates the values of various parameters (coefficients) α, Kr, Kg, Kb relating to color conversion.
[0151]
First, when the BV value representing luminance is larger than a threshold value TH1 (here, -0.2) (that is, when the shooting environment is brighter than a predetermined value) (section TM1), a color image with normal sensitivity is generated. The That is, in the section TM1, “color image generation processing” with normal sensitivity is executed.
[0152]
The color image generation process in this section TM1 is as described with reference to FIGS. In the interval TM1, the conversion coefficient α in the matrix calculation unit 35 is 1, and the saturation is not suppressed at all.
[0153]
Next, when the BV value is smaller than the threshold value TH1 and larger than the threshold value TH2 (here, -1.2) (section TM2), saturation suppression processing is performed. That is, “saturation-suppressed image generation processing” (described later) is executed in the section TM2. Specifically, as will be described later, the conversion coefficient α in the matrix calculation unit 35 is gradually set to a smaller value in accordance with the decrease in luminance.
[0154]
When the BV value becomes smaller than the threshold value TH2, the conversion coefficient α becomes zero, and a monochrome image is generated. That is, in the section TM3 and the section TM4, the conversion coefficient α in the matrix calculation unit 35 is zero, and a monochrome image is generated.
[0155]
More specifically, when the BV value is smaller than the threshold value TH2 and larger than the threshold value TH3 (here, -2.5) (section TM3), a monochrome image with normal sensitivity without pixel addition operation is generated. Is done. That is, in the section TM3, “normal sensitivity monochrome image generation processing” (described later) is executed.
[0156]
When the BV value is smaller than the threshold value TH3 (section TM4), a high-sensitivity monochrome image with a pixel addition operation is generated. That is, in the section TM4, “high-sensitivity monochrome image generation processing” is executed. The high-sensitivity monochrome image generation process in the section TM4 is as described with reference to FIGS.
[0157]
As described above, in the sections TM1, TM2, and TM3, as shown in FIG. 5, the process using the color conversion matrix MX1 of the matrix calculation unit 35 is performed without performing the pixel addition process. As a result, in each of the sections TM1, TM2, and TM3, a plurality of images (image groups) with normal sensitivity are continuously acquired.
[0158]
However, at this time, the conversion coefficient α in the matrix calculation unit 35 changes according to the section. Specifically, it is 1 in the section TM1 and zero in the section TM3. In the section TM2, the conversion coefficient α is a value that satisfies 0 ≦ α ≦ 1, and specifically, gradually decreases from 1 to zero as the luminance decreases. In other words, in the district TM2, the degree of saturation suppression gradually increases as the luminance decreases. When the BV value becomes the threshold value TH2 (the boundary value between the section TM3 and the section TM2), the saturation is completely suppressed (α = 0).
[0159]
Further, in the section TM4, as shown in FIG. 6, after the pixel addition process is performed, the process using the color conversion matrix MX2 of the matrix calculation unit 35 is performed. As a result, a plurality of high-sensitivity monochrome images (high-sensitivity monochrome image group) are continuously acquired.
[0160]
Here, in the process shown in FIG. 18, it is assumed that the luminance changes (eg, decreases (decreases)) over time. At this time, in the four periods corresponding to the four sections TM1, TM2, TM3, and TM4, image processing corresponding to the luminance at each time point as described above is performed.
[0161]
In this change with time, the following two state transitions exist.
[0162]
One is a state transition over the sections TM1 to TM3. As a result, the acquired image shifts from a color image to a monochrome image while the degree of suppression of the saturation is gradually increased.
[0163]
The other is a state transition over the sections TM2 to TM4. As a result, the acquired image shifts from a normal sensitivity image to a high sensitivity image. In particular, if state transition in a section where the BV value is equal to or less than the threshold TH2 is considered, the acquired image shifts from a normal sensitivity monochrome image to a high sensitivity monochrome image.
[0164]
Hereinafter, these two state transition operations will be described in detail.
[0165]
First, the state transition over the sections TM1 to TM3 will be described. In FIG. 18, an image subjected to saturation suppression processing is acquired between a section TM1 in which a color image (an image in which saturation is not suppressed) and a section TM3 in which a monochrome image is acquired. There is a section TM2.
[0166]
The saturation suppression processing in the section TM2 is performed by setting the value of the conversion coefficient α in the matrix calculation unit 35 in FIG.
[0167]
Specifically, the coefficient α gradually decreases as the BV value decreases. Here, as shown in FIG. 18, the coefficient α changes so as to have a linear relationship with the BV value. Then, the value of the coefficient α with respect to the intermediate value BV of the threshold values TH1 and TH2 is determined so that the coefficient α is 1 when the BV value is equal to the threshold value TH1 and the coefficient α is 0 when the BV value is equal to the threshold value TH2. It is done. In the section TM2, color conversion processing is performed using a color conversion matrix MX3 (also referred to as MX31 when distinguished from the matrix MX32 described later) having such a coefficient α. Note that the other conversion coefficients (Krc, Kgc, Kbc) = (Kr, Kg, Kb) in the color conversion matrix MX31 in the section TM2 are the same values as the color conversion matrix MX1.
[0168]
When the BV value becomes smaller than the threshold value TH2, the coefficient α = 0 and the process proceeds to a monochrome image generation process. However, in the section TM3 where the BV value is larger than the threshold value TH3, the pixel addition process is not yet performed, and a monochrome image with normal sensitivity is generated.
[0169]
In this manner, in the section TM2 between the section TM1 in which the color image generation process is performed and the section TM3 in which the normal sensitivity monochrome image generation process is performed, the coefficient α is continuously changed according to the environmental luminance to suppress the saturation. Saturation-suppressed image generation processing that gradually changes the degree is performed. Therefore, the transition from the color image to the monochrome image is performed smoothly, and it is possible to avoid the image from changing suddenly. That is, the uncomfortable feeling at the time of transition can be reduced.
[0170]
Next, the state transition over the sections TM2 to TM4 will be described. In FIG. 18, the normal sensitivity between the section TM2 in which the normal sensitivity image (color image and monochrome image with reduced saturation) is acquired and the section TM4 in which the high sensitivity monochrome image is acquired. There is a section TM3 in which a monochrome image is acquired.
[0171]
As described above, the coefficients Kr, Kg, and Kb representing the mixing ratio of each color component in the luminance signal Y in the matrix calculation unit 35 are different between the sections TM1 and TM2 and the section TM4. That is, the mixing ratios Kr, Kg, and Kb are different between the normal sensitivity image generation (color image generation, saturation suppression image generation, and the like) and high-sensitivity monochrome image generation. Specifically, in the sections TM1 and TM2, the mixing ratios Kr, Kg, and Kb are 0.3, 0.59, and 0.11, respectively, whereas the end of the section TM3 (and the section TM4) At the starting point), the mixing ratios Kr, Kg, Kb are 0.25, 0.5, 0.25, respectively.
[0172]
It is assumed that the conversion coefficients Krc, Kgc, and Kbc that realize the same mixing ratios Kr, Kg, and Kb as those in the intervals TM1 and TM2 are used in the interval TM3. In this case, at the time of switching from the normal sensitivity monochrome image generation process in the section TM3 to the high sensitivity monochrome image generation process in the section TM4, both images generated before and after switching are monochrome images. However, with regard to the chromatic portion of the subject, the density of the chromatic color portion is rapidly changed at the time of switching between the two monochrome images due to the difference in the color component values in the chromatic color portion and the rapid change of the mixing ratios Kr, Kg, Kb. Discontinuities will be noticeable as changes occur. For example, the operator of the imaging apparatus 1 feels a discontinuous density change in a monochrome image, for example, during moving image shooting or during preview image display (live view display) for still image shooting.
[0173]
On the other hand, in this embodiment, by changing the conversion coefficients Krc, Kgc, Kbc (and thus the mixing ratios Kr, Kg, Kb) in the monochrome image generation process in the section TM3 according to the luminance, the section TM2 To prevent a sudden change at the time of transition to section TM4.
[0174]
Specifically, in this section TM3, the conversion coefficients Krc, Kgc, and Kbc for obtaining the luminance signal in the matrix calculation unit 35 are gradually changed according to the luminance change.
[0175]
More specifically, as shown in FIG. 18, in accordance with the decrease (change) in the BV value (environmental luminance), each mixing ratio Kr, Kg, Kb is determined from the value at the end point (threshold value TH2) of the section TM2. Each conversion coefficient Krc, Kgc, Kbc in the color conversion matrix MX32 gradually changes so as to gradually change toward the value at the start point (threshold value TH3) of the section TM4. Here, each value of each conversion coefficient Krc, Kgc, Kbc at the end point of the section TM2 is a color component mixing ratio (Kr :) in the luminance signal Y generated using the color conversion matrix MX1 (or the color conversion matrix MX31). It can also be expressed as a value that realizes Kg: Kb) = (0.3: 0.59: 0.11). Each value of each conversion coefficient Krc, Kgc, Kbc at the end point of the section TM3 is a color component mixing ratio (Kr: Kg: Kb) = (0...) In the luminance signal Y generated using the color conversion matrix MX2. 25: 0.5: 0.25) can also be expressed.
[0176]
That is, in the section TM3, each conversion coefficient (Krc, Kgc, Kbc) = (Kr, Kg, Kb) is (0.3: 0.59: 0.11) in accordance with the decrease in the BV value (environmental luminance). Gradually changes from (0.25: 0.5: 0.25).
[0177]
For example, the conversion coefficient Krc (= Kr) has the following value according to the change in the BV value between the thresholds TH1 and TH2. That is, the conversion coefficient Krc is 0.3 when the BV value is equal to the threshold value TH2, and then gradually decreases after maintaining the value for a while according to the decrease in the BV value. When the BV value is slightly larger than the threshold value TH3 (here, -2.3), the conversion coefficient Krc becomes 0.25, and when this value is maintained, the BV value is substantially equal to the threshold value TH3. Is also 0.25.
[0178]
Similarly, the coefficient Kgc (= Kg) is 0.59 when the BV value is equal to the threshold value TH2 between the threshold values TH1 and TH2, and is then changed according to the decrease in the BV value. Decrease gradually after maintaining its value for a while. The coefficient Kgc becomes 0.5 when the BV value is a little larger than the threshold value TH3 (here, -2.3), and when the BV value is substantially equal to the threshold value TH3, the value is maintained. Is also 0.5.
[0179]
Similarly, the coefficient Kbc (= Kb) is 0.11 when the BV value is equal to the threshold value TH2, and then gradually decreases after maintaining the value for a while in accordance with the decrease in the BV value. The coefficient Kbc is 0.25 when the BV value is slightly larger than the threshold value TH3, and is 0.25 when the BV value is substantially equal to the threshold value TH3 while maintaining the value.
[0180]
In the section TM3, color conversion processing is performed using a color conversion matrix MX3 (also referred to as MX32 when distinguished from MX31) having such coefficients Krc, Kgc, and Kbc. The other conversion coefficient α of the color conversion matrix MX32 in the section TM3 is zero as in the color conversion matrix MX2.
[0181]
As a result, as shown in FIG. 18, in the section TM3 as described above, the mixing ratios Kr, Kg of the respective color components in the luminance signal generated by the color conversion matrix MX32 in accordance with the change of the BV value (environment luminance). , Kb gradually change from values realized by the color conversion matrix MX1 toward values realized by the color conversion matrix MX2. That is, the values of the conversion coefficients Krc, Kgc, and Kbc are changed while ensuring the continuity of the mixing ratios Kr, Kg, and Kb.
[0182]
In the section TM4, the pixel addition process is started, and the conversion coefficients Krc, Kgc, Kbc are switched to (0.5, 0, 0.5). As shown in FIG. 18, the color component mixing ratio (Kr: Kg: Kb) in the luminance signal Y generated using the color conversion matrix MX2 in the section TM4 after switching is (0.25: 0.5). : 0.25). Therefore, although the conversion coefficients Krc, Kgc, and Kbc are discontinuously changed, the mixing ratio (Kr: Kg: Kb) of each color component in the luminance signal is continuously changed as shown in FIG. Become.
[0183]
Therefore, it is possible to gradually shift from the normal sensitivity image to the high sensitivity image, to avoid discontinuity when shifting from the normal sensitivity image to the high sensitivity image, and to relieve the uncomfortable feeling in the image change.
[0184]
As described above, when the imaging apparatus 1 shifts from the color image generation process to the monochrome image generation process, the imaging device 1 continuously changes the coefficient α in the section TM2, and the normal sensitivity monochrome image generation process shifts to the high sensitivity. When shifting to the monochrome image generation process, the conversion coefficients Krc, Kgc, and Kbc are continuously changed in the section TM3.
[0185]
As described above, according to the imaging method of the above-described embodiment (imaging device control method) by the imaging device 1, the processes in the sections TM1, TM2, TM3, and TM4 are sequentially switched according to the change in luminance. Therefore, the occurrence of discontinuous changes at the time of switching can be avoided.
[0186]
Further, when the correction parameter in the white balance control is different in a plurality of sections, it is preferable to adjust the correction parameter at the time of switching by changing the correction parameter according to the luminance. For example, when switching from the section TM2 to the section TM4, the correction parameter for white balance control is changed so that the value in the section TM2 is gradually changed from the value in the section TM2 in the middle section TM3 of both sections. do it. According to this, the discontinuity at the time of switching from the normal sensitivity image to the high sensitivity image can be further reduced.
[0187]
<Others>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.
[0188]
For example, in the above-described embodiment, the case where the environmental luminance is measured using the BV value among the APEX values is described. However, the present invention is not limited to this. The luminance may be measured.
[0189]
Moreover, in the said embodiment, although illustrated about the case where an image generation process is changed according to a brightness | luminance, it is not limited to this. For example, after receiving an explicit mode change from the photographer (specifically, a mode change from a shooting mode for generating a color image to a shooting mode for generating a high-sensitivity monochrome image), the conversion coefficients Krc and Kgc are gradually increased. , Kbc may be changed to change the mode.
[0190]
Furthermore, in the above-described embodiment, the case where the normal sensitivity color image generation process is shifted to the high sensitivity monochrome image generation process through the normal sensitivity monochrome image generation process has been described, but the present invention is not limited to this. For example, the normal sensitivity monochrome image generation process of the section TM3 may be performed, and the saturation suppression process of the section TM2 may be immediately shifted to the high sensitivity monochrome image generation process of the section TM4. In this case, in the section TM2, the coefficient α may be decreased and the conversion coefficients Krc, Kgc, and Kbc may be changed (similar to the section TM3) in accordance with the decrease in luminance. Thereby, in the direct switching from the saturation-suppressed image generation process to the high-sensitivity monochrome image generation process, the influence due to the discontinuity of the mixing ratios Kr, Kg, and Kb can be reduced.
[0191]
Moreover, in the said embodiment, although the case where a CCD image sensor was used as the image sensor 15 was illustrated, it is not limited to this, You may use a CMOS image sensor.
[0192]
Furthermore, in the above-described embodiment, the case where vertical pixel addition is performed in the vertical transfer path HL using FIG. 11 and FIG. 12 is illustrated, but the present invention is not limited to this. For example, the pixel column to be added may be sent to the vertical transfer path VL and then added to the horizontal transfer path HL. More specifically, first, of the four horizontal pixel rows L1 to L4, the accumulated charges of only the horizontal pixel rows L1 and L3 to be added are sent simultaneously to the vertical transfer path. Then, the vertical transfer for four pixels is performed, and the two accumulated charges in the horizontal pixel rows L1 and L3 may be summed in the horizontal transfer path HL.
[0193]
【The invention's effect】
As described above, according to the first to sixth aspects of the present invention, each conversion coefficient for generating a luminance signal in the third color conversion matrix is between the first period and the second period. A value that realizes the color component mixing ratio in the luminance signal generated using the second color conversion matrix from the value that realizes the color component mixing ratio in the luminance signal generated using the first color conversion matrix. Since a gradually changing period is provided for the first image group, it is possible to gradually shift from the first image group to the second image group, and to avoid discontinuous image switching. That is, the uncomfortable feeling at the time of transition can be eased.
[0194]
According to the seventh aspect of the present invention, in step c), each conversion coefficient for generating a luminance signal in the third color conversion matrix is the first in the luminance signal generated using the first color conversion matrix. A gradually changing period is provided from a value that realizes the color component mixing ratio of 1 to a value that realizes the second color component mixing ratio in the luminance signal generated using the second color conversion matrix. Therefore, the first image group can be gradually shifted to the second image group, and discontinuous switching can be avoided. That is, unnaturalness at the time of transition can be reduced.
[0195]
In particular, according to the second aspect of the present invention, discontinuity in the transition operation to the high-sensitivity image can be avoided.
[0196]
According to the invention described in claim 3, discontinuity at the time of shifting to a high-sensitivity monochrome image can be avoided.
[0197]
Furthermore, according to the invention described in claim 4, discontinuity at the time of transition from a monochrome image to a high-sensitivity monochrome image can be avoided.
[0198]
According to the fifth aspect of the present invention, a period in which the degree of suppression of saturation at the time of generating the third image group gradually increases is provided between the first period and the second period. Therefore, the transition from the color image to the monochrome image is performed smoothly, and the uncomfortable feeling at the time of the transition can be reduced.
[0199]
According to the sixth aspect of the present invention, the transition from the first image group to the second image group is automatically performed according to the environmental brightness.
[Brief description of the drawings]
FIG. 1 is a front view of an imaging apparatus 1 according to an embodiment of the present invention.
2 is a rear view of the imaging apparatus 1. FIG.
3 is a top view of the imaging apparatus 1. FIG.
4 is a diagram illustrating functional blocks of the imaging apparatus 1. FIG.
FIG. 5 is a diagram showing an outline of image processing when generating a color image.
FIG. 6 is a diagram showing an outline of image processing when a high-sensitivity monochrome image is generated.
FIG. 7 is a diagram illustrating an interpolation filter used for interpolation processing.
FIG. 8 is a diagram illustrating an example of interpolation processing when generating a color image.
FIG. 9 is a diagram illustrating an example of color conversion processing when generating a color image.
FIG. 10 is a diagram illustrating pixel addition processing when a high-sensitivity monochrome image is generated.
FIG. 11 is a diagram illustrating pixel addition processing.
FIG. 12 is a diagram illustrating pixel addition processing.
FIG. 13 is a diagram illustrating an example of interpolation processing when generating a high-sensitivity monochrome image.
FIG. 14 is a diagram illustrating an example of color conversion processing when a high-sensitivity monochrome image is generated.
FIG. 15 is a diagram illustrating functional blocks in a reference example.
FIG. 16 is a diagram illustrating an example of interpolation processing when generating a high-sensitivity monochrome image in the reference example.
FIG. 17 is a diagram illustrating an example of color conversion processing at the time of generating a high-sensitivity monochrome image in the reference example.
FIG. 18 is a diagram illustrating changes in parameters and the like in a sensitivity switchable mode.
[Explanation of symbols]
1 Imaging device
10 Imaging unit
10a Photography lens
15 Imaging sensor
20 pixel adder
31 pixel interpolator
35 Matrix operation part
Kr, Kg, Kb (Color component) mixing ratio
Krc, Kgc, Kbc Conversion coefficients (for luminance signal generation)
Rch, Gch, Bch each component channel value
L1-L8, LC1, LC2, LL1, LL2 horizontal pixel columns
Pij, Qij pixel
TM1 to TM4 section

Claims (7)

複数の画像を連続的に取得する撮像装置であって、
撮像素子と、
前記撮像素子からの画像信号に基づいて色変換処理を行う色変換手段と、
を備え、
前記色変換手段は、
第１の期間において、第１の色変換マトリクスを用いて輝度信号を生成することによって、第１の画像群を生成し、
第２の期間において、前記第１の色変換マトリクスとは異なる第２の色変換マトリクスを用いて輝度信号を生成することによって、第２の画像群を生成し、
前記第１の期間と前記第２の期間との間の期間において、第３の色変換マトリクスを用いて輝度信号を生成することによって、第３の画像群を生成し、
前記第１の期間と前記第２の期間との間には、前記第３の色変換マトリックスにおける輝度信号生成用の各変換係数が、第１の色変換マトリクスを用いて生成される輝度信号中の第１の色成分混合比率を実現する値から、第２の色変換マトリクスを用いて生成される輝度信号中の第２の色成分混合比率を実現する値へ向けて徐々に変化する期間が設けられていることを特徴とする撮像装置。An imaging device for continuously acquiring a plurality of images,
An image sensor;
Color conversion means for performing color conversion processing based on an image signal from the image sensor;
With
The color conversion means includes
In the first period, a first image group is generated by generating a luminance signal using the first color conversion matrix,
Generating a second image group by generating a luminance signal using a second color conversion matrix different from the first color conversion matrix in the second period;
Generating a third image group by generating a luminance signal using a third color conversion matrix in a period between the first period and the second period;
Between the first period and the second period, each conversion coefficient for generating a luminance signal in the third color conversion matrix is included in the luminance signal generated using the first color conversion matrix. There is a period of gradual change from a value realizing the first color component mixing ratio to a value realizing the second color component mixing ratio in the luminance signal generated using the second color conversion matrix. An imaging device, characterized by being provided. 請求項１に記載の撮像装置において、
前記撮像素子の複数の画素の画素値を加算して新たな画素の画素値を算出する画素加算手段、
をさらに備え、
前記第２の画像群は、前記撮像素子からの画像信号が前記画素加算手段によって加算されることによって得られる高感度画像で構成されることを特徴とする撮像装置。The imaging device according to claim 1,
Pixel addition means for calculating a pixel value of a new pixel by adding pixel values of a plurality of pixels of the image sensor;
Further comprising
The image pickup apparatus, wherein the second image group includes a high-sensitivity image obtained by adding image signals from the image pickup element by the pixel addition unit. 請求項２に記載の撮像装置において、
前記第２の画像群は、モノクロ画像群であることを特徴とする撮像装置。The imaging device according to claim 2,
2. The imaging apparatus according to claim 1, wherein the second image group is a monochrome image group. 請求項３に記載の撮像装置において、
前記第１の画像群も、モノクロ画像群であることを特徴とする撮像装置。The imaging device according to claim 3.
The imaging apparatus according to claim 1, wherein the first image group is also a monochrome image group. 請求項１に記載の撮像装置において、
前記第１の画像群は、カラー画像群であり、
前記第２の画像群は、モノクロ画像群であり、
前記第１の期間と前記第２の期間との間には、前記第３の画像群の生成時における彩度の抑圧程度が徐々に変化する期間が設けられることを特徴とする撮像装置。The imaging device according to claim 1,
The first image group is a color image group;
The second image group is a monochrome image group;
The imaging apparatus, wherein a period in which a degree of saturation suppression at the time of generating the third image group gradually changes is provided between the first period and the second period. 請求項１ないし請求項５のいずれかに記載の撮像装置において、
前記撮像装置における環境輝度を測定する輝度取得手段、
をさらに備え、
前記環境輝度が小さくなるにしたがって、前記第１の画像群、前記第３の画像群、および前記第２の画像群が、この順序で生成されることを特徴とする撮像装置。The imaging device according to any one of claims 1 to 5,
Luminance acquisition means for measuring environmental luminance in the imaging device,
Further comprising
The imaging apparatus, wherein the first image group, the third image group, and the second image group are generated in this order as the environmental brightness decreases. 撮像素子からの画像信号に基づいて複数の画像を連続的に取得する撮像方法であって、
ａ）第１の色変換マトリクスを用いて輝度信号を生成することによって、第１の画像群を取得するステップと、
ｂ）前記第１の色変換マトリクスとは異なる第２の色変換マトリクスを用いて輝度信号を生成することによって、第２の画像群を取得するステップと、
ｃ）前記ステップａ）と前記ステップｂ）との間において、第３の色変換マトリクスを用いて輝度信号を生成することによって、第３の画像群を取得するステップと、
を含み、
前記ステップｃ）では、前記第３の色変換マトリックスにおける輝度信号生成用の各変換係数が、前記第１の色変換マトリクスを用いて生成される輝度信号中の第１の色成分混合比率を実現する値から、前記第２の色変換マトリクスを用いて生成される輝度信号中の第２の色成分混合比率を実現する値へ向けて徐々に変化する期間が設けられていることを特徴とする撮像方法。An imaging method for continuously acquiring a plurality of images based on image signals from an imaging element,
a) obtaining a first image group by generating a luminance signal using a first color conversion matrix;
b) obtaining a second image group by generating a luminance signal using a second color conversion matrix different from the first color conversion matrix;
c) obtaining a third group of images by generating a luminance signal using a third color conversion matrix between step a) and step b);
Including
In step c), each conversion coefficient for generating a luminance signal in the third color conversion matrix realizes a first color component mixing ratio in the luminance signal generated using the first color conversion matrix. A period is provided that gradually changes from a value to a value that realizes a second color component mixing ratio in a luminance signal generated using the second color conversion matrix. Imaging method.
JP2003204468A 2003-07-31 2003-07-31 Imaging apparatus and imaging method Pending JP2005051394A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003204468A JP2005051394A (en) 2003-07-31 2003-07-31 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003204468A JP2005051394A (en) 2003-07-31 2003-07-31 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
JP2005051394A true JP2005051394A (en) 2005-02-24

Family

ID=34263465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003204468A Pending JP2005051394A (en) 2003-07-31 2003-07-31 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP2005051394A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293431A (en) * 2006-04-21 2007-11-08 Megachips Lsi Solutions Inc Image processor
JP2009171062A (en) * 2008-01-11 2009-07-30 Sony Corp Image processor, imaging apparatus, method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293431A (en) * 2006-04-21 2007-11-08 Megachips Lsi Solutions Inc Image processor
US8810675B2 (en) 2006-04-21 2014-08-19 Megachips Corporation Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
US9047694B2 (en) 2006-04-21 2015-06-02 Megachips Corporation Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
US9202292B2 (en) 2006-04-21 2015-12-01 Megachips Corporation Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
US9330480B2 (en) 2006-04-21 2016-05-03 Megachips Corporation Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
US9483848B2 (en) 2006-04-21 2016-11-01 Megachips Corporation Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
JP2009171062A (en) * 2008-01-11 2009-07-30 Sony Corp Image processor, imaging apparatus, method, and program
JP4544308B2 (en) * 2008-01-11 2010-09-15 ソニー株式会社 Image processing apparatus, imaging apparatus, method, and program

Similar Documents

Publication Publication Date Title
US7742081B2 (en) Imaging apparatus for imaging an image and image processor and method for performing color correction utilizing a number of linear matrix operations
US7148925B2 (en) Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor
JP3530907B2 (en) Digital camera
JP5347707B2 (en) Imaging apparatus and imaging method
JP3968122B2 (en) Imaging device
JP2006121612A (en) Image pickup device
JP2006165975A (en) Image pickup element, image pickup device and image processing method
JP2006025312A (en) Imaging apparatus and image acquisition method
JP2001275029A (en) Digital camera, its image signal processing method and recording medium
JP2010213213A (en) Imaging device and imaging method
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
JPWO2011067850A1 (en) Image processing device
US20060197854A1 (en) Image capturing apparatus and computer software product
JP3674420B2 (en) Solid-state imaging device
JP6032912B2 (en) Imaging apparatus, control method thereof, and program
JP2005051393A (en) Imaging apparatus
JP4003172B2 (en) Image signal processing apparatus and electronic camera
JP3826885B2 (en) Electronic camera
JP2004357335A (en) Solid-state imaging apparatus
JP2008182486A (en) Photographing device, and image processing method
JP2005051394A (en) Imaging apparatus and imaging method
JP2004194248A (en) Image pickup element and image pickup device
JP4133179B2 (en) Image signal processing device
JP2006109046A (en) Imaging device
JP3661447B2 (en) Color correction method for image data and digital camera

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050615

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20051206