JP2019201269A - 撮像装置 - Google Patents

Abstract

【課題】撮影画面全体の表示遅延を改善した画像を、撮影者が確認しながら、画角調整とフォーカス調整を可能とする撮像装置および制御方法を提供する。【解決手段】撮像手段と、前記撮像手段で取得した入力データを現像処理せずに第一の画像を生成する手段と、前記撮像手段で取得した入力データを現像処理して画像データを生成する現像処理手段と、前記撮像手段からの遅延時間が前記第一の画像と異なる第二の画像を前記現像処理した画像データから生成する手段と、前記第一の画像と前記第二の画像から表示用の第三の画像を選択する手段と、前記第三の画像のエッジ成分を抽出して合焦の程度を示す第四の画像を生成する手段と、表示用制御信号を生成する手段と、前記第四の画像を表示する手段を有することを特徴とする。【選択図】 図１

Description

本発明は、撮影している画像を表示する表示部を備えた撮像装置に関する。

コンパクトデジタルカメラやミラーレスカメラは一眼レフカメラとは異なり、撮影する被写体を小型の電子ビューファインダー（ＥＶＦ）やディスプレイで確認する。ＥＶＦを採用することでミラーボックスが不要となって小型・軽量化が図られるが、ＥＶＦに表示するための画像処理が必要である。画像処理は時間がかかるため、表示画像と実際に撮影される被写体との時間的な差が生じ、撮影者が意図した瞬間の被写体を撮影することが困難であった。

コンパクトデジタルカメラは使用者の多くがプロカメラマンではなかったため、表示遅延は大きな課題ではなかったが、近年、高級コンパクトカメラやミラーレスカメラなど、ハイアマチュア、プロ向けの製品が増え、表示遅延の課題は無視できなくなってきている。また、ハイアマチュア、プロ向けの製品では、被写体に対して自動的にフォーカスを合わせるオートフォーカス機能だけではなく、撮影者が意図的に被写体のフォーカスを合わせられるマニュアルフォーカス機能も搭載されている。さらに、マニュアルフォーカスの補助機能として、合焦した被写体のエッジ成分に被写体とは別の色を付けて合焦の程度を撮影者に提示するピーキング機能が搭載された製品もある。

上記表示遅延対策として、撮像素子からの画像読み出し順を撮影者が注視する被写体領域（注視領域）から開始してＥＶＦも注視領域から順次表示する方法、および注視領域以外の画像処理を省略する方法が特許文献１で提案されている。

特開２００６−０６０４９６号公報

しかしながら、従来技術は注視領域の表示遅延時間を短くできるが、特殊読み出し可能な専用の撮像素子と、特殊な順序で表示可能な専用のＥＶＦが必要であった。また、注視領域以外の画像処理を省略することによってＥＶＦ表示画像の注視領域内外の画質差が目立つ場合もあった。

さらに、表示遅延対策した場合のピーキング機能の実現も課題であった。

本発明は上記の課題を解決し、撮影画面全体の表示遅延を改善した画像を撮影者が確認しながら、画角調整とフォーカス調整を可能とする撮像装置および制御方法を提供することを目的とする。

本発明の撮像装置は、撮像手段と、前記撮像手段で取得した入力データを現像処理せずに第一の画像を生成する手段と、前記撮像手段で取得した入力データを現像処理して画像データを生成する現像処理手段と、前記撮像手段からの遅延時間が前記第一の画像と異なる第二の画像を前記現像処理した画像データから生成する手段と、前記第一の画像と前記第二の画像から表示用の第三の画像を選択する手段と、前記第三の画像のエッジ成分を抽出して合焦の程度を示す第四の画像を生成する手段と、表示用制御信号を生成する手段と、前記第四の画像を表示する手段を有することを特徴とする。

本発明によれば、特殊な撮像素子やＥＶＦは不要となり、白黒表示ではあるが、注視領域内外の画質差が無く画面全体の画質が一様の表示遅延を改善した画像を表示可能であり、さらにピーキング機能も実現できる。

本発明の機能構成ブロック図であり、基本構成および実施例１、実施例２の構成例を示した図である。 本発明の撮像素子と表示装置の画素配列の例と表示画像の例を示した図である。 本発明のピーキング処理部の回路図である。 本発明の前記第一の画像用のピーキング処理の画素配列の例を示した図である。 本発明のフローチャート例を示した図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜実施例１＞
実施例１は、表示遅延のある画像を通常表示して、表示遅延改善が求められた場合に表示遅延が改善された白黒の画像に表示を切り替えて撮影する場合を例として説明する。まず、本実施例１の機能構成ブロック図である図１の各ブロック動作を説明する。

撮像センサー部１０１は、ＣＣＤやＣＭＯＳなどの撮像素子であり、レンズ群１００で入射光量や合焦の調節を行い、結像された画像を光電変換して、さらにアナログ・デジタル変換したデジタル信号を出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが、所定の配列、例えば図２（１）に示すように画素毎にモザイク状に配置され、４画素毎に赤１画素、青１画素、緑２画素を１組として規則的に並べた構造となっている。このような画素の配置は、ベイヤー配列と一般的に呼ばれる。

撮像センサー部１０１によって変換された電気信号は、ベイヤー画像情報として画像処理部Ａ１０２と現像処理部１０３に送信される。画像処理部Ａ１０２は、ベイヤー画像信号を受信し、ＲＧＢの各色を区別することなく、画像の大きさを変える処理を実施する。画像の水平垂直方向にＧとＢ、またはＲとＧの画素組み合わせで帯域制限フィルタ処理を実施し、線形変換処理やバイキュービック変換処理などで画像の大きさを変えて、表示処理部１１０に送信する。ＲＧＢの各色を区別することなく処理するため、出力する第一の画像は白黒の画像となるが、フィルタ処理、変換処理による遅延量は画素サンプルの数個分であり、表示遅延量はほぼ（０）で処理可能である。

現像処理部１０３は、ベイヤー画像信号を受信し、まずＲＧＢのオフセット調整、ゲイン調整によってホワイトバランスを調整し、ガンマ補正処理を行う。ガンマ補正は、撮像センサー部１０１やレンズ群１００などの特性を考慮して、撮像装置使用者が所望する記録画像を生成するための特性で処理する。ガンマ補正値を変えることによって、映画フィルムの質感や階調を再現した記録画像の生成や、ＴＶモニターで表示するための記録画像の生成が可能である。次にＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換した画像を生成して記憶部Ｂ１０４に記憶する。

画像処理部Ｂ１０５と画像処理部Ｃ１０７と画像処理部Ｄ１０９は記憶部Ｂ１０４の画像に対して順次実施する画像処理であり、例えば画像処理部Ｂ１０５はレンズの歪曲収差の補正処理、画像処理部Ｃ１０７はノイズ除去処理、画像処理部Ｄ１０９は色調整処理などを実施する。

画像処理部Ｂ１０５の出力画像は記憶部Ｃ１０６に記憶し、画像処理部Ｃ１０７の出力画像は記憶部Ｄ１０８に記憶し、画像処理部Ｄ１０９の出力画像を第二の画像とする。現像処理部１０３と画像処理部Ａ１０２の出力画像を遅延量の基準（０）とすると、記憶部Ｂ１０４と画像処理部Ｂ１０５は遅延量（＋１）、記憶部Ｃ１０６と画像処理部Ｃ１０７は遅延量（＋２）、記憶部Ｄ１０８と画像処理部Ｄ１０９は遅延量（＋３）の遅延差があり、遅延量の単位は、例えばフレーム遅延とする。実施例１の場合は、第一の画像と第二の画像の遅延差は３フレーム時間である。

画像選択部１１０は、画像処理部Ａ１０２が出力した第一の画像と画像処理部Ｄ１０９が出力した第二の画像の一方を選択して第三の画像を出力する。第一の画像を選択した場合、図２（３）や図２（５）に示すように第三の画像のＲＧＢ画素配列３個の組に対して、第一の画像の画素毎のＲＧＢ何れか１要素を当て嵌める。

ピーキング処理部１１１は、入力された画像のエッジ成分を検出して、エッジが検出された画素の画素値を変更する処理を実施する回路であり、処理回路の例を図３（１）と（２）に示す。図３（１）は画像選択部１１０で第一の画像を選択した場合のピーキング処理回路図である。まず、入力された図４（１）に示す画像のＧ成分を使用して、図４（２）に示す太線で囲んだＧ成分を補間処理で生成する。

次に、図４（２）に示すＧ成分を全て使用したハイパスフィルタ（ＨＰＦ）処理でエッジ成分を抽出する。抽出したエッジ成分に対して所望のゲイン調整処理を実施した結果に、ピーキング表示用の色設定値をＧ成分、Ｂ成分、Ｒ成分各々乗算して、その結果をさらに元の入力画素値に加算する。出力画素値は、図３（１）に示す（選択１）で、上記ピーキング処理を実施した（入力１−１）または、元の入力画素値（入力１−２）の何れかを選択する。Ｇ成分は、補間処理した画像（入力２−１）または元の入力画像（入力２−２）を選択可能であり、（入力２−１）を選択した場合の出力画像例を図４（３）に、（入力２−２）を選択した場合の出力画像例を図４（４）に示す。

図４（３）、図４（４）の太線で囲んだ画素が、エッジ成分を抽出した画素を示している。図３（２）は画像選択部１１０で第二の画像を選択した場合のピーキング処理回路図であり、図３（１）とは入力画素値が輝度成分と色差成分である点が異なる。エッジ成分の抽出は輝度成分で実施し、ゲイン調整、ピーキング用画素値生成処理は図３（１）と同様である。

表示処理部１１２は、受信した第四の画像を表示装置１１３に出力するための同期信号を生成して第四の画像と共に出力する。同期信号は、画像水平方向同期信号、画像垂直方向同期信号、有効画像位置同期信号などが一般的である。

表示装置１１３は、表示処理部１１２で生成された制御信号で第四の画像を表示するＥＶＦやディスプレイである。ＥＶＦの画素配列は、図２（２）に示すストライプ配列や、図２（４）に示すデルタ配列などがある。

各記憶部はＤＲＡＭ等のメモリが使用されており、１個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。

なお、本特許では言及しないが、撮像素子駆動周期と各記憶部駆動周期とＥＶＦ駆動周期の同期を各々制御可能である構成が望ましい。例えば、撮像素子とＥＶＦの同期信号の遅延量を計測し、撮像素子駆動周期を基準として、各記憶部駆動周期、ＥＶＦ駆動周期の同期信号の遅延量が所定の範囲内に入るように調節する。撮像素子駆動周期とＥＶＦ駆動周期は、同一周期の場合は制御が容易であるが、同一周期に限定はしない。

以上の処理部により撮像装置が構成されている。

次に、動作フローについて本実施例のフローチャートを示した図５（１）に従いながら説明する。ステップＳ１００で撮影を開始する。ステップＳ１０１で画像処理部Ｄ１０９の出力する第二の画像を表示装置１１３に表示する。ステップＳ１０２でピーキング表示を選択した場合は、ステップＳ１０３でピーキング処理した画像を表示装置１１３に表示し、撮影者がフォーカス調整を実施する。

ステップＳ１０４で記録開始を選択した場合、ステップＳ１０５で記録を開始する。記録開始しない場合は、ステップＳ１０６で遅延改善表示の選択を行う。ステップＳ１０６で遅延改善表示しない場合は、ステップＳ１０２に戻り、遅延改善表示する場合は画像処理部Ａ１０２が出力する第一の画像を白黒表示として表示装置１１３に表示する。再度、色付きの画像表示に戻す選択をステップＳ１０８で実施し、戻さない場合は白黒表示の第一の画像でのピーキング表示選択をステップＳ１０２に戻り実施する。色付き画像に戻す場合は、ステップＳ１０１に戻って第二の画像を表示する。

遅延改善表示の選択は、シャッターボタンを撮影者が押した場合に自動的に選択される方法や、外部からの指示によって選択される方法などが考えられる。ピーキング表示の選択も同様に、シャッターボタンを撮影者が押した場合に自動的に選択される方法や、マニュアルフォーカス調整用の外部からの指示によって選択される方法などが考えられる。撮影者が画角調整やフォーカス調整を実施後、ステップＳ１０５でシャッターチャンスに合わせて記録を開始する。

＜実施例２＞
実施例２は、表示遅延改善画像を通常表示して、色を確認したい場合に、表示遅延は大きくなるが色の付いた画像に表示を切り替えて撮影する場合を例として説明する。まず、本実施例２の機能構成ブロック図は図１と等しく、各ブロック動作の説明は省略する。

次に、動作フローについて本実施例のフローチャートを示した図５（２）に従いながら説明する。ステップＳ２００で撮影を開始する。ステップＳ２０１で画像処理部Ａ１０２の出力する白黒の第一の画像を表示装置１１１に表示する。ステップＳ２０２でピーキング表示を選択した場合は、ステップＳ２０３でピーキング処理した画像を表示装置１１３に表示し、撮影者がフォーカス調整を実施する。

ステップＳ２０４で記録開始を選択した場合、ステップＳ２０５で記録を開始する。記録開始しない場合は、ステップＳ２０６で色付き画像を選択した場合は、ステップＳ２０７で第二の画像を表示装置１１３に表示する。ステップＳ２０６で色付き画像を表示しない場合は、ステップＳ２０２に戻る。再度、遅延改善画像表示に戻す選択をステップＳ２０８で実施し、戻さない場合は第二の画像でのピーキング表示選択をステップＳ２０２に戻り実施する。第一の画像に戻す場合は、ステップＳ２０１に戻って第一の画像を表示する。

遅延改善表示の選択は、シャッターボタンを撮影者が押した場合に自動的に選択される方法や、外部からの指示によって選択される方法などが考えられる。ピーキング表示の選択も同様に、シャッターボタンを撮影者が押した場合に自動的に選択される方法や、マニュアルフォーカス調整用の外部からの指示によって選択される方法などが考えられる。撮影者が画角調整やフォーカス調整を実施後、ステップＳ２０５でシャッターチャンスに合わせて記録を開始する。

１０１ 撮像センサー部
１００ レンズ群
１０３ 現像処理部

Claims (6)

1. 撮像手段と、
   前記撮像手段で取得した入力データを現像処理せずに第一の画像を生成する手段と、
   前記撮像手段で取得した入力データを現像処理して画像データを生成する現像処理手段と、
   前記撮像手段からの遅延時間が前記第一の画像と異なる第二の画像を前記現像処理した画像データから生成する手段と、
   前記第一の画像と前記第二の画像から表示用の第三の画像を選択する手段と、
   前記第三の画像のエッジ成分を抽出して合焦の程度を示す第四の画像を生成する手段と、
   表示用制御信号を生成する手段と、
   前記第四の画像を表示する手段を有することを特徴とする撮像装置。
2. 前記第四の画像を生成する手段は、第三の画像のＧ成分と補間処理で生成したＧ成分から高周波成分を抽出してエッジ成分を求め、抽出したエッジ成分の大きさによってエッジ成分が抽出された画素の画素値を変更することを特徴とする請求項１に記載の撮像装置。
3. 撮像手段と、
   前記撮像手段で取得した入力データを現像処理せずに第一の画像を生成する手段と、
   前記撮像手段で取得した入力データを現像処理して画像データを生成する現像処理手段と、
   前記撮像手段からの遅延時間が前記第一の画像と異なる第二の画像を前記現像処理した画像データから生成する手段と、
   前記第一の画像と前記第二の画像から表示用の第三の画像および表示用制御信号を生成する手段と、
   前記第三の画像を表示する手段を有することを特徴とする撮像装置および制御方法。
4. 前記第一の画像を生成する手段は、画素データの色成分の区別をせずに１色の画像データとして画像の大きさを変える処理を実施することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第三の画像を生成する手段は、第一の画像から生成する場合に、第三の画像の画素毎のＲＧＢ３要素に、第一の画像の画素毎のＲＧＢ何れか１要素を当てはめることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記第二の画像を生成する手段は、現像後の画像データにレンズの歪曲収差の補正処理とノイズ除去処理の両者またはどちらかの処理を実施することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。