JP2021064837A

JP2021064837A - 撮像装置

Info

Publication number: JP2021064837A
Application number: JP2019187191A
Authority: JP
Inventors: 伊藤　靖; Yasushi Ito; 靖伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2021-04-22

Abstract

【課題】ノイズの多い撮像画像の撮影時においても、ノイズに対するピーキング表示を低減できる撮像装置を提供すること。【解決手段】撮像装置は、撮像画像を取得する撮像素子部と、前記撮像画像を縮小する縮小処理部と、前記撮像画像のエッジ情報を抽出することでピーキング画像を出力するピーキング処理部と、前記撮像画像のノイズが多い場合に、前記縮小処理部で縮小された後の前記撮像画像のエッジ情報を抽出し、前記撮像画像のノイズが少ない場合に、前記縮小処理部で縮小される前の前記撮像画像のエッジ情報を抽出するように、前記エッジ抽出部を制御する制御部と、を有する。【選択図】図１

Description

本発明はピーキング機能を搭載した撮像装置に関する。

近年のカメラやビデオカメラ等の撮像装置は、ピーキング（フォーカスピーキング）機能を備えている。ピーキング機能とは、入力画像の信号に含まれている輝度信号から高周波成分を抽出して増幅したピーキング画像を元の入力画像に合成して合成画像を表示することで、ピント（フォーカス）が合った部分の輪郭を強調して表示する機能である。その合成画像を撮像装置のＥＶＦ（ｅｌｅｃｔｒｉｃｖｉｅｗｆｉｎｄｅｒ）や液晶モニター（背面モニター）にライブビュー表示することで、ユーザーにピントが合った部分を視覚的に知らせることができ、フォーカス調整が容易になる。

特許文献１には、表示画像の拡大率に応じて、現像前の画像データにピーキング処理するか、現像後の画像データにピーキング処理する画像処理装置が記載されている。

また、特許文献２には、表示画像の解像度に応じて、ピーキング処理前のリサイズのフィルタ特性を変更する画像処理装置が記載されている。

特開２０１５−１１１７７５号公報特開２０１３−２１９６２６号公報

しかし、高ＩＳＯ感度で撮像した撮像画像など、ノイズの多い撮像画像に対してピーキング処理すると、ノイズも高周波成分として抽出して増幅してしまう場合がある。その場合、ユーザーが、フォーカス調整を容易にできない可能性がある。

そこで、本発明は、ノイズの多い撮像画像の撮影時においても、ノイズに対するピーキング表示を低減できる撮像装置を提供することを目的とする。

その目的を達成するために、本発明の一側面としての撮像装置は、撮像画像を取得する撮像素子部と、前記撮像画像を縮小する縮小処理部と、前記撮像画像のエッジ情報を抽出することでピーキング画像を出力するピーキング処理部と、前記撮像画像のノイズが多い場合に、前記縮小処理部で縮小された後の前記撮像画像のエッジ情報を抽出し、前記撮像画像のノイズが少ない場合に、前記縮小処理部で縮小される前の前記撮像画像のエッジ情報を抽出するように、前記エッジ抽出部を制御する制御部と、を有することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

ノイズの多い撮像画像の撮影時においても、ノイズに対するピーキング表示を低減できる撮像装置を提供できる。

実施形態１のシステム図である。ピーキングの表示例である。実施形態１のフローチャート図である。実施形態２のシステム図である。コアリング処理説明図である。実施形態２のフローチャート図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
図１は、第１の実施形態に係る撮像装置を示している。撮像装置は、レンズ部１０１、撮像素子部１０２、撮像処理部１０３、記録部１０４、ピーキング生成部１２０、ピーキング生成部１２１、表示部１１０、操作部１１１、ＣＰＵ１１２、及び、制御部１１３を有する。

レンズ部１０１は、被写体像を撮像素子部１０２の撮像面上に結像する光学系を有し、ズーム機能、焦点調節機能、及び、絞り調節機能を備える。

撮像素子部１０２は多数の光電変換素子が配列された撮像素子を有し、レンズ部１０１によって結像された被写体光学像を画素単位の画像信号に変換する。撮像素子は例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサや、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサであってよい。

撮像処理部１０３は、撮像素子部１０２からの撮像画像データに対して、撮像素子部１０２に起因する傷などの補正をした後、記録・表示するための画像処理を行う。

記録部１０４は、画像処理部１０３からの撮像画像データを、図示しない、例えばＳＤカード等、記録メディアに記録する。

フォーカスアシスト機能について、図２を用いて説明する。図２（ａ）はフォーカスアシスト機能を施す前の元画像を示している。ここで、被写体の一部にフォーカスを合わせたい場合、ユーザーが操作部１１１を操作することで、フォーカスアシスト機能を有効する。これにより、図２（ｂ）に示すような、元画像のエッジ情報２０１が抽出及び強調され、表示部１１０には、図２（ｃ）のように、元画像２００にエッジ情報２０１が重畳された画像が表示される。エッジ情報２０１が表示された領域はフォーカスが合っていることを示しており、ユーザーが視覚的に合焦具合を知ることが可能となる。

ピーキング処理部（エッジ抽出部）１０５は、ＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタを有する。ピーキング処理部１０５には、図２（ａ）に示すような輝度信号、又は、ＲＧＢ現像信号等が入力され、図２（ｂ）に示すようなエッジ情報が出力される。また、ピーキング処理部１０５は、図示しないゲイン調整信号及び周波数調整信号により、ピーキング信号の強度及び周波数が調整可能に構成されている。

画像合成部１０６は、２つの画像を重畳して出力する機能を持ち、この場合、撮像処理部１０３の出力に、ピーキング処理部１０５の出力を重畳し、図２（ｃ）に示すような合成画像が出力される。

縮小処理部１０７は、後述する表示部１１０の表示解像度になるように、合成画像の解像度を低くする、すなわち、合成画像を縮小する機能を持つ。

ピーキング処理部（エッジ抽出部）１０８、画像合成部１０９はそれぞれ、ピーキング処理部１０５、画像合成部１０６と同様の機能を持つ。ここで、ピーキング処理部１０５、画像合成部１０６を、ピーキング生成部１２０と称し、ピーキング処理部１０８、画像合成部１０９を、ピーキング生成部１２１とする。

表示部１１０は、ＥＶＦ又は液晶モニターであり、表示パネル（有機ＥＬパネル、液晶パネル）を有する。不図示の表示制御部は、合成画像をライブビュー画像として表示部１１０に表示させる。

操作部１１１は、ユーザーが撮像装置の様々なパラメーターの操作を入力することが可能なユーザーインターフェースである。撮像装置のパラメーターとは、例えば、ＩＳＯ感度設定値、シャッタースピード設定値等である。

ＣＰＵ１１２は、操作部１１１からの信号を、制御部１１３へ送信する役割を持つ。また、撮像素子部１０２から得たセンサー光量に関する情報を、制御部１１３へ送信する役割も持つ。

制御部１１３は、ＣＰＵ１１２からの信号を受けて、ピーキング生成部１２０とピーキング生成部１２１の動作の有無を制御する。制御部１１３は、例えば内部にＡＬＵ（ＡＲＩＴＨＭＥＴＩＣａｎｄＬｏｇｉｃＵｎｉｔ）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータからなる。

制御部１１３による制御方法について、図３のフローチャートを用いて説明する。なお、この制御方法は、制御部１１３が、例えばＲＯＭに記憶されたプログラムを実行し、ピーキング生成部１２０、１２１を制御することにより実現される。

ｓ３０１で、制御部１１３は、ピーキング処理を開始する。

ｓ３０２では、制御部１１３は、ユーザーが操作部１１１で入力したパラメーターから画像データ内に占めるノイズ量の大小を決定する閾値ｍを設定する。

ｓ３０３では、制御部１１３は、入力画像のノイズ量を数値化してノイズ量（ｎ）を取得する（つまり、制御部１１３は、ノイズ取得部として機能する）。例えば、撮像素子１０２から直接的に得られるセンサー光量や、操作部１１１を通じて設定されたＩＳＯ感度設定値、シャッタースピード設定値等で間接的に取得する方法もある。

ここで、ピーキング生成部１２０とピーキング生成部１２１の違いについて説明する。

一般的に、暗い場所で撮影する場合、操作部１１１を通じてユーザーが設定、若しくは、撮像装置が周辺の輝度を感知し、ＩＳＯ感度を高い設定にすることで、撮像素子１０２の感度を上げる。これにより、暗い被写体を撮影することが可能になるが、反面、ＩＳＯ感度の設定値に比例して撮像素子１０２に起因したノイズが増加することが知られている。撮像素子１０２の出力にノイズが重畳されていると、ピーキング生成部１２０は、このノイズも高周波成分と判断し、図２（ｄ）のように、ノイズに対してもピーキングが検出されてしまう。

ピーキング生成部１２０とピーキング生成部１２１は、縮小処理部１０７の前段にあるか、後段にあるかの違いである。一般的な撮像装置では、表示部に表示する画像は、撮像画像を縮小したものであり、ピーキング生成部１２０で処理する画像の方が解像度が高い。

このため、解像度の高い画像に対してピーキング処理を行うピーキング生成部１２０は、高周波成分の検出精度が高い。その反面、情報量が多い分、ノイズ成分も検出されてしまう。一方、解像度の低い画像に対してピーキング処理を行うピーキング生成部１２１は、高周波成分の検出精度が低い。情報量が少なくなる分、ノイズ成分もある程度除去され、ノイズ成分の検出が少なくなる。

つまり、ピーキング生成部１２０では、ピーキングの検出精度を高められ、ピーキング生成部１２１では、ピーキングの検出精度は低くなるが、ノイズ検出の少ないピーキングの検出が可能になる。

ｓ３０４では、制御部１１３は、ｓ３０３を通じて得たノイズ量ｎに応じて、ピーキング生成部１２０、ピーキング生成部１２１を切り替える。具体的には、ｓ３０２で設定した閾値ｍと比較し、閾値ｍよりノイズ量ｎが小さい場合、ｓ３０５で、縮小処理部１０７の前段であるピーキング生成部１２０を活性化する。また、閾値ｍよりノイズ量ｎが大きい場合、ｓ３０６で、縮小処理部１０７の後段であるピーキング生成部１２１を活性化する。

ｓ３０７では、制御部１１３は、ピーキング処理を終了する。

このように、入力画像のノイズ量に応じて、ピーキング処理を行う画像の解像度を切り替えることで、ＩＳＯ感度に応じた、適切なピーキング表示が提供できる。

［実施形態２］
図４は、第２の実施形態に係る撮像装置を示しており、第１の実施形態に係る撮像装置から、ピーキング生成部１２０及び１２１をピーキング生成部１２００に置き換えた構成である。

ピーキング生成部１２００は、ピーキング処理部（エッジ抽出部）１０５０と画像合成部１０６０を有する。

ピーキング処理部１０５０は、ＦＩＲフィルタで構成され、入力信号には図２（ａ）に示すような輝度信号、ＲＧＢ現像信号等の入力信号が入力され、図２（ｂ）に示すようなエッジ情報が出力される。また、ピーキング処理部１０５０は、図示しないコアリング機能、ゲイン調整信号及び周波数調整信号により、ピーキング信号の強度及び周波数が調整可能なように構成されている。

ここで、コアリング機能について図５を用いて説明する。コアリング機能は、ピーキング処理部１０５内で生成したエッジ情報に対し、任意に設定した入力レベル（低減レベル）以下の信号を“０”に変換する機能である。図５（ａ）（ｂ）のグラフはそれぞれ、横軸は入力レベル、縦軸は出力レベルを示す。図５（ａ）は、コアリング機能を施していない図であり、５０１のように入力レベルに対して出力レベルがリニアに対応している。図５（ｂ）は、任意に設定した閾値５０２、５０３に対し、この値以下の信号については、“０”として出力される。これにより、ノイズのような小さなレベルの信号は、“０”に変換、つまり除去される。

画像合成部１０６０は、２つの画像を重畳して出力する機能を持ち、この場合、撮像処理部１０３の出力に、ピーキング処理部１０５の出力を重畳し、図２（ｃ）に示すような画像が出力される。

制御部１１３０は、ＣＰＵ１１２からの信号を受けて、ピーキング生成部１２００の動作を制御する。制御部１１３０は、例えば内部にＡＬＵ（ＡＲＩＴＨＭＥＴＩＣａｎｄＬｏｇｉｃＵｎｉｔ）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータからなる。

制御部１１３０による制御方法について、図６のフローチャートを用いて説明する。なお、この制御方法は、制御部１１３０が、例えばＲＯＭに記憶されたプログラムを実行し、ピーキング生成部１２００を制御することにより実現される。

ｓ６０１で、制御部１１３０はピーキング処理を開始する。

ｓ６０２では、制御部１１３０は、入力画像のノイズ量を数値化することでノイズ量（ｎ）を取得する（つまり、制御部１１３０は、ノイズ取得部として機能する）。例えば、撮像素子１０２から直接的に得られるセンサー光量や、操作部１１１と通じて設定されたＩＳＯ感度設定値、シャッタースピード設定値等で間接的に取得する方法もある。

ｓ６０３は、ｓ６０２で取得したノイズ量ｎから、コアリング処理（ノイズ低減処理）の閾値を算出し、設定する。具体的には、ａ＝α×ｎ、ｂ＝−α×ｎで算出する。ここで、ａは上限閾値５０２、ｂは下限閾値５０３、αは任意の係数である。

ｓ６０４は、ピーキング処理を行い、エッジ情報を抽出する。

ｓ６０５は、ｓ６０４の出力画像に対し、ｓ６０３での閾値を適用し、コアリング処理を行う。

ｓ６０６で、ピーキング処理が終了となる。

このように、入力画像のノイズ量に応じて、ノイズレベルに相当する小さなレベルの信号を“０”に変換することで、ＩＳＯ感度に応じた、適切なピーキング表示が提供できる。

なお、本実施形態ではノイズ低減処理としてコアリング処理を示したが、高周波ノイズを低減する処理としてローパスフィルタ処理を用いてもよい。なお、ローパスフィルタ処理を用いる場合には、入力画像のノイズ量に応じて、ローパスフィルタ処理の帯域幅を変更すればよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０１レンズ部
１０２撮像素子部
１０３撮像処理部
１０４記録部
１０５ピーキング処理部
１０６画像合成部
１０７縮小処理部
１０８ピーキング処理部
１０９画像合成部
１１０表示部
１１１操作部
１１２ＣＰＵ
１１３制御部

Claims

撮像画像を取得する撮像素子部と、
前記撮像画像を縮小する縮小処理部と、
前記撮像画像のエッジ情報を抽出することでピーキング画像を出力するピーキング処理部と、
前記撮像画像のノイズが多い場合に、前記縮小処理部で縮小された後の前記撮像画像のエッジ情報を抽出し、前記撮像画像のノイズが少ない場合に、前記縮小処理部で縮小される前の前記撮像画像のエッジ情報を抽出するように、前記エッジ抽出部を制御する制御部と、を有する
ことを特徴とする撮像装置。
前記撮像画像のノイズ量を取得するノイズ取得部を有し、
前記制御部は、前記ノイズ量が閾値より大きい場合に、前記縮小処理部で縮小された後の前記撮像画像のエッジ情報を抽出し、前記ノイズ量が閾値より小さい場合に、前記縮小処理部で縮小される前の前記撮像画像のエッジ情報を抽出するように、前記ピーキング処理部を制御する
ことを特徴とする請求項１に記載の撮像装置。
前記撮像画像と前記ピーキング画像とを合成することで合成画像を出力する画像合成部を有する
ことを特徴とする請求項１又は２に記載の撮像装置。
前記ピーキング処理部は、
前記縮小処理部で縮小される前の前記撮像画像のエッジ情報を抽出することで第１のピーキング画像を出力する第１のピーキング処理部と、
前記縮小処理部で縮小された後の前記撮像画像のエッジ情報を抽出することで第２のピーキング画像を出力する第２のピーキング処理部と、を有する
ことを特徴とする請求項３に記載の撮像装置。
前記画像合成部は、
前記縮小処理部で縮小される前の前記撮像画像と前記第１のピーキング画像とを合成する第１の画像合成部と、
前記縮小処理部で縮小された後の前記撮像画像と前記第２のピーキング画像とを合成する第２の画像合成部と、を有する
ことを特徴とする請求項４に記載の撮像装置。
撮像画像を取得する撮像素子部と、
前記撮像画像のエッジ情報を抽出し、前記エッジ情報にノイズ低減処理を行うことで、ピーキング画像を出力するピーキング処理部と、
前記撮像画像と前記ピーキング画像とを合成することで合成画像を出力する画像合成部と、
前記合成画像を縮小する縮小処理部と、
前記撮像画像のノイズ量を取得するノイズ取得部と、を有し、
前記ピーキング処理部は、前記ノイズ量に基づいて、前記ノイズ低減処理の低減レベルを変更する
ことを特徴とする撮像装置。
前記ノイズ低減処理は、コアリング処理を含み、
前記ピーキング処理部は、前記ノイズ量に基づいて、前記コアリング処理の閾値を変更する
ことを特徴とする請求項６に記載の撮像装置。
前記ノイズ低減処理は、フィルタ処理を含み、
前記ピーキング処理部は、前記ノイズ量に基づいて、前記フィルタ処理の帯域を変更する
ことを特徴とする請求項６又は７に記載の撮像装置。
前記合成画像を表示部に表示する表示制御手段を有する
ことを特徴とする請求項３又は６に記載の撮像装置。
前記表示制御手段は、前記合成画像をライブビュー画像として前記表示部に表示する
ことを特徴とする請求項９に記載の撮像装置。