JP2010010881A

JP2010010881A - 撮影装置および画像中のモアレ有無の告知方法

Info

Publication number: JP2010010881A
Application number: JP2008165581A
Authority: JP
Inventors: Akihiro Kubota; 明広窪田
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2008-06-25
Filing date: 2008-06-25
Publication date: 2010-01-14

Abstract

【課題】撮影して得られる画像にモアレが生じる際に事前に告知する。
【解決手段】ライブビュー画像モアレ判定部１１８は、ライブビュー画像中にモアレを生じるか否かを判定する。高解像画像モアレ判定部１２０は、ライブビュー画像よりも高い解像度を有していて記録用の画像データである記録画像データと同等の解像度を有する高解像画像データで形成される高解像画像中にモアレを生じるか否かを判定する。ＣＰＵ１４６は、ライブビュー画像モアレ判定部１１８でライブビュー画像中にモアレを生じると判定され、高解像画像モアレ判定部１２０でモアレを生じないと判定されたときに、記録画像データではモアレを生じないことを撮影者に告知する。
【選択図】図１

Description

本発明は、撮影装置、および撮影装置で撮影して得られる画像中のモアレ有無の告知方法に関する。

デジタルスチルカメラやデジタルムービーカメラ等のデジタルカメラには、モニタディスプレイ装置や電子ビューファインダ（以下、本明細書中では電子ビューファインダを「ＥＶＦ」と称する）等がファインダ装置として搭載されることが多い。モニタディスプレイ装置やＥＶＦには、撮像素子から得られた画像信号をもとに生成された画像データに基づく画像が表示される。この表示内容を適宜の時間間隔、たとえば１／３０秒、１／５０秒と云った時間間隔で更新することができる。これにより、撮影者はモニタディスプレイ装置やＥＶＦに表示される画像を見ることで撮影に際してのフレーミングを容易に行うことができる。撮影に際して上述のように比較的短い時間間隔で表示画像を更新することは、「ライブビュー表示」などと称される。

撮像素子の画素数は年々増加する傾向にある。そのため、上述したライブビュー表示を行う際に、全画素から画像信号を読み出して画像処理をし、表示をすると１フレームの表示に要する処理時間が長くなり、スムーズなライブビュー表示を行うことは難しい。このような問題に対処する方法として「画素間引き読み出し」と称される技術を用いることが知られている。以下では、画素間引き読み出しによって得られた画像信号からライブビュー表示のために生成される画像データを「ライブビュー画像データ」と称する。

多数の画素が所定の配列ピッチで離散的（非連続的）に配列された撮像素子上に形成される被写体像をキャプチャし、サンプリングを行う場合、被写体像の有する空間周波数によってはモアレを生じることがある。このモアレは、使用される撮像素子上に配列される画素の画素ピッチ（空間サンプリング周期）の１／２で決定されるナイキスト限界以上の空間周波数成分を被写体像が有しているときに生じることが知られている。このとき、撮像素子の受光面上に形成される被写体像が合焦状態に近づくほど被写体像の空間周波数が上昇するので、モアレを生じやすくなることも知られている。

上記のモアレを抑制するための方法として、特許文献１には光学的ローパスフィルタ（以下では光学的ローパスフィルタを「ＯＬＰＦ」と称する）を用いて被写体像の空間周波数に上限を設ける方法が開示されている。また、この特許文献１には、低解像度および高解像度のうち、いずれかの解像度で画像信号処理を行うことが可能なビデオカメラで、選択される解像度に応じてＯＬＰＦのカットオフ周波数を切り替え可能な構成が開示されている。

また、モアレを抑制するための別の方法として、特許文献２には撮像素子の受光面上に形成される被写体像の焦点位置が一致しているときに得られる画像データと、焦点位置をずらしたときに得られる画像データとを用いて画像処理を行い、モアレを目立ちにくくする技術が開示される。
特開平３−２２６０７８号公報特開平１０−２７６３５０号公報

上述した特許文献１に開示されるものでは、ビデオカメラが有する複数の撮影モードに応じて複数のＯＬＰＦを備える必要がある。また、撮影モードが切り替えられるのに応じて、ＯＬＰＦを切り替えるための機構が必要となる。

また、引用文献２に開示されるものでは、モアレ低減処理をする際に、生成される画像データ中で、空間周波数の高い成分の情報が失われてしまう可能性がある。

本発明は上述した課題に鑑み、なされたもので、複雑な構成を必要とすることなく、そして撮影して得られる画像データの劣化を招くことなく、画像データにモアレを生じるのを効果的に抑制可能とすることを目的とする。

（１）本発明は撮影装置に適用される。そしてこの撮影装置が、
撮像面上に形成された被写体像に基づく画像信号を複数種類の解像度で出力可能な撮像素子であって、第１の解像度と、前記第１の解像度よりも高い少なくとも第２の解像度で出力可能な撮像素子と、
前記撮像素子から前記第１の解像度で出力された画像信号に基づいて、ライブビュー表示用の画像データであるライブビュー画像データを生成するライブビュー画像データ生成部と、
前記撮像素子から前記第２の解像度で出力された画像信号に基づいて、記録用の画像データである記録画像データと同等の解像度を有する高解像度画像データを生成する高解像画像データ生成部と、
前記ライブビュー画像データに基づき、モアレの有無を判定する、第１のモアレ判定部と、
前記高解像画像データに基づき、モアレの有無を判定する第２のモアレ判定部と、
前記第１のモアレ判定部でモアレがあると判定され、かつ前記第２のモアレ判定部でモアレは無いと判定されたときに、前記記録画像データではモアレを生じないことを告知するモアレ告知制御部と
を有することにより上述した課題を解決する。
（２）本発明はまた、画像中のモアレ有無の告知方法に適用され、この方法は、撮像面上に形成された被写体像に基づく画像信号を複数種類の解像度で出力可能な撮像素子であって、第１の解像度と、前記第１の解像度よりも高い少なくとも第２の解像度で出力可能な撮像素子から、前記第１の解像度で出力された画像信号に基づいて、ライブビュー表示用の画像データであるライブビュー画像データを生成することと、
前記撮像素子から、前記第２の解像度で出力された画像信号に基づいて、記録用の画像データと同じ解像度を有するデータである高解像画像データを生成することと、
前記ライブビュー画像データに基づいてモアレの有無を判定することと、
前記高解像画像データに基づいてモアレの有無を判定することと、
前記ライブビュー画像データに基づいてモアレが有ると判定され、かつ前記高解像画像データに基づいてモアレが無いと判定された場合に、前記記録画像データではモアレが生じないことを告知することと
を有する。

（１）本発明によれば、ライブビュー画像データに基づいてモアレがあると判定され、かつ高解像画像データに基づいてモアレは無いと判定されたときに、記録画像データではモアレを生じないことを告知する。例えば、撮影者がライブビュー画像を観ながら撮影するような状況で、ライブビュー画像にモアレが生じていても、高解像画像データに基づいてモアレは無いと判定されたときには、記録画像データではモアレを生じないことが告知される。そのため、ライブビュー画像中にモアレが生じるような状況であっても、撮影者は記録画像データではモアレを生じないことを知ることができるので、安心して撮影操作を続行することが可能となる。そして、モアレの抑制された記録画像データを容易に得ることが可能となる。

図１は、本発明の実施の形態に係る撮影装置１００の概略的構成を説明するブロック図である。撮影装置１００は、静止画を撮影可能なもの、動画を撮影可能なもの、あるいは両方の撮影が可能なものとすることができる。撮影装置１００は、撮影レンズ１０２と、撮像素子１０４と、画像信号処理部１０６と、タイミング発生部１２２と、画像表示部１２４と、システムバス１４０と、レンズ駆動部１４２と、シーン変化判定部１４４と、ＣＰＵ１４６と、振動センサ１４８と、操作スイッチ１５０と、ズームエンコーダ１６０とを有する。上記の構成要素は、システムバス１４０を介して電気的に接続される。撮影装置１００はまた、メモリ制御部１５２と、メモリ１５４と、インターフェース１５６とを有する。メモリ制御部１５２およびインターフェース１５６も、システムバス１４０を介して上述した構成要素と電気的に接続されている。メモリ１５４は、メモリ制御部１５２、システムバス１４０を介して上述した構成要素と電気的に接続されている。インターフェース１５６は、フラッシュメモリや小型ハードディスクドライブ等で構成される記憶媒体１５８を着脱自在に接続することが可能に構成される。

撮影レンズ１０２は、ＣＣＤあるいはＣＭＯＳイメージセンサ等で構成される撮像素子１０４の撮像面上に被写体像を形成する。撮影レンズ１０２は、焦点距離をユーザの設定に応じて変更可能な可変焦点距離レンズである。撮像素子１０４は、上記のようにＣＣＤやＣＭＯＳイメージセンサ等で構成される二次元イメージセンサを用いることができる。本実施の形態において撮像素子１０４は、内部にＣＤＳ、Ａ／Ｄ変換等の処理ブロックを有してディジタルの画像信号を出力可能なＣＭＯＳイメージセンサであるものとして説明をする。

撮像素子１０４は、複数種類の解像度で画像信号を出力することが可能に構成されている。例えば、撮像素子１０４はライブビュー画像表示用の解像度と、記録画像生成のために用いられる、ライブビュー画像表示用の解像度に比して高い解像度で画像信号を出力することが可能である。ライブビュー画像表示用の画像信号は、比較的低解像度（例：水平６４０画素、垂直４８０画素）ではあるものの、撮像素子１０４から読み出す情報量が減るので、比較的高速のフレームレート（フィールド読み出しの場合にはフィールドレート）で画像信号を読み出すことが可能である。これにより、ライブビュー画像のフレームレート（フィールドレート）を比較的高めに設定してスムーズなライブビュー画像を表示することが可能となる。

記録画像生成のために用いられる画像信号は、ライブビュー画像表示用の画像信号で得られる解像度に比して高い解像度（例：水平４，０００画素、垂直３，０００画素）を有する（以下、本明細書中では記録画像生成のために撮像素子１０４から出力される、比較的高い解像度を有する画像信号を「高解像画像信号」と称する。また、この高解像画像信号で生成される画像、画像データをそれぞれ「高解像画像」、「高解像画像データ」と称する。）。高解像画像信号の読み出しには、撮像素子１０４から読み出す情報量が増えるので、時間がかかる上、画像信号の処理にも時間を要する。撮像素子１０４は、記録画像生成のために用いられる高解像画像信号として複数種類の解像度、複数種類のアスペクト比のうち、任意の形態で画像信号を出力可能に構成されたものとすることができる。しかし、本明細書中では説明の単純化を目的として、ライブビュー画像表示用の画像信号は水平方向に６４０画素、垂直方向に４８０画素の画素数を有し、高解像画像信号は水平方向に４，０００画素、垂直方向に３，０００画素の画素数を有するものとして説明をする。

撮像素子１０４から出力されるディジタルの画像信号は、メモリ制御部１５２を介してメモリ１５４に一時的に保管される。メモリ１５４は、画像信号処理部１０６が画像処理を行う際のバッファメモリとしても用いられるので、書き込み・読み出しの速度が速いことが望ましく、例えばＤＲＡＭで構成することが可能である。メモリ１５４へは、システムバス１４０を介して撮像素子１０４、画像信号処理部１０６、ＣＰＵ１４６、画像表示部１２４がアクセス可能に構成される。メモリ制御部１５２は、上述した構成要素からのメモリアクセス要求を調停する機能を有する。

画像信号処理部１０６は、特定用途向けの集積回路（ＡＳＩＣ）等で構成することが可能である。この画像信号処理部１０６は、同時化処理部１０８と、画像データ生成部１１０と、モアレ判定部１１６とを有する。同時化処理部１０８は、撮像素子１０４から出力されてメモリ１５４に一時的に保管されたディジタルの画像信号に同時化の処理（デモザイク処理）を行う。

画像データ生成部１１０は、ライブビュー画像データ生成部１１２と高解像画像データ生成部１１４とを有する。図１中、ライブビュー画像データ生成部１１２は「ＬＶ画像データ生成部」と表記されている（ＬＶ：ＬｉｖｅＶｉｅｗ）。同じく、高解像画像データ生成部１１４は「ＨＲ画像データ生成部」と表記されている（ＨＲ：ＨｉｇｈＲｅｓｏｌｕｔｉｏｎ）。撮像素子１０４からライブビュー画像表示用の画像信号が出力されているとき、ライブビュー画像データ生成部１１２は、同時化処理部１０８から出力される画像データに対してホワイトバランス調整、階調・レベル補正、アンシャープマスク、シェーディング補正等の処理をしてライブビュー表示用のディジタル画像データ（本明細書中では、これを「ライブビュー画像データ」と称する）を生成する。撮像素子１０４から高解像画像生成用の画像信号が出力されているとき、高解像画像データ生成部１１４は、同時化処理部１０８から出力される画像データに対してホワイトバランス調整、階調・レベル補正、アンシャープマスク、シェーディング補正等の処理をして高解像画像データを生成する。

高解像画像データ生成部１１４で生成された高解像画像データは、記録画像データとして画像信号処理部１０６において必要に応じてＪＰＥＧ圧縮され、インターフェース１５６を介して記憶媒体１５８に記録される。高解像画像データ生成部１１４で生成された高解像画像データはまた、必要に応じて高解像画像モアレ判定部１２０に出力される。一方、ライブビュー画像データ生成部１１２で生成されたライブビュー画像データは、画像表示部１２４、ライブビュー画像モアレ判定部１１８に出力される。ライブビュー画像データ生成部１１２で生成されるライブビュー画像データはまた、後述するシーン変化判定部１４４に出力することも可能に構成される。

モアレ判定部１１６は、ライブビュー画像モアレ判定部１１８と高解像画像モアレ判定部１２０とを有する。図１中、ライブビュー画像モアレ判定部１１８は「ＬＶ画像モアレ判定部」と表記されている。同様に、高解像画像モアレ判定部１２０は「ＨＲ画像モアレ判定部」と表記されている。ライブビュー画像データ生成部１１２でライブビュー画像データが生成されるときに、ライブビュー画像モアレ判定部１１８はライブビュー画像データに基づいてモアレの有無を判定することができる。一方、高解像画像データ生成部１１４で高解像画像データが生成されるときには、高解像画像モアレ判定部１２０は高解像画像データに基づいてモアレの有無を判定することができる。モアレ判定部１１６（ライブビュー画像モアレ判定部１１８、高解像画像モアレ判定部１２０）におけるモアレの有無の判定処理の方法としては、画像データ生成部１１０で生成される画像データに対して二次元フーリエ変換の処理を行う方法を用いることが可能である。

ここで図２を参照して二次元フーリエ変換について説明する。図２の（ａ）は、モアレを生じていない画像の例を示す。図２の（ｂ）は、図２（ａ）に示す画像の画像データを二次元フーリエ変換して得られるパワースペクトルをプロットした様子を概念的に描いたものである。図２の（ｃ）は、被写体の胴体部分にモアレを生じている画像の例を示す。図２の（ｄ）は、図２の（ｃ）に示す画像の画像データを二次元フーリエ変換して得られるパワースペクトルを概念的に描いたものである。

図２の（ａ）、（ｃ）に示されるようにｘ座標およびｙ座標をとり、画像（座標ｘ、ｙにおける画素値）をＦ（ｘ，ｙ）で表したときの二次元フーリエ変換Ｆ（ｕ，ｖ）は、以下のように定義される。

上記の式において、ｊ＝√（−１）であり、ｕはｘ方向の、ｖはｙ方向の空間周波数を表す。図２の（ａ）、（ｃ）に示される画像をＦ（ｘ，ｙ）で表して、上記の式（１）を用いて二次元フーリエ変換を行い、Ｆ（ｕ，ｖ）を求めてｕ，ｖの座標系にプロットしたものが図２の（ｂ）、（ｄ）に示されるパワースペクトルである。

図２の（ｂ）、（ｄ）において、グラフの中心部分にプロット点がある場合、それはｕ＝ｖ＝０、すなわち画像中に空間周波数が０（ｌｉｎｅｓ／ｍｍまたはｌｉｎｅｐａｉｒｓ／ｍｍ）の成分を含んでいることを示す。逆にグラフの周縁部分にプロット点がある場合、それは画像中に空間周波数の比較的高い成分を含んでいることを表す。図２の（ａ）に示されるような画像からは、図２の（ｂ）に示されるようなパワースペクトルが得られるのが一般的である。すなわち、画像には低い空間周波数のスペクトルを比較的多く含み、空間周波数が高くなるにつれてそのスペクトル強度が減少する傾向にある。一方、画像中に窓枠、水平線などの画像のような、特定の方向に沿って延びる直線成分を多く含んでいたりすると、それに応じてパワースペクトルのパターンも特異の形状を呈する。

被写体としての人物がチェック柄のような、比較的細かく、周期的なパターンの模様を有する服を着用していたりすると、その記録画像は図２の（ｃ）に示されるようにモアレを生じることがある。画像中にモアレを生じていると、図２の（ｄ）に示されるように、グラフの上下左右対称の位置に特異なスペクトルパターンＳが現れる。ライブビュー画像モアレ判定部１１８、高解像画像モアレ判定部１２０はそれぞれ、ライブビュー画像データ生成部１１２、高解像画像データ生成部１１４から出力される画像データに対して上述した二次元フーリエ変換の処理を行う。ライブビュー画像モアレ判定部１１８はライブビュー画像データを、高解像画像モアレ判定部１２０は高解像画像データを、それぞれ二次元フーリエ変換して得られた結果に基づいて、モアレの有無を判定する。このとき、ライブビュー画像データ、高解像画像データを複数のエリアに細分化し、細分化されたエリアごとに二次元フーリエ変換することにより、画面内のどこでモアレを生じているかを検出することが可能となる。

ところで、ライブビュー画像表示用の画像信号を出力する場合、撮像素子１０４はいわゆる画素間引きの技術を用いて低解像度の画像信号を出力する。画素間引きが行われているときには、サンプリング（撮像）に係る画素の数が減じられることにより、撮像素子の画素の配列ピッチが実質的に増す（粗になる）。すなわち、空間サンプリング周波数が低下し、その結果ナイキスト限界の空間周波数も低下する。このことは、被写体像の空間周波数が、高解像画像ではモアレを生じない程度のものであっても、ライブビュー画像ではモアレを生じる場合があることを意味する。モアレ判定部１１６がライブビュー画像モアレ判定部１１８と高解像画像モアレ判定部１２０とを有するのは、このような場合があることに対応するためである。ＣＰＵ１４６がモアレ判定実行の指令信号を発するのに応じてモアレ判定部１１６でモアレ判定動作が実行される。そしてモアレ判定部１１６によるモアレ判定の結果はＣＰＵ１４６に出力される。

画像表示部１２４は、カラー液晶表示（ＬＣＤ）パネルまたは有機ＥＬ（ＯＥＬ）ディスプレイパネルなどで構成される表示素子１２８と、この表示素子１２８に画像を表示する処理を行う表示制御部１２６とを有する。表示制御部１２６は、画像信号処理部１０６で生成された画像データに基づく画像を上記表示素子に表示する処理を行う。表示素子１２８としては、小型のディスプレイパネルに表示される画像を、拡大光学系を介して覗くＥＶＦ（＝ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）であってもよい。あるいは、撮影装置１００の背面や側面等に設けられたモニタ表示パネルであってもよい。また、これらのＥＶＦ、モニタ表示パネルを両方とも有していて、撮影者がどちらを用いるか選択可能に構成されていてもよい。

ＣＰＵ１４６は、撮影装置１００の動作を全体的に統括して制御する機能を有する。例えば、自動露光に係る測光、露光量演算等の一連の動作、フラッシュユニット用メインコンデンサの充電、フラッシュの発光量調節、撮影レンズ１０２のズーム駆動、フォーカシング、撮影者による撮影モードの設定操作受付、画像表示部１２４への制御信号の送出、シャッタ（不図示）の開閉、絞り（不図示）の開度の制御等がＣＰＵ１４６によって行われる。ＣＰＵ１４６はまた、画像信号処理部１０６に対してライブビュー画像表示処理、画像記録処理、および再生表示処理のいずれかを行う指令も発する。

操作スイッチ１５０は、ユーザによるズーム操作、撮影操作、動作モード切り替え操作等を受け付けるためのスイッチである。振動センサ１４８は、撮影装置１００に加わる振動を検出するためのセンサである。撮影装置１００は、撮像素子１０４をその受光面に平行な面内で互いに直交する２軸方向に沿って駆動可能な撮像素子シフト機構を有することができる。その場合、ＣＰＵ１４６は、振動センサ１４８から入力された信号と、現状で設定されている撮影レンズ１０２の焦点距離とに応じて、像のブレ量およびブレ方向を求める。ＣＰＵ１４６は、求められた像のブレ量を打ち消すように撮像素子シフト機構を駆動することにより、いわゆる手ぶれを減少させることができる。あるいは、撮影レンズ１０２中のレンズエレメントを撮像素子の受光面に平行な面内で互いに直交する２軸方向に沿って駆動可能なレンズシフト機構を有していても良い。ＣＰＵ１４６は、求められた像のブレ量を打ち消すようにレンズシフト機構を駆動することにより、手ぶれを減少させることができる。

レンズ駆動部１４２は、ＣＰＵ１４６から出力される制御信号に基づき、撮影レンズ１０２に組み込まれるズーム駆動、フォーカシング駆動、シャッタ駆動、絞り駆動用の各アクチュエータを駆動する。

シーン変化判定部１４４の説明に先立ち、ここでシーン変化について説明する。シーン変化とは、撮影シーンの変化、すなわち撮影レンズ１０２を通して撮像素子１０４によって撮像されるシーンの変化を意味する。例えば、ユーザがカメラを上下左右いずれかの方向に沿って構図を変える操作（パン操作、ティルト操作）をした場合、シーンの変化はあったと判定することができる。ユーザが操作スイッチ１５０を操作して撮影レンズ１０２の焦点距離を変化させた場合（ズーム操作をした場合）にもシーンの変化はあったと判定することができる。また、撮影レンズ１０２がズームリングを備えていて、ユーザの手動操作により焦点距離を変えることが可能に構成されていてもよい。この場合、撮影レンズ１０２中に備えられるズームエンコーダ１６０からの信号が変化したことを検出することによりシーンの変化があったと判定することができる。

ユーザが撮影装置１００と被写体との間の距離を変えた場合も、シーンの変化はあったと判定することができる。また、撮影レンズ１０２の焦点調節動作が実行されて合焦距離が変化した場合も、シーンの変化はあったと判定することができる。この場合、撮影レンズ１０２の焦点調節用レンズ素子又はレンズ群の光軸方向に沿う移動量をエンコーダ等によって検出することによりシーン変化の有無を検出することができる。さらに、撮影装置１００が固定されており、かつ、ユーザがズームや焦点調節に係る操作をしていない場合であっても、被写体が動いた場合にはシーンの変化はあったと判定することができる。

ある時点で、撮像素子１０４から出力される画像信号に基づいて生成される画像（画像データ）にモアレを生じていなかった場合、その後シーン変化が無いと判定される限り、モアレ発生の可能性は少ないと考えることができる。同様に、ある時点で撮像素子１０４から出力される画像信号に基づいて生成される画像（画像データ）にモアレを生じていた場合、その後シーン変化が無いと判定される限り、引き続きモアレを生じている可能性は高いと考えることができる。逆に、シーンの変化があったと判定されれば、モアレ有無の状況が変化する可能性は高まる。つまり、シーンの変化があれば、それに応じてモアレ有無の状況が変化しうる。

画像信号処理部１０６（ライブビュー画像モアレ判定部１１８）の処理能力に余裕がある場合、ライブビュー画像データ生成部１１２から所定の時間間隔、たとえば１／３０秒、１／６０秒といった比較的短い時間間隔で出力されるライブビュー画像データに対してモアレ有無の判定を行うための画像処理をすることができる。しかし、画像信号処理部１０６の処理能力に余裕が無い場合、上記のように比較的短い時間間隔でモアレ有無判定の処理を行うと、表示素子１２８に表示されるライブビュー画像に乱れ（例えばコマ落ち）を生じる可能性がある。そのようなことが懸念される場合には、一度モアレ有無の判定が行われた後、シーン変化判定部１４４でシーン変化があったと判定されるまでの間はモアレ有無の判定動作を省略することがよりスムーズなライブビュー画像表示をする上で望ましい。

シーン変化判定部１４４は、シーン変化判定用に備えられた専用のＡＳＩＣ（特定用途向けＩＣ）やロジック回路として実施することも、画像信号処理部１０６に含まれるかたちで実施することも、ＣＰＵ１４６によって解釈・実行されるソフトウェアによって実施することも可能である。

シーン変化判定部１４４が画像信号処理部１０６に含まれる場合、あるいはＡＳＩＣやロジック回路で実施されるような場合、このシーン変化判定部１４４はライブビュー画像データ生成部１１２から出力されるライブビュー画像データを処理することが可能に構成されたものとすることができる。この場合、シーン変化判定部１４４は二つの異なるタイミングで生成されたライブビュー画像データ同士を比較し、シーン変化の有無を判定する。シーン変化の有無判定のためには、公知の動きベクトル検出の技術を用いることができる。そして、求められた動きベクトルの大きさに基づいてシーン変化の有無を判定することができる。動きベクトルの大きさに基づいてシーン変化の有無を判定すると、撮影装置１００がパン操作、ティルト操作された場合に加え、撮影装置１００が三脚等に固定されていて被写体だけが動いているような場合でもシーン変化の有無を判定することができる。

シーン変化判定部１４４がＣＰＵ１４６によって解釈・実行されるソフトウェアによって実施される場合、ＣＰＵ１４６が以下のような方法によりシーン変化の有無を判定することができる。すなわち、ユーザが操作スイッチ１５０を操作して撮影レンズ１０２の焦点距離を変化させたことをＣＰＵ１４６が検出し、その検出結果からシーン変化があったと判定することができる。あるいは、レンズ駆動部１４２を介して撮影レンズ１０２の焦点調節動作をＣＰＵ１４６が実行したときに、ＣＰＵ１４６はシーン変化があったと判定することができる。また、振動センサ１４８から出力される信号を適宜の時間間隔で積算し、その積算値が所定の量、例えば現状で設定されている撮影レンズ１０２の焦点距離に対応する画角の半分の角度だけ撮影装置１００が振られたのに対応する量を超したときにシーン変化があったと判定することが可能となる。

ＣＰＵ１４６はさらに、ズームエンコーダ１６０の信号パターンが変化したのを検知してシーン変化があったと判定することができる。その他、撮影モードの切り替え操作、メニュー切り替え操作、フラッシュ発光モードの切り替え操作、レリーズ操作、撮影に際しての各種露光パラメータ（絞り、シャッタ速度、撮像素子の設定感度、露出補正等）の切り替え操作等を検出することによってもＣＰＵ１４６はシーン変化があったと判定することが可能である。ＣＰＵ１４６はまた、ある判定タイミングから次の判定タイミングまでの間に経過する時間の長短によってシーン変化の有無を判定することもできる。

図３は、本発明の実施の形態に係る撮影装置１００が一眼レフタイプのスチルカメラとして実施される例を示す。図３には撮影装置の背面側の外観が示されている。撮影装置１００の背面には複数の操作スイッチ１５０ａ、１５０ｂ、…１５０ｋ、１５０ｍが設けられる。以下ではこれらの操作スイッチを包括的に「操作スイッチ１５０」と称する。撮影者がこれらの操作スイッチ１５０を操作することにより、上述した撮影モードの切り替え、メニュー切り替え、フラッシュ発光モードの切り替え、レリーズ、撮影に際しての各種露光パラメータ（絞り、シャッタ速度、撮像素子の設定感度、露出補正等）の切り替え等の操作をすることができる。

撮影装置１００の背面にはまた、接眼部３０１と表示素子１２８とが設けられる。通常の撮影モードにおいては、ユーザは接眼部３０１に眼をあてて撮影装置１００の内部に設けられるファインダスクリーン上に形成される被写体像を覗きながら構図決定をする。

撮影装置１００はまた、ユーザが操作スイッチ１５０を操作することにより、ライブビュー撮影モードを選択することができる。ライブビュー撮影モードでは、撮像素子１０４で捉えられる被写体像をほぼリアルタイムで表示素子１２８に表示することができる。以下では、撮影装置１００はライブビュー撮影モードに設定されていて、ユーザは表示素子１２８に表示されるライブビュー画像を見ながら構図を確認し、撮影操作をするものとして説明をする。

以下で説明する第１から第４の実施の形態に係る撮影装置１００は、図１〜図３を参照して以上に説明した構成を共通して有する。第１から第４の実施の形態における相違点は、撮影装置１００内で行われる処理内容とモアレ有無の告知の形態にある。

−第１の実施の形態−
以下、画像信号処理部１０６およびＣＰＵ１４６での処理内容を中心に、本発明の第１の実施の形態に係る撮影装置１００について説明をする。図４は、ＣＰＵ１４６で実行されるライブビュー画像表示処理の手順を概略的に示すフローチャートである。図４に示される処理は、撮影装置１００がライブビュー撮影モードに設定されているときに略一定の時間間隔で繰り返し実行される。図４に示されるフローチャート中、高解像画像は「ＨＲ画像」と表記されている。

Ｓ４００においてＣＰＵ１４６は、モアレ検出許可フラグを”１”にセットする。このモアレ許可フラグは、”１”にセットされているとモアレ検出動作が許可される一方、”０”にセットされているとモアレ検出動作が禁止される。Ｓ４０２においてＣＰＵ１４６は、ライブビュー画像取得のための条件を設定する。すなわち、ＣＰＵ１４６は、撮像素子１０４に制御信号を出力し、撮像素子１０４の画像信号読み出しモードを画素間引き読み出しモードに設定する。この画素間引き読み出しによって高速読み出し、すなわち１フレーム、あるいは１フィールドあたりの画像信号読み出しに要する時間を短縮させて画像信号を読み出すことが可能となる。ＣＰＵ１４６はまた、画像信号処理部１０６に制御信号を出力し、画像信号処理部１０６の動作モードを、ライブビュー画像を表示素子１２８に表示するモードに設定する。

Ｓ４０４においてＣＰＵ１４６は、モアレ検出フラグが、”１”（モアレ検出動作「許可」に対応）であるか、”０”（モアレ検出動作「禁止」に対応）であるかを判定する。Ｓ４０４でモアレ検出許可フラグが”１”である、すなわちモアレ検出動作が許可されていると判定されると処理はＳ４０６に進む。一方、Ｓ４０４でモアレ検出許可フラグが”０”である、すなわちモアレ検出動作が禁止されていると判定されると処理はＳ４１２に進む。

モアレ検出フラグが”１”であると判定されたときの分岐先であるＳ４０６においてＣＰＵ１４６は、ライブビュー画像モアレ判定部１１８からモアレ判定結果を取得する。Ｓ４０８においてＣＰＵ１４６は、ライブビュー画像モアレ判定部１１８から取得したモアレ判定結果に基づき、ライブビュー画像中にモアレを生じているか否かを判定する。Ｓ４０８での判定処理の結果、ライブビュー画像にモアレが有ると判定されると処理はＳ４２２に進む。一方、Ｓ４０８での判定処理の結果、ライブビュー画像にモアレが無いと判定されると処理はＳ４１０に進む。

ライブビュー画像にモアレを生じているとＳ４０８で判定されたときの分岐先であるＳ４２２においてＣＰＵ１４６は、高解像画像取得のための条件を設定する。すなわち、ＣＰＵ１４６は、撮像素子１０４に制御信号を出力し、撮像素子１０４の画像信号読み出しモードを高解像度読み出しモードに設定する。本明細書において、高解像度読み出しモードとは、ライブビュー画像取得のための間引き読み出しに比して間引き量をより少なくして、あるいは全画素から画像信号を読み出すモードを意味する。高解像度読み出しモードにおいては、読み出す信号の量が増えるので、１フレーム、あるいは１フィールドあたりの画像信号読み出しに要する時間が長くなり、結果として低速読み出しとなる。ＣＰＵ１４６はまた、Ｓ４２２で画像信号処理部１０６に制御信号を出力し、画像信号処理部１０６の動作モードを、高解像画像データを処理するモードに設定する。その結果、撮像素子１０４から出力された高解像度の画像信号が画像信号処理部１０６で処理され、高解像画像データが生成されてメモリ１５４に記憶される。このとき、高解像画像モアレ判定部１２０は、メモリ１５４に記憶される高解像画像データをもとに、高解像画像中にモアレを生じているか否かを判定する処理を行う。

ＣＰＵ１４６はＳ４２４において、高解像画像モアレ判定部１２０からモアレ判定結果を取得する。Ｓ４２６においてＣＰＵ１４６は、高解像画像モアレ判定部１２０から取得したモアレ判定結果に基づき、高解像画像中にモアレを生じているか否かを判定する。Ｓ４２６での判定処理の結果、高解像画像にモアレが有ると判定されると処理はＳ４３２に進む。一方、Ｓ４２６での判定処理の結果、高解像画像にはモアレが無いと判定されると処理はＳ４２８に進む。

高解像画像中にモアレがあるとＳ４２６で判定された場合の分岐先であるＳ４３２においてＣＰＵ１４６は、「モアレ有り」の告知をする処理を行う。一方、高解像画像中にモアレが無いとＳ４２６で判定された場合、ＣＰＵ１４６はＳ４２８で「モアレ無し」の告知を行う。

モアレ有無の告知方法としては、様々な方法を用いることが可能である。例えば撮影装置１００がブザー等の発音体を有する場合、発音体を鳴動、あるいは鳴動音を変化させてモアレ有無の告知をすることが可能である。撮影装置１００がＬＥＤ等を有する場合、このＬＥＤを点灯、消灯、点滅、点滅周期の変更、あるいは発光色を変えることによりモアレ有無の告知をすることが可能である。また、表示素子１２８に、ライブビュー画像とともにモアレ有無の告知をする表示をＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）によってすることができる。

表示素子１２８にモアレ有無の告知をする表示の方法の例としては、アイコンや文字等を表示する、ライブビュー映像の周囲に枠を表示し、その枠の色を、「モアレ無し」、「モアレ有り」の状況に応じて変えたり点滅表示させたりする、ライブビュー映像の一部または全部を点滅表示させる、ライブビュー映像の一部または全部の明度、彩度、色調等を変化させる、といった事を行い、撮影者の注意を喚起することが可能である。図５は、表示素子１２８に表示されるライブビュー画像５０２とともに「！記録画像にモアレが出ます」と云う警告表示５０４を表示することにより「モアレ有り」の告知を行う例を示す図である。

ファインダ内にモアレ有無の表示をすることも可能である。例えばファインダ内に備えられるＬＥＤの点灯・消灯・点滅、輝度変化あるいは発光色変更等によってモアレ有無の表示をすることができる。ファインダスクリーン上にスーパーインポーズ表示をすることによりモアレ有無の表示をすることも可能である。また、ファインダがＥＶＦ（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）である場合には、表示素子１２８に表示されるものと同様の表示をファインダ内ですることができる。また、撮影装置１００が携帯電話の機能を有するものである場合、内蔵されるバイブレータを用いて振動によりモアレ有無の告知をすることも可能である。なお、Ｓ４２８で「モアレ無し」の告知を行う方法としては、「モアレ有り」の告知を単に停止することも含む。

上述したモアレ有無の告知の処理に続いて、ＣＰＵ１４６はＳ４３０でモアレ検出許可フラグを”０”にしてモアレ判定部１１６によるモアレ検出動作を停止させてＳ４０２に戻り、再びライブビュー画像表示の処理を行う。

Ｓ４０８でライブビュー画像にモアレが無いと判定されたときの分岐先であるＳ４１０においてＣＰＵ１４６は、「モアレ無し」の告知を行う。Ｓ４２８での処理と同様に、Ｓ４１０で「モアレ無し」の告知を行う方法としては、「モアレ有り」の告知を単に停止することも含む。Ｓ４１２においてＣＰＵ１４６は、シーン変化判定部１４４から判定結果を取得する。

Ｓ４１２においてシーン変化判定部１４４から取得した判定結果に基づき、ＣＰＵ１４６はシーン変化の有無の判定をＳ４１４で行う。そしてシーン変化有りと判定されるとＳ４００に戻る。つまり、シーン変化有りと判定された場合、ライブビュー画像は大きく変わっている可能性が高い。そのため、ＣＰＵ１４６はＳ４００に戻り、モアレ検出許可フラグを”１”（モアレ検出：許可）とし、Ｓ４０６でライブビュー画像中のモアレ有無の判定結果を取得しなおす。一方、Ｓ４１４でシーン変化無しと判定された場合、ＣＰＵ１４６はＳ４１８に進み、レリーズ操作の有無を判定する。Ｓ４１８でレリーズ操作は無いと判定される間、Ｓ４１２、Ｓ４１４の処理を繰り返し行う。すなわち、シーン変化無しと判定される間はモアレ有無の判定が省略され、シーン変化有りと判定された場合にはモアレ有無の判定がしなおされる。

Ｓ４１８でレリーズ操作有りと判定されるとＣＰＵ１４６はＳ４２０に進み、露光に係る一連の動作制御をし、記録画像データ生成に係る処理を行うように画像信号処理部１０６に指令を発し、生成された高解像の記録画像データを記憶媒体１５８に記録する処理を行う。Ｓ４２０の処理を完了するとＣＰＵ１４６はＳ４００に戻る。撮影完了に伴い、撮影者は新たな構図で、あるいは新たな被写体を撮影する可能性が高い。従って、撮影完了の後はＳ４１４でシーン変化ありと判定された場合の処理と同様の処理をすることが有効である。

以上に説明したように、本発明の第１の実施の形態に係る撮影装置によれば、以下のような作用効果を奏することが可能となる。

ライブビュー画像中にモアレを生じていることが検出された場合（Ｓ４０８の判定：有り）、ＣＰＵ１４６は高解像画像中のモアレの有無を判定（Ｓ４２６）して、高解像画像のモアレの有無を告知する（Ｓ４２８、Ｓ４３２）。これにより、ライブビュー画像にモアレを生じている場合に、もし撮影を続行した場合、記録画像はモアレの無いものを得ることができるか、あるいは撮影シーンを変えた方が良いかを撮影者は判断することができる。

ライブビュー画像のモアレ判定（Ｓ４０８）は、図４に示す処理の実行開始直後に行われる１回目の判定を除き、シーン変化が検出されたときにのみ行われる。そのため、モアレ判定部１１６の処理負荷が軽減され、ライブビュー画像を滑らかに表示することが可能となる。また、高解像画像中のモアレ判定に係る一連の処理（Ｓ４２２、Ｓ４２４、Ｓ４２６）は、ライブビュー画像にモアレがあると判定されたとき（Ｓ４０８の判定結果：有り）にのみ行われる。そのため、ライブビュー画像がいわゆる「コマ落ち」のような状態となってスムーズな動画が表示されなくなったり、表示される画像がフリーズしてしまったりするのを最小限に食い止めることが可能となる。従って、撮影者は表示素子１２８に表示されるライブビュー画像を見ながら構図決定をして撮影を行うことが可能となる。

図４を参照して以上に説明した処理が行われる際に、シーン変化が比較的頻繁に起こるような撮影状況においては、Ｓ４１０、Ｓ４２８、Ｓ４３２での処理によって告知内容がめまぐるしく変化する可能性もある。そのような場合を想定して、Ｓ４１０、Ｓ４２８、Ｓ４３２の処理の後に例えば０．３秒程度の時間の経過を待つ処理を入れてもよい。

−第２の実施の形態−
本発明の第２の実施の形態に係る撮影装置１００では、高解像画像中でモアレを生じる箇所を、ライブビュー画像中に表示する。これにより、撮影者がライブビュー画像を見て、高解像画像中に生じるモアレが作画意図にそぐわないものかどうか、あるいはモアレが発生しても問題ないかどうかを判断可能とするものである。撮影者は、この判断結果に基づき、撮影動作を続行するか、構図、撮影倍率等の撮影条件を変えて撮影をするかを決定することができる。

図６は、本発明の第２の実施の形態に係る撮影装置１００においてＣＰＵ１４６で実行されるライブビュー画像表示処理の手順を概略的に示すフローチャートである。図６に示される処理は、撮影装置１００がライブビュー撮影モードに設定されているときに略一定の時間間隔で繰り返し実行される。なお、図４に示されるフローチャートと同様の処理手順には図４中の処理ステップに付される符号と同じ符号を付してその詳細な説明を省略する。そして図４に示される、本発明の第１の実施の形態に係る撮影装置１００のＣＰＵ１４６で実行される処理手順との差異を中心に説明をする。図６に示されるフローチャート中において、高解像画像は「ＨＲ画像」と表記されている。

Ｓ４０８においてＣＰＵ１４６は、ライブビュー画像にモアレを生じているか否かの判定をする。Ｓ４０８で、ライブビュー画像にモアレを生じていないと判定されると処理はＳ６１０に進む。そして、以前の処理でモアレ警告表示が表示素子１２８に表示されている場合にはそのモアレ警告表示を消去する。

ライブビュー画像にモアレを生じているとＳ４０８で判定されたときの分岐先であるＳ４２２においてＣＰＵ１４６は、撮像素子１０４に制御信号を出力し、撮像素子１０４の画像信号読み出しモードを高解像度読み出しモードに設定する。ＣＰＵ１４６はまた、画像信号処理部１０６に制御信号を出力し、画像信号処理部１０６の動作モードを、高解像画像データを処理するモードに設定する。その結果、撮像素子１０４から出力された高解像度の画像信号が画像信号処理部１０６で処理され、高解像画像データが生成されてメモリ１５４に記憶される。このとき、高解像画像モアレ判定部１２０は、メモリ１５４に記憶される高解像画像データをもとに、高解像画像中にモアレを生じているか否かを判定する処理を行う。

ＣＰＵ１４６はＳ６１２において、高解像画像モアレ判定部１２０からモアレ判定結果を取得する。このとき、高解像画像モアレ判定部１２０から取得するモアレ判定結果は、高解像画像中のどの領域（エリア）にモアレを生じているかをＣＰＵ１４６が特定可能なものとなっている。

Ｓ６１４においてＣＰＵ１４６は、高解像画像モアレ判定部１２０から取得したモアレ判定結果に基づき、モアレ発生部位を１水平ラインごとに検出する。Ｓ６１６においてＣＰＵ１４６は、高解像画像中でモアレを生じる部位に対応するライブビュー画像中の画素の画素値を変更する。Ｓ６１４、Ｓ６１６での処理の結果、全ての水平ラインについてモアレ発生部位が検出される。そして、表示素子１２８に表示されるライブビュー画像中において、高解像画像でモアレを生じる部位に相当する部分が撮影者によって視認可能となるようにライブビュー画像表示が行われる。

Ｓ６１８においてＣＰＵ１４６は、高解像画像モアレ判定部１２０から取得したモアレ判定結果に基づき、高解像画像中のモアレの有無を判定する。そして高解像画像中にモアレが無いと判定されるとＳ６２０に進み、以前の処理で表示素子１２８にモアレ警告表示が表示されている場合にＣＰＵ１４６はそれを消去してＳ４３０に進む。一方、Ｓ６１８でモアレが有ると判定されるとＳ６２２に進み、モアレ警告表示を表示してＳ４３０に進む。

図６に示すフローチャートの処理がＣＰＵ１４６により実行されて図７（ａ）に例示される表示が表示素子１２８上に表示される。図７（ａ）において、高解像画像でモアレを生じる部位に相当する部分７０２が明度を増すように表示される例が示されている。また、ライブビュー画像とともに「！記録画像にモアレが出ます」という警告表示５０４が表示されている。

高解像画像でモアレを生じる部位に相当する部分７０２の画像表示形態については、図７（ａ）に例示されるものだけに限られない。例えば、この部分７０２の明度を下げる、色調を変化させる、階調を反転する、点滅表示する、メッシュや網点状のものを重ねて表示する、部分７０２以外の部分に比して表示解像度を変化させる、といった画像表示形態とすることも可能である。逆に、部分７０２の画像表示形態を通常の画像表示形態として、部分７０２以外の部分の画像表示形態を部分７０２の画像表示形態と異なるように表示することも可能である。すなわち、高解像画像中でモアレを生じる部位を撮影者が視認可能となるように、部分７０２と、部分７０２以外の部分とで画像表示形態を異なったものとすることが可能である。

あるいは、図７（ｂ）に例示されるように、高解像画像中でモアレを生じる部位に相当する部分７０２を囲うような指標７０６を表示することも可能である。この場合、Ｓ６１６におけるライブビュー画像中の画素の画素値を変更する処理に代えて、部分７０２の輪郭を検出する処理をすればよい。そして、検出された輪郭の形状に応じて指標７０６を生成することができる。

図６のフローチャートに示されるＣＰＵ１４６の処理手順では、Ｓ６１８で高解像画像中のモアレ判定処理が行われるのに先立って、Ｓ６１４、Ｓ６１６で処理が行われ、高解像画像中でモアレを生じる部位に対応するライブビュー画像中の画素の画素値が変更されている。これらＳ６１４、Ｓ６１６の処理については、Ｓ６１８で高解像画像にモアレが有ると判定された後に行われるようにしてもよい。例えば、Ｓ６１４、Ｓ６１６の処理をＳ６２２の前、あるいは後に行うようにしてもよい。このように処理手順を変更することにより、高解像画像にモアレを生じると判定された（Ｓ６１８の判定：高解像画像モアレ有り）ときにのみ上述した画素値変更の処理が行われる。その結果、高解像画像にモアレを生じないときのＣＰＵ１４６の処理負荷を低減させることが可能となる。

また、本発明の第２の実施の形態においては、高解像画像でモアレを生じる部位に対応する部分がライブビュー画像中に表示されるので、Ｓ６１０、Ｓ６２０、Ｓ６２２で行われるモアレ警告消去、表示の処理手順を省略してもよい。さらにまた、本発明の第１の実施の形態で説明したモアレ有無の告知を同時に行うようにしてもよい。

以上に説明したように、本発明の第２の実施の形態に係る撮影装置によれば、以下のような作用効果を奏することが可能となる。

Ｓ６１２で高解像画像モアレ判定部１２０からの解析後のデータが取得され、Ｓ６１４で１水平ラインごとにモアレ発生部位が検出され、そしてＳ６１６では高解像画像中でモアレが発生する部位に対応するライブビュー画像中の画素の画素値を変更する処理が行われる。これにより、高解像画像中でモアレが発生する場合に、撮影者はどのあたりにモアレが生じるのかを直観的に把握することが可能となる。すなわち、撮影者は、ライブビュー画像を観視することにより、記録画像にモアレが発生する部位が画面の隅部であるのか、中央寄りであるのかを判定することができる。あるいは、モアレ発生部位の占める領域が小さいか、大きいかを判定することもできる。その結果、記録画像に生じるモアレが作画意図に大きな影響を与えるものではないと判断すればそのまま撮影動作を続行させることができる。逆に、記録画像に生じるモアレが望ましくないと判断されるときにはライブビュー画像を観ながら撮影倍率を変更したり撮影アングルを調節したりすることが可能となる。

−第３の実施の形態−
本発明の第３の実施の形態に係る撮影装置１００では、高解像画像中でモアレを生じる箇所の画像を、高解像画像データを用いてライブビュー画像とともに表示素子１２８に表示する。これにより、撮影者は高解像画像に基づいて表示される、モアレを生じる部分の画像を見て、記録画像中に生じるモアレが作画意図にそぐわないものかどうか、あるいはモアレが発生しても問題ないかどうかを高解像画像によって判断可能とするものである。撮影者は、この判断結果に基づき、撮影動作を続行するか、構図、撮影倍率等の撮影条件を変えて撮影をするかを決定することができる。

図８は、本発明の第２の実施の形態に係る撮影装置１００においてＣＰＵ１４６で実行されるライブビュー画像表示処理の手順を概略的に示すフローチャートである。図８に示される処理は、撮影装置１００がライブビュー撮影モードに設定されているときに略一定の時間間隔で繰り返し実行される。なお、図４に示されるフローチャートと同様の処理手順には図４中の処理ステップに付される符号と同じ符号を付してその詳細な説明を省略する。そして図４に示される、本発明の第１の実施の形態に係る撮影装置１００のＣＰＵ１４６で実行される処理手順との差異を中心に説明をする。なお、図８に示されるフローチャート中において、高解像画像は「ＨＲ画像」と表記されている。

Ｓ４０８においてＣＰＵ１４６は、ライブビュー画像にモアレを生じているか否かの判定をする。Ｓ４０８で、ライブビュー画像にモアレを生じていないと判定されると処理はＳ８１０に進む。そして、以前の処理でモアレ警告表示が表示素子１２８に表示されている場合にはそのモアレ警告表示を消去する。

ＣＰＵ１４６はＳ８１２において、高解像画像モアレ判定部１２０からモアレ判定結果を取得する。このとき、高解像画像モアレ判定部１２０から取得するモアレ判定結果は、高解像画像中のどの領域（エリア）にモアレを生じているかをＣＰＵ１４６が特定可能なものとなっている。

Ｓ８１４においてＣＰＵ１４６は、高解像画像モアレ判定部１２０から取得したモアレ判定結果に基づき、高解像画像中でモアレを生じている部位に対応する画像を表示素子１２８に表示する処理を行う。以下ではこの画像を高解像モアレ画像と称する。このときＣＰＵ１４６は、ライブビュー画像を上記の高解像モアレ画像とともに表示することが望ましい。

ところで、撮影装置１００に備えられる表示素子１２８は、高解像画像を等倍、あるいはそれに準ずるような表示倍率で全体を表示できるほど大きくはないのが一般的である。それ故、高解像モアレ画像は部分的に表示される。従って、もし表示素子１２８が高解像画像を等倍ないしは等倍に準じた表示倍率で表示可能な程度に大型のものである場合には、高解像モアレ画像を部分的に表示するのではなく、モアレを生じている部分を含めて、高解像画像全体を表示するものであってもよい。

Ｓ８１６においてＣＰＵ１４６は、高解像画像モアレ判定部１２０から取得したモアレ判定結果に基づき、高解像画像中のモアレの有無を判定する。そして高解像画像中にモアレが無いと判定されるとＳ８１８に進み、以前の処理で表示素子１２８にモアレ警告表示および高解像モアレ画像が表示されている場合にＣＰＵ１４６はそれを消去してＳ４３０に進む。一方、Ｓ８１６でモアレが有ると判定されるとＳ８２０に進み、モアレ警告表示を表示してＳ４３０に進む。

なお、比較的短い時間の中でシーン変化が頻繁に起こると、高解像モアレ画像やモアレ警告表示が一瞬しか表示されなかったり、表示がちらついたりして表示の視認性が低下する可能性がある。そのようなことを避けるため、Ｓ８２０の処理の後に、例えば０．３秒程度の時間の経過を待つ処理を入れても良い。

図８に示すフローチャートの処理がＣＰＵ１４６により実行されて図９の（ａ）に例示される表示が表示素子１２８上に表示される。図９の（ａ）において、記録画像中でモアレを生じる部位に相当する部分がライブビュー画像９０６上に枠９０２を重ねて表示して示されている。また、ライブビュー画像９０６上に表示される枠９０２で囲われる部分に対応する高解像モアレ画像９０４がライブビュー画像の近傍に表示される。さらに、ライブビュー画像９０６、高解像モアレ画像９０４とともに「！記録画像にモアレが出ます」という警告表示５０４が表示されている。なお、図９の（ａ）に示される例では、ライブビュー画像９０６の広い範囲にわたる領域でモアレを生じている。高解像画像でも同様に広い範囲にわたってモアレを生じている場合、高解像画像中でモアレが最も顕著に現れている部分が高解像モアレ画像９０４として表示されるようにしてもよい。ＣＰＵ１４６は、高解像画像モアレ判定部１２０で解析された結果を取得し、高解像画像中のどの部分でモアレが最も顕著に現れているかを判定することができる。

表示素子１２８に表示されるライブビュー画像９０６、高解像モアレ画像９０４、および警告表示５０４の表示形態については、図９の（ａ）に例示されるものだけに限られない。例えば、警告表示５０４に代えて、以下のような表示形態によってモアレ警告表示を行うことができる。すなわち、高解像モアレ画像９０４の周縁を赤い線で囲うようにしてもよいし、高解像モアレ画像９０４の周縁を囲む線を点滅させてもよい。また、ライブビュー画像９０６上に重ねて表示される枠９０２を赤で表示してもよいし、点滅させてもよい。さらに、ライブビュー画像９０６中の枠９０２で囲われる部分の画像の明度、彩度、色調等を他の部分と異なるように表示してもよいし、点滅、階調の反転、メッシュや網点状のものを重ねて表示する、といった画像表示形態とすることも可能である。

図８のフローチャートに示されるＣＰＵ１４６の処理手順では、Ｓ８１６で高解像画像中のモアレ判定処理が行われるのに先立って、Ｓ８１２、Ｓ８１４で高解像画像モアレ画像を表示素子１２８に表示する処理が行われる。これらＳ８１２、Ｓ８１４での処理については、Ｓ８１６で高解像画像にモアレが有ると判定された後に行われるようにしてもよい。例えば、Ｓ８１２、Ｓ８１４の処理をＳ８２０の前、あるいは後に行うようにしてもよい。このように処理手順を変更することにより、高解像画像にモアレを生じると判定された（Ｓ８１６の判定：高解像画像モアレ有り）ときにのみ上述した画素値変更の処理が行われる。その結果、高解像画像にモアレを生じないときのＣＰＵ１４６の処理負荷を低減させることが可能となる。

また、本発明の第３の実施の形態においては、高解像モアレ画像がライブビュー画像と共に表示されるので、Ｓ８１０、Ｓ８１８、Ｓ８２０で行われるモアレ警告消去、表示の処理手順を省略してもよい。さらにまた、本発明の第１の実施の形態で説明したモアレ有無の告知を同時に行うようにしてもよい。

以上に説明したように、本発明の第３の実施の形態に係る撮影装置によれば、以下のような作用効果を奏することが可能となる。

Ｓ８１２で高解像画像モアレ判定部１２０からの解析後のデータが取得され、Ｓ８１４で高解像モアレ画像を表示素子１２８に部分的に表示する処理が行われる。これにより、高解像画像中でモアレが発生する場合に、撮影者は撮影して得られる記録画像中どの程度のモアレが生じるのかを高解像モアレ画像を観て判断することが可能となる。

その結果、記録画像に生じるモアレが作画意図に大きな影響を与えるものではないと判断されれば、撮影者はそのまま撮影動作を続行させることができる。逆に、記録画像に生じるモアレが望ましくないと判断されるときにはライブビュー画像や高解像モアレ画像を観ながら撮影倍率を変更したり撮影アングルを調節したりすることが可能となる。

−変形例−
以上では高解像画像中でモアレを生じる場合に高解像モアレ画像９０４を表示素子１２８上に表示する例について説明した。本発明はこのような例に限られるものではなく、高解像画像中でモアレを生じない場合にその旨表示することも可能である。その例を、図９の（ｂ）を参照して説明する。

図９の（ｂ）に示される例において、ライブビュー画像９１２にはモアレが検出され、高解像画像にはモアレが検出されなかったものとする。この場合、表示素子１２８上に表示されるライブビュー画像にはモアレを生じる。ここでもう一度、図８および図９（ａ）を参照して以上に説明した例について確認しておくと、高解像画像にモアレが検出されない場合、ライブビュー画像のみが表示され、警告表示および高解像モアレ画像は表示されない。撮影者はライブビュー画像中にモアレを生じていることを認識しても、上記の警告表示および高解像モアレ画像が表示されないことから、記録画像にモアレは生じないことを知ることができる。

これに対して、図９の（ｂ）に示される例では、ライブビュー画像９１２とともに「記録画像にはモアレは出ません」という旨のモアレ無し告知表示９１０が表示される。また、ライブビュー画像９１２中でモアレを生じる部分に枠９０２が表示され、この枠９０２で囲われる部分に対応する高解像画像９０８が表示される。ライブビュー画像にモアレを生じていても、撮影者は実際に撮影して得られる記録画像にはモアレを生じないことをモアレ無し告知表示９１０および高解像画像９０８によって確認することができるので、安心して撮影操作を続行することが可能となる。

高解像画像中のモアレの有無に応じて図９の（ａ）、図９の（ｂ）に示されるような表示を行う場合、図８のフローチャートに変更を加えて図１０に示されるようなものとすれば良い。図１０のフローチャートにおいて、Ｓ１０００、Ｓ１００２、Ｓ１００４、Ｓ１００６、Ｓ１００８が図９のフローチャートに対して修正ないしは追加された処理手順である。それ以外の処理手順については図９のフローチャート中の各処理ステップに付される符号と同じ符号を付してその詳細な説明を適宜省略する。そして図９のフローチャートに示される処理手順との差異を中心に説明をする。

Ｓ４０８でライブビュー画像中にモアレが有ると判断された場合の分岐先であるＳ４２２において、ＣＰＵ１４６は、撮像素子１０４に制御信号を出力し、撮像素子１０４の画像信号読み出しモードを高解像度読み出しモードに設定する。ＣＰＵ１４６はまた、画像信号処理部１０６に制御信号を出力し、画像信号処理部１０６の動作モードを、高解像画像データを処理するモードに設定する。その結果、撮像素子１０４から出力された高解像度の画像信号が画像信号処理部１０６で処理され、高解像画像データが生成されてメモリ１５４に記憶される。このとき、高解像画像モアレ判定部１２０は、メモリ１５４に記憶される高解像画像データをもとに、高解像画像中にモアレを生じているか否かを判定する処理を行う。

ＣＰＵ１４６はＳ８１２において、高解像画像モアレ判定部１２０からモアレ判定結果を取得する。このとき、高解像画像モアレ判定部１２０から取得するモアレ判定結果は、高解像画像中のどの領域（エリア）にモアレを生じているかをＣＰＵ１４６が特定可能なものとなっているのは図８を参照して先に説明したとおりである。

Ｓ１００２においてＣＰＵ１４６は、高解像画像モアレ判定部１２０から取得したモアレ判定結果に基づき、高解像画像中のモアレの有無を判定する。そして高解像画像中にモアレが無いと判定されるとＣＰＵ１４６はＳ１００４に進み、ライブビュー画像においてモアレを生じている部位に対応する高解像画像（図９の（ｂ）における高解像画像９０８に相当）を表示素子１２８に表示する。続くＳ１００６でＣＰＵ１４６はモアレ無し告知表示（図９の（ｂ）におけるモアレ無し告知表示９１０に相当）を表示素子１２８に表示する。

Ｓ１００２で高解像画像にモアレがあると判定されたときの分岐先であるＳ１００８においてＣＰＵ１４６は、高解像画像においてモアレを生じている部位に対応する画像である高解像モアレ画像（図９の（ａ）における高解像モアレ画像９０４に相当）を表示素子１２８に表示する。このＳ１００８における処理内容は、図８のＳ８１４における処理内容と同じである。続いてＳ８２０の処理が行われて表示素子１２８にモアレ警告表示（図９の（ａ）における警告表示５０４に相当）が表示される。

Ｓ４０８で、ライブビュー画像にモアレを生じていないと判定されたときの分岐先であるＳ１０００においてＣＰＵ１４６は、以前の処理においてライブビュー画像以外の表示が表示されている場合にはそれらの表示を消去してライブビュー画像のみの表示とする。ここでライブビュー画像以外の表示とは、図９の（ａ）における高解像モアレ画像９０４、枠９０２、警告表示５０４、そして図９の（ｂ）における高解像画像９０８、枠９０２、モアレ無し告知表示９１０等を意味する。

以上に説明したように、ライブビュー画像および高解像画像の双方にモアレを生じる場合、高解像画像中でモアレを生じる部位に相当する部分をライブビュー画像中に示し、高解像モアレ画像も一緒に表示する（図９の（ａ））。一方、ライブビュー画像にモアレを生じるけれども高解像画像にモアレを生じない場合、ライブビュー画像中でモアレを生じる部分を示し、その部分に対応する高解像画像も一緒に表示をする（図９の（ｂ））。このようにモアレの有無を告知することにより、撮影者は撮影を続行して得られる記録画像中にモアレ発生の有無、モアレを発生する場合には画像中の位置および程度を知ることが可能となる。加えて、ライブビュー画像にモアレを生じるけれども高解像画像にはモアレを生じない場合に、ライブビュー画像でモアレを生じている部分に対応する高解像画像を撮影者が観視することにより、撮影者は安心して撮影を続行することが可能となる。

本発明は、デジタルスチルカメラや、デジタルビデオカメラ等の撮影装置に利用することが可能である。

本発明が適用される撮影装置の内部構成を概略的に示すブロック図である。画像と、その画像を形成する画像データを二次元フーリエ変換処理して得られるパワースペクトルを例示する図であり、（ａ）はモアレを生じていない画像の例を、（ｂ）は（ａ）に例示する画像に対応するパワースペクトルを、（ｃ）はモアレを生じている画像の例を、（ｄ）は（ｃ）に例示する画像に対応するパワースペクトルを示す図である。本発明が適用される撮影装置の外観を示す図である。本発明の第１の実施の形態に係る撮影装置内で実行されるモアレ有無告知処理手順を説明するフローチャートである。本発明の第１の実施の形態に係る撮影装置において、画像にモアレを生じることを告知する例を示す図である。本発明の第２の実施の形態に係る撮影装置内で実行されるモアレ有無告知処理手順を説明するフローチャートである。本発明の第２の実施の形態に係る撮影装置において、画像にモアレを生じることを告知する例を示す図であり、（ａ）はモアレを生じる部位の明度を上げて表示する例を、（ｂ）はモアレを生じる部位の周囲に指標を表示する例を示す図である。本発明の第３の実施の形態に係る撮影装置内で実行されるモアレ有無告知処理手順を説明するフローチャートである。本発明の第３の実施の形態に係る撮影装置において、画像にモアレを生じることを告知する例を示す図であり、（ａ）は高解像画像中でモアレを生じる部位を部分的に表示する例を、（ｂ）はライブビュー画像でモアレを生じる部位に対応する高解像画像でモアレを生じないことを告知する例を示す図である。本発明の第３の実施の形態に係る撮影装置内で実行されるモアレ有無告知処理手順の別例を説明するフローチャートである。

符号の説明

１００撮影装置
１０２撮影レンズ
１０４撮像素子
１０６画像信号処理部
１０８同時化処理部
１１０画像データ生成部
１１２ライブビュー画像データ生成部
１１４高解像画像データ生成部
１１６モアレ判定部
１１８ライブビュー画像モアレ判定部
１２０高解像画像モアレ判定部
１２２タイミング発生部
１２４画像表示部
１２６表示制御部
１２８表示素子
１４０システムバス
１４２レンズ駆動部
１４４シーン変化判定部
１４６ＣＰＵ
１４８振動センサ
１５０振動スイッチ
１５２メモリ制御部
１５４メモリ
１５６インターフェース
１５８記憶媒体
５０２、９０６、９１２ライブビュー画像
５０４警告表示
７０２高解像画像でモアレを生じる部分
７０６指標
９０２枠
９０４高解像モアレ画像
９０８高解像画像
９１０モアレ無し告知表示

Claims

撮像面上に形成された被写体像に基づく画像信号を複数種類の解像度で出力可能な撮像素子であって、第１の解像度と、前記第１の解像度よりも高い少なくとも第２の解像度で出力可能な撮像素子と、
前記撮像素子から前記第１の解像度で出力された画像信号に基づいて、ライブビュー表示用の画像データであるライブビュー画像データを生成するライブビュー画像データ生成部と、
前記撮像素子から前記第２の解像度で出力された画像信号に基づいて、記録用の画像データである記録画像データと同等の解像度を有する高解像度画像データを生成する高解像画像データ生成部と、
前記ライブビュー画像データに基づき、モアレの有無を判定する、第１のモアレ判定部と、
前記高解像画像データに基づき、モアレの有無を判定する第２のモアレ判定部と、
前記第１のモアレ判定部でモアレがあると判定され、かつ前記第２のモアレ判定部でモアレは無いと判定されたときに、前記記録画像データではモアレを生じないことを告知するモアレ告知制御部と
を有することを特徴とする撮影装置。
前記第２のモアレ判定部は、前記第１のモアレ判定部でモアレがあると判定されたときにのみ、前記高解像画像データに基づいてモアレの有無を判定するように構成されることを特徴とする請求項１に記載の撮影装置。
前記ライブビュー画像データに基づくライブビュー画像を表示部に表示するための表示信号を生成可能な表示制御部をさらに有し、
前記モアレ告知制御部は、前記第１のモアレ判定部でモアレがあると判定され、かつ前記第２のモアレ判定部でもモアレがあると判定されたときに、前記記録画像データでもモアレを生じることを告知する表示を前記ライブビュー画像とともに前記表示部に表示するための表示信号を生成する指令を前記表示制御部に出力するように構成されることを特徴とする請求項１または２に記載の撮影装置。
前記モアレ告知制御部はさらに、前記第１のモアレ判定部でモアレがあると判定され、かつ前記第２のモアレ判定部でもモアレがあると判定されたときに、前記表示部に表示されるライブビュー画像中に、前記高解像画像データに基づく画像中でモアレを生じる領域を示すための表示信号を生成する指令を前記表示制御部に出力するように構成されることを特徴とする請求項３に記載の撮影装置。
前記モアレ告知制御部はさらに、前記第１のモアレ判定部でモアレがあると判定され、かつ前記第２の判定部でもモアレがあると判定されたときに、前記高解像画像データに基づく画像中のモアレを生じる部分を含む画像を前記ライブビュー画像とともに前記表示部に表示するための表示信号を生成する指令を前記表示制御部に出力するように構成されることを特徴とする請求項３に記載の撮影装置。
前記モアレ告知制御部はさらに、前記第１の判定部でモアレがあると判定され、かつ前記第２の判定部でモアレは無いと判定されたときに、前記記録画像データではモアレを生じないことを告知する表示に加えて前記高解像画像データに基づく画像の一部を前記ライブビュー画像とともに前記表示部に表示するための表示信号を生成する指令を前記表示制御部に出力するように構成されることを特徴とする請求項３から５のいずれか一つに記載の撮影装置。
前記第１のモアレ判定部での判定が最後に行われたときの撮影シーンに対して現在の撮影シーンが変化したか否かを判定するシーン変化判定部と、
前記撮影シーンが変化したと前記シーン変化判定部によって判定されたときに、前記第１のモアレ判定部で新たな判定動作を実行させるモアレ判定動作制御部と
をさらに有することを特徴とする請求項１から６のいずれか一つに記載の撮影装置。
前記シーン変化判定部は、前記第１のモアレ判定部での判定が最後に行われたときのライブビュー画像データと現在のライブビュー画像データとの比較結果に基づいて前記撮影シーンが変化したか否かを判定するように構成されることを特徴とする請求項７に記載の撮影装置。
前記撮影装置は、前記撮像素子の前記撮像面上に被写体像を形成するための撮影光学系であって、焦点距離を変化させることにより撮影画角を変更可能な可変焦点距離の撮影光学系をさらに有し、
前記シーン変化判定部は、前記撮影光学系の焦点距離の変化に基づいて前記撮影シーンが変化したか否かを判定するように構成されることを特徴とする請求項７または８に記載の撮影装置。
前記撮影装置に加わる振動を検出可能な振動検出部をさらに有し、
前記シーン変化判定部は、前記振動検出部で検出された振動のパターンに基づいて前記撮影シーンが変化したか否かを判定するように構成されることを特徴とする請求項７から９のいずれか一つに記載の撮影装置。
撮像面上に形成された被写体像に基づく画像信号を複数種類の解像度で出力可能な撮像素子であって、第１の解像度と、前記第１の解像度よりも高い少なくとも第２の解像度で出力可能な撮像素子から、前記第１の解像度で出力された画像信号に基づいて、ライブビュー表示用の画像データであるライブビュー画像データを生成することと、
前記撮像素子から、前記第２の解像度で出力された画像信号に基づいて、記録用の画像データと同じ解像度を有するデータである高解像画像データを生成することと、
前記ライブビュー画像データに基づいてモアレの有無を判定することと、
前記高解像画像データに基づいてモアレの有無を判定することと、
前記ライブビュー画像データに基づいてモアレが有ると判定され、かつ前記高解像画像データに基づいてモアレが無いと判定された場合に、前記記録画像データではモアレが生じないことを告知することと
を有することを特徴とする、画像中のモアレ有無の告知方法。
前記高解像画像データに基づいてモアレの有無を判定することが、前記ライブビュー画像データに基づいてモアレが有ると判定された後に行われることを特徴とする、請求項１１に記載の画像中のモアレ有無の告知方法。
前記ライブビュー画像データに基づく画像を表示部に表示することと、
前記ライブビュー画像データに基づいてモアレが有ると判定され、かつ前記高解像画像データに基づいてモアレが有ると判定された場合に、前記記録画像データでもモアレが生じることを告知する表示を前記ライブビュー画像データに基づく画像とともに前記表示部に表示することと
をさらに有することを特徴とする、請求項１１または１２に記載の画像中のモアレ有無の告知方法。
前記ライブビュー画像データに基づいてモアレが有ると判定され、かつ前記高解像画像データに基づいてモアレが有ると判定された場合に、前記表示部に表示されるライブビュー画像中に前記高解像画像データに基づく画像中でモアレを生じる領域を示すこと
をさらに有することを特徴とする、請求項１３に記載の画像中のモアレ有無の告知方法。
前記ライブビュー画像データに基づいてモアレが有ると判定され、かつ前記高解像画像データに基づいてモアレが有ると判定された場合に、前記高解像画像データに基づく画像中のモアレを生じる部分を含む画像を前記ライブビュー画像とともに前記表示部に表示すること
をさらに有することを特徴とする、請求項１３に記載の画像中のモアレ有無の告知方法。
前記ライブビュー画像データに基づいてモアレが有ると判定され、かつ前記高解像画像データに基づいてモアレが無いと判定された場合に、前記記録画像データではモアレが生じないことを告知する表示に加えて前記高解像画像データに基づく画像の一部を前記ライブビュー画像とともに前記表示部に表示すること
をさらに有することを特徴とする、請求項１３から１５のいずれか一つに記載の画像中のモアレ有無の告知方法。
前記ライブビュー画像データに基づいてモアレの有無を判定することが最後に行われたときの撮影シーンに対して現在の撮影シーンが変化したか否かを判定することと、
前記ライブビュー画像データに基づいてモアレの有無を判定することが最後に行われたときの撮影シーンに対して現在の撮影シーンが変化したか否かの前記判定が肯定されたときに、前記ライブビュー画像データに基づいてモアレの有無の判定をすることを新たに行うことと
をさらに有することを特徴とする、請求項１３から１６のいずれか一つに記載の画像中のモアレ有無の告知方法。
前記ライブビュー画像データに基づいてモアレの有無を判定することが最後に行われたときの撮影シーンに対して現在の撮影シーンが変化したか否かを判定することが、前記ライブビュー画像データに基づいてモアレの有無を判定することが最後に行われたときのライブビュー画像データと現在のライブビュー画像データとを比較することを含むことを特徴とする、請求項１７に記載の画像中のモアレ有無の告知方法。
前記撮影装置が、前記撮像素子の前記撮像面上に被写体像を形成するための撮影光学系であって、焦点距離を変化させることにより撮影画角を変更可能な可変焦点距離の撮影光学系をさらに有し、
前記ライブビュー画像データに基づいてモアレの有無を判定することが最後に行われたときの撮影シーンに対して現在の撮影シーンが変化したか否かを判定することが、前記撮影光学系の焦点距離の変化を検出すること含むことを特徴とする１７または１８に記載の画像中のモアレ有無の告知方法。
前記撮影装置が、前記撮影装置に加わる振動を検出可能な振動検出部をさらに有し、
前記ライブビュー画像データに基づいてモアレの有無を判定することが最後に行われたときの撮影シーンに対して現在の撮影シーンが変化したか否かを判定することが、前記振動検出部を介して前記撮影装置に加わる振動のパターンを検出することを含むことを特徴とする、請求項１７から１９のいずれか一つに記載の画像中のモアレ有無の告知方法。