JP2020088665A - 画像処理装置、画像処理方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】連写画像や素材残し画像をグループ化した場合、撮影画像を選択した代表画像で最終的な合成イメージがつかむことができる画像処理装置、画像処理方法、プログラム及び記録媒体を提供する。【解決手段】方法は、一連の撮影を行った複数の画像を関連付けたグループ画像として記録すると同時に、その関連付けたグループ画像の複数の画像を合成した合成画像を生成し、生成した合成画像を代表画像として設定する。グループ画像の代表画像を別途合成した合成画像とすることで最終的な合成後のイメージをつかむ。【選択図】図３

Description

本発明は、静止画像や動画像、静止画像合成やインターバル動画を記録再生する画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。

デジタルカメラには、一般的に連写と呼ばれる連続撮影機能や、異なる露出で複数毎撮影しダイナミックレンジの広い画像を作成するＨＤＲと呼ばれる機能、通常の動画より撮影間隔を長くし撮影した画像を組み合わせて動画を作成し長時間の事象の変化を短時間で表現するインターバル動画撮影機能を備えるものもある。その撮影時に関連する一連の関連画像データを記録することを可能とした機種がある。またこのような機種は、互いに関連する一連の関連画像データを記録媒体に順次記録する機能を併せ持っていることがある。

このような状況を鑑み、特許文献１には、一連の関連画像データを一連の関連画像データとして記録媒体に記録し、再生する記録再生手段と、記録媒体より再生された関連画像データの複数枚の画像データ中から代表となる代表画像データを選択し、代表画像データとして記録媒体に記録し、さらに記録媒体より再生された代表画像データを表示手段に供給する代表画像データ供給手段を備える画像処理装置が提案されている。また、特許文献２においては、関連づけられた画像データの中から複数選択し、再生させる提案がなされている。

特開２００７−２２１７６９号公報 特開平１１−３４１４２１号公報

開示されている従来技術では、代表画像に選択された単一画像ないしは複数の画像が表示装置に表示することを特徴としている。しかしながら、例えばインターバル動画の撮影時に関連する一連の関連画像データを記録した場合、一連の関連画像をグループ化しても撮影ごとの記録枚数は多数となり、また複数回撮影を行うとそのグループ数が膨大になる可能性がある。その画像を利用してユーザーがそのグループ化された画像から別途ＰＣなどで別の動画像や、静止画画像に画像処理をしようと考えた場合、その最終イメージを各関連画像がグループ化されており代表画像が選ばれていたとしても、最終イメージを一枚の代表画像から想像する事は困難である。

上記の課題に鑑み、本発明は、より直観的に複数のグループ化された画像グルーブから素早くユーザーが意図する加工に適した画像グループの選択を効率的に行うことが可能な画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は、
被写界を撮影し画像データを順次取得する画像撮影手段と、
取得された静止画像から画像合成処理を行う静止画像合成処理手段と、
記録した複数の静止画を一撮影ごとに関連付けて記録媒体に記録する、グループ画像記録手段と、
前記関連づけられた一連の画像から代表画像を選択する代表画像選択手段と、
を有し、前記代表画像選択手段は、前記画像撮影手段で取得された画像とは別に、前記静止画像合成手段により合成された合成画像を代表画像として選択することを特徴とする。

本発明に係る画像処理装置によれば、より合成画像に代表画像として表示するため、大量の画像からユーザーが合成に利用する画像グループを容易に選定することが可能である。

撮像装置の背面外観を示す外観図である。 機能的構成を模式的に示すブロック図である。 本発明をインターバル動画に適用して好適に実施する例のシーケンスを表す図である。 本発明をＡＥブラケット撮影に適用して好適に実施する例のシーケンスを表す図である。

以下、図面を参照して本発明の実施例を説明する。図１、図２は、本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置の一例としてのデジタルカメラである。

１０３は撮影レンズ、１０１は絞り機能を備える機械式シャッター、２０は光学像を電気信号に変換する撮像素子備える撮像部、２１は撮像部２０のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。撮像部２０の撮像素子は、本実施形態ではＲ、Ｇ、Ｂの画素が規則的に配置されたベイヤー配列の構成となっているが、これに限られない。なお、撮像部２０、撮影レンズ１０３、シャッター１０１はタイミング発生回路を使用してシステム制御部５０により制御される。

１０１の機械式シャッター以外にも、撮像素子のリセットタイミングの制御によって、電子シャッタとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２２は画像処理部であり、Ａ／Ｄ変換器２１からのデータ或いはメモリ制御部１５からのデータに対して所定の画素補間処理やシェーディング補正などの各種補正処理、ホワイトバランス処理、γ補正処理、色変換処理などを行う。また画像処理部２２によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。

シェーディング補正処理は、Ａ／Ｄ変換器２１からのデータ或いはメモリ制御部１５からのデータに対して撮影レンズ１０３の特性や撮像部２０の収差等の特性に起因して生じるシェーディングを補正するように、画面内の輝度レベルの補正を行う。

ＷＢ（ホワイトバランス）処理は、画面内の白基準を白に合わせるホワイトバランス処理をシェーディング補正処理後の画像データに対して行う。

本実施形態においては、シェーディング補正は撮像部２０の撮像素子の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに異なるゲインをかける処理である。

また、画像合成部２３は、複数の画像データを合成する合成処理回路を備える。本実施形態では、単純な加算合成あるいは加算平均合成だけでなく、合成対象の画像データの各領域において最も明るいまたは暗い値を持つ画像を選択して、それらを合成して１枚の画像データを生成する比較明合成処理、比較暗合成処理が可能である。また、画像合成部２３は画像処理部２２と一体に構成されていてもよい。

また、画像処理部２２においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段、測距制御手段に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。

１５はメモリ制御部であり、Ａ／Ｄ変換器２１、画像処理部２２、メモリ１６を制御する。

Ａ／Ｄ変換器２１のデータが画像処理部２２、メモリ制御部１５を介して、或いはＡ／Ｄ変換器２１のデータが直接メモリ制御部１５を介して、メモリ１６に書き込まれる。

２８はＴＦＴ ＬＣＤ等から成る表示部であり、メモリ１６に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８により表示される。

表示部２８を用いて、撮像部２０で所定の周期で露光及び読み出しを繰り返し行って順次撮像した画像データを順次取得し、画像処理部２２、メモリ制御部１５等を経て順次表示すれば、ライブビュー表示や電子ファインダー機能を実現することが可能である。

また、表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

メモリ１６は撮影した静止画像や動画像を格納するためにも利用できるメモリであり、画像処理部２２で行う画像処理以外にも、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影や画像合成処理の場合にも、高速かつ大量の画像書き込みをメモリ１６に対して行うことが可能となる。

また、メモリ１６はシステム制御部５０の作業領域としても使用することが可能である。

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ１６、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。検出部５４はセンサー部５５に接続されており、センサー部５５は角度センサー、方位センサー、ＧＰＳセンサー、重力センサー、ジャイロセンサーなどで構成される。

不揮発メモリ５６はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御部５０が実行するプログラムコードは不揮発性メモリ５６に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

７０は各種ボタンやタッチパネル等からなる操作部で、シャッタースイッチ（ＳＷ１、ＳＷ２）、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

操作部７０への操作によるシャッタースイッチ６１の半押し操作で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。操作部７０への操作によるシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、圧縮・伸長処理、記録処理という一連の処理の動作開始を指示する。

電源部３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。電源制御部３１は電源部３０を制御する制御部である。

記録媒体Ｉ／Ｆ１８はメモリカードやハードディスク等の記録媒体とのインタフェース、メモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、デジタルカメラ１００の撮影レンズ１０３及び撮像部２０を覆う事により、撮像部の汚れや破損を防止するバリアである。

次に、複数の画像データを合成する合成処理について説明する。

画像合成部５４は合成処理として、加算合成処理、加重加算合成処理、比較明合成処理、比較暗合成処理の４つの処理が可能である。合成前の画像データのそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。

ここで画素値としては、ＷＢ処理部１０８から出力されるベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂの各信号の値でもよいし、Ｒ、Ｇ１、Ｇ２、Ｂの信号のグループから得られる輝度信号の値（輝度値）でもよい。さらにこのとき、ベイヤー配列の信号を、画素毎にＲ、Ｇ、Ｂの信号が存在するように補間処理してから、画素毎に輝度値を算出しても良い。

輝度値の演算式としては例えば、輝度値をＹとすると、
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
というようにＲ、Ｇ、Ｂの信号を加重加算して算出する方法が挙げられる。

複数の画像データ間で必要に応じて位置合わせ等の処理を行い対応づけられた各画素値について、各処理は下記の式に従って行われる。すなわち、加算合成処理は、
Ｉ（ｘ，ｙ）＝Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋・・・＋Ｉ＿Ｎ（ｘ，ｙ）
で表され、画素別にＮ枚の画像の画素値の加算処理がなされたものが合成画像データとなる。

加重加算合成処理は、ａ_ｋを重み付け係数として、
Ｉ（ｘ，ｙ）＝（ａ_１×Ｉ＿１（ｘ，ｙ）＋ａ_２×Ｉ＿２（ｘ，ｙ）＋・・・＋ａ_Ｎ×Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
で表され、画素別にＮ枚の画像の画素値の加重加算処理がなされたものが合成画像データとなる。

比較明合成処理は、
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最大値が選択されたものが合成画像データとなる。

比較暗合成処理は、
Ｉ（ｘ，ｙ）＝ｍｉｎ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））
で表され、画素別にＮ枚の画像の画素値の最小値が選択されたものが合成画像データとなる。

本実施形態における比較明合成処理は、以下の手順で行われる。まず、ユーザーの指示に従ってインターバル撮影を開始する。その後撮影した処理を行うべき複数枚の画像のうち１枚目を、メモリ３２の合成用メモリ領域に初期値としてセットする。そして、２枚目の画像と合成用メモリ領域にセットされた１枚目の画像について同じ画素の輝度を比較し、輝度が高い方の画素を合成用メモリ領域に書き戻す。

この処理を全画素について行って合成用メモリ領域に１枚目の画像と２枚目の画像との合成画像を保持させる。その後、３枚目以降の画像については、合成用メモリ領域の合成画像と処理すべき画像の同じ画素の輝度を比較し、輝度が高い方（低くない方）の画素を合成用メモリ領域に書き戻す処理を全画素について行う。そして、処理すべき画像すべてについて上記の工程を繰り返す。

すなわち、先ほどの定義を用いて演算式で表すと、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
となる。

このような構成をもつ本実施形態のデジタルカメラ１００について本発明における好適な実施方法を図３のフローチャートを用いて説明する。

まずユーザーの指示によりデジタルカメラ１００をインターバル動画撮影モードに設定する。（ステップＳ３０１）。その後ユーザーは必要応じて静止画保存するかしないかを選択する（ステップＳ３０２）。その後、操作部７０などを利用してインターバル動画の撮影を開始する（ステップＳ３０３）。その後デジタルカメラ１００は撮像部２０を駆動して、撮影動作を行う（ステップＳ３０４）。その後撮影静止画の保存（ステップＳ３０２）の設定にしたがって撮影画像を記録媒体Ｉ／Ｆ１８を通して記録媒体２００に保存する（ステップＳ３０５）。その後代表画像を作成のため撮影画像を画像合成部２３を利用して前述の方法で合成処理し（ステップＳ３０６）、その画像をメモリ制御部１５を通して、メモリ１６に保存する。

その後撮影画像をインターバル動画のフレームとして追加し（ステップＳ３０７）インターバル動画を作成する。その後操作部７０ないしは、あらかじめ設定された所定の時間あるいはフレーム数撮影が完了するまで、撮影動作を繰り返す（ステップＳ３０８）。この撮影動作が終了した時点で、インターバル動画の作成が完了する。

その後保存された静止画をＧｒ化処理する（ステップＳ３０９）。この処理は画像ファイルのヘッダの所定部分に分類の情報を書き込むことによって行うのが一般的である。次に、画像合成処理（ステップＳ３０６）で作成してメモリ１６に保存されている合成画像を圧縮処理し、ステップＳ３０９でＧｒ化された画像グループの代表画像として設定する。この処理も前述の処理と同じように、画像ファイルのヘッダの所定部分に分類の情報を書き込むことによって行うのが一般的である。

また再生処理の高速化のために、ヘッダ管理ファイルが別にあれば、そこに書き込むことにより画像表示処理を高速化できる。さらにはステップＳ３０５で画像を保存する際に、画像につけるユニークの番号を代表画像となる合成画像用に予約しておき、その次の番号からステップＳ３０５の画像保存の番号を設定し始めるとさらに好ましい。

次に図４を利用して、ＡＥブラケットを例にブラケット撮影の場合の好適な実施方法について説明する。ユーザーの指示によりデジタルカメラ１００をＡＥブラケット撮影モードに設定する。（ステップＳ４０１）。その後ユーザーは必要応じて静止画保存するかしないかを選択する（ステップＳ４０２）。その後、シャッタースイッチ６１などを利用してＡＥブラケット撮影を開始する（ステップＳ４０３）。その後デジタルカメラ１００は撮像部２０を駆動して、撮影動作を行う（ステップＳ４０４）。

ＡＥブラケット撮影は、デジタルカメラ１００が検出した露出値と所定の露光量低いもの所定の露光量高いものの合計３枚を撮影することが一般的である。この場合も所定の枚数撮影を行う（ステップＳ４０５）。その後撮影された画像を保存する（ステップＳ４０６）。

ＡＥブラケット撮影の場合は、各撮影間の時間を極小化する必要があるため、撮影画像をメモリ１６に一時的に保存し、すべての撮影が完了（ステップＳ４０５）してから、撮影された画像を記録媒体２００に保存するのが望ましい。

次に保存された静止画をＧｒ化処理する（ステップＳ４０６）。この処理は画像ファイルのヘッダの所定部分に分類の情報を書き込むことによって行うのが一般的である。その後、撮影された画像を利用して画像合成処理（ステップＳ４０７）を行い合成された画像をメモリ１６に保存する。たとえばＡＥブラケット撮影の場合はいわゆるはいダイナミックレンジ画像合成処理を行う事が望ましい。

画像合成処理（ステップＳ４０７）で作成してメモリ１６に保存されている合成画像を圧縮処理し、ステップＳ４０６でＧｒ化された画像グループの代表画像として設定する。この処理も前述の処理と同じように、画像ファイルのヘッダの所定部分に分類の情報を書き込むことによって行うのが一般的である。また再生処理の高速化のために、ヘッダ管理ファイルが別にあれば、そこに書き込むことにより画像表示処理を高速化できる。

さらにはステップＳ４０６で画像を保存する際に、画像につけるユニークの番号を代表画像となる合成画像用に予約しておき、その次の番号からステップＳ４０６の画像保存の番号を設定し始めるとさらに好ましい。

本発明の実施例は前述の例以外にも、フォーカスブラケットなどにも応用できる。フォーカスブラケット撮影の画像合成処理は所謂背景ぼかし合成処理などが望ましい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１００ 画像処理装置、１０１ 絞り機能を備える機械式シャッター、
１０３ 撮影レンズ、２０ 撮像素子備える撮像部、
２１ Ａ／Ｄ変換器、５０ システム制御部

Claims (8)

1. 被写界を撮影し画像データを順次取得する画像撮影手段と、
   取得された静止画像から画像合成処理を行う静止画像合成処理手段と、
   記録した複数の静止画を一撮影ごとに関連付けて記録媒体に記録する、グループ画像記録手段と、
   前記関連づけられた一連の画像から代表画像を選択する代表画像選択手段と、を有し
   前記代表画像選択手段は、前記画像撮影手段で取得された画像とは別に、前記静止画像合成処理手段により合成された合成画像を代表画像として選択することを特徴とする画像処理装置。
2. 被写界を撮影し動画像を生成する動画像撮影手段と
   動画記録用に撮影した画像を静止画として記録する静止画記録手段と、
   取得された静止画像から画像合成処理を行う静止画像合成処理手段と、
   記録した複数の静止画を一撮影ごとに関連付けて記録媒体に記録する、グループ画像記録手段と、
   前記関連づけられた一連の画像から代表画像を選択する代表画像選択手段と、を有し
   前記静止画記録手段により静止画像が記録された場合、前記代表画像選択手段は、前記動画像撮影手段で取得された動画像とは別に、前記静止画像合成処理手段により合成された合成画像を代表画像として選択することを特徴とする画像処理装置。
3. 前記画像合成手段によって画像合成処理された画像を前記グループ画像記録手段を利用して記録した複数の静止画と合わせて関連付けて記録媒体に記録することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記代表画像選択手段が選択する代表画像は、前記グループ画像記録手段が記録するグループ内画像の先頭画像とすることを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
5. 前記静止画記録手段で記録した静止画像を前記静止画像合成処理手段によって合成し、その画像を組み合わせることで動画像を生成する動画フレーム画像合成処理手段をさらに有し、前記画像合成処理装置が画像合成する合成方法は、前記動画フレーム画像合成手段の設定と同様な設定を行うことを特徴とする請求項２に記載の画像処理装置。
6. 前記静止画像合成処理手段は、画像合成する合成方法をユーザーに選択させる合成処理方法選択手段をさらに有し、
   前記合成処理方法選択手段に設定された合成方法で前記画像合成手段を利用して合成された画像を代表画像として選択することを特徴とする請求項１に記載の画像処理装置。
7. 前記画像処理装置は、明るさ検出手段をさらに有し、
   前記明るさ検出手段が撮影開始時より所定値以上明るくなった場合、前記静止画像合成手段は静止画合成を中止することを特徴とする請求項１又は請求項２に記載の画像処理装置。
8. 前記画像処理装置は、方位検出手段をさらに有し、
   前記方位検出手段の検出値によって前記静止画像合成手段の設定値を変更することを特徴とする請求項２に記載の画像処理装置。