JP2017139591A - 画像処理装置 - Google Patents

Abstract

【課題】被写体撮影後のブラックアウト状態からのライブビュー復帰時における、ライブビュー画像の主被写体追従性を向上させた撮像装置を提供する。【解決手段】静止画撮影後のブラックアウト状態からのライブビュー復帰時に、ライブビュー画像を元に主被写体を検出する主被写体検出処理を優先的に実行しＳ３１１，Ｓ３１２、ライブビュー復帰後に撮像素子からの露光データを元に主被写体を検出する静止画撮影用主被写体検出を後追いで実行するＳ３１７。【選択図】図３

Description

本発明は、画像処理装置に関し、撮影復帰時の主被写体検出制御に関する。

近年、被写体を撮影して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、撮影対象となる主被写体を検出する手段を持つことにより主被写体の条件に合わせた撮影制御が可能な撮像装置が提案されている。

ライブビュー表示用の露光データ、または撮影時の露光データに対して主被写体検出を行うことで、被写体の動きに合わせて被写体枠を描画したり、オートフォーカス（自動ピント調整）や自動露出調整を行うことが可能となる。

被写体情報を用いる文献は既にいくつか提案されており、被写体検出情報を活用することでオートフォーカススキャンに要する時間を短縮する特許文献１や、撮影前の状態から実際に静止画撮影されるまでの間に被写体に急激な変化があったか否かをユーザに伝える手段を備える特許文献２がある。

特開２０１０-６６７２８号公報 特開２００９-２０７１００号公報

しかしながら、特許文献１、２に提案されたデジタルスチルカメラにおいて、撮影後の主被写体検出（ライブ用/静止画撮影用）開始処理やライブビュー表示タイミングについての記載がない。

もし被写体撮影後のライブビュー復帰時に、主被写体検出処理を待ち合わせた上でライブビューを表示すると、ライブ表示までのブラックアウト時間が延びてしまう。また、ライブ表示までのブラックアウト時間を短縮するには主被写体検出開始処理と並行してライブビュー表示を実施することが考えられるが、ライブビュー表示開始までに主被写体検出処理が完了していない場合、被写体に合わせた枠追従（表示）や、オートフォーカス、自動露出調整が出来ないライブビューが暫く表示される問題があった。

上記の課題を解決するために、本発明に係る画像処理装置は、
撮像素子と、
画像を撮影する撮影制御部と、
画像を表示する表示部と、
前記撮像素子がとらえたデータから表示部で確認できる程度の画質のライブビュー画像をリアルタイムに生成するライブビュー画像生成部と、
前記ライブビュー画像を元に主被写体を検出するライブ用主被写体検出部と、
前記撮像素子の露光データを元に主被写体を検出する静止画撮影用主被写体検出部と、を有し、
静止画撮影後のライブビュー復帰時に、ライブビュー表示画像に対する主被写体検出処理を優先的に実行し、ライブビュー復帰後に静止画撮影用主被写体検出を後追いで実行することを特徴とする。

本発明に係る画像処理装置によれば、撮影復帰直後のライブ復帰地点から、主被写体の移動に追従可能なライブ画像が出力できる。

本発明を実施するための形態の構成ブロック図である。 本発明を実施しない場合の概要図である。 本発明を実施した場合の概要図である。 連続撮影設定にて本発明を実施する際の概要図である。 サーボＡＦ設定かつ連続撮影設定にて本発明を実施する際の概要図である。

以下、図面を参照して本発明の実施例を説明する。本発明をデジタルカメラを例に用いて説明をおこなう。

図１は本発明の実施例の構成を示す図である。

図１において、１００は画像処理装置である。１０は撮影レンズ、１１は絞り機能を備える機械式シャッター、１２は光学像を電気信号に変換する撮像素子、１３は撮像素子１２のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１４は画像処理部であり、 Ａ／Ｄ変換器１３からのデータ或いはメモリ制御部１５からのデータに対して所定の画素補間処理や色変換処理を行う。また１４の画像処理部によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理部１４においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部２２が露光制御手段２３、測距制御手段２４に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。さらに、画像処理部１４においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

１５はメモリ制御回路であり、Ａ／Ｄ変換器１３、画像処理部１４、メモリ１７、圧縮・伸長回路２６を制御する。Ａ／Ｄ変換器１３のデータが画像処理部１４、メモリ制御部１５を介して、或いはＡ／Ｄ変換器１３のデータが直接メモリ制御部１５を介して、メモリ１７に書き込まれる。

１６はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ１７に書き込まれた表示用の画像データはメモリ制御回路１５を介して画像表示部１６により表示される。画像表示部１６を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１６は、システム制御回路２２の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

１７は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１７に対して行うことが可能となる。また、メモリ１７はシステム制御回路２２の作業領域としても使用することが可能である。

１８はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路２２が実行するプログラムコードは不揮発性メモリ１８に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

１９はメモリカードやハードディスク等の記録媒体とのインタフェース、２００はメモリカードやハードディスク等の記録媒体である。

２０は、システム制御回路２２の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。また、シャッタースイッチの部材に関しては、半押し状態と全押し状態の二つの状態に遷移することが出来る。本発明においては、半押し状態にする操作指示をSW1、全押し（撮影開始）状態にする操作指示をSW2と表現することとする。

２１はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源制御部である。

２２は画像処理装置１００全体を制御するシステム制御回路である。

２３は絞り機能を備えるシャッター１１を制御する露光制御手段であり、２４は撮影レンズ１０のフォーカシングを制御する測距制御手段である。露光制御手段２３、測距制御手段２４はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１４によって演算した演算結果に基づき、システム制御回路２２が露光制御手段２３、測距制御手段２４に対して制御を行う。

２５は撮像部１２からの画像信号に基づいて主被写体領域を検出する被写体検出部である。

２６は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１７に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１７に書き込む。

次に、本発明の実施形態について説明する。

近年、被写体を撮影して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、撮影対象となる主被写体を検出する手段を持つことにより主被写体の条件に合わせた撮影制御が可能な撮像装置が提案されている。

ライブビュー表示用の露光データ、または撮影時の露光データに対して主被写体検出を行うことで、被写体の動きに合わせて被写体枠を描画したり、オートフォーカス（自動ピント調整）や自動露出調整を行うことが可能となる。

しかしながら、被写体撮影後のライブビュー復帰時に、主被写体検出処理を待ち合わせた上でライブビューを表示すると、ライブ表示までのブラックアウト時間が延びてしまう。ライブ表示までのブラックアウト時間を短縮するには、主被写体検出開始処理と並行してライブビュー表示を実施することが考えられるが、ライブビュー表示開始までに主被写体検出処理が完了しない場合、被写体に合わせた枠追従（表示）や、オートフォーカス、自動露出調整が出来ないライブビューが暫く表示される問題があった。

上記の問題を解決するため本発明では、静止画撮影後のライブビュー復帰時に、ライブビュー表示画像に対する主被写体検出処理を優先的に実行し、ライブビュー復帰後に静止画撮影用主被写体検出を後追いで実行する。

本発明により静止画撮影後のライブビュー復帰地点から、主被写体に追従可能なライブ画像が出力できる。

次に図を使って、この発明に係る画像処理装置の処理の流れを詳細に説明する。

［第１の実施形態］
第１の実施形態では、本発明の処理の流れについて説明する。

まず図２を用い本発明を実施しない場合の処理の流れについて説明する。図２は本発明を実施しない場合の概要図である。

Ｓ２０１は撮影制御に関わる操作部２０の状態を表し、操作部２０のＳＷ１が押された状態、およびＳＷ１・ＳＷ２が両方押された状態変化を表現している。

Ｓ２０２は画像表示部１６の表示状態を表している。撮影制御中に現れる状態は４つで、「ライブビューが表示され、かつ表示するライブビュー画像に対し被写体検出結果が反映されている状態」（Ｓ２０３）、「ライブビューが表示されているが、（主被写体検出が完了していないため）ライブビュー画像に対し被写体検出結果が反映されていない状態」（Ｓ２０５）、「ブラックアウト状態」（Ｓ２０４）、「（連写時）撮影コマ間の撮影画像のレビュー表示がされている状態」である。

ＣＰＵがＳＷ１・ＳＷ２両方押されたと判断したら、ＣＰＵは露光読み出し処理Ｓ２１０を行い、露光読み出し処理が完了したら撮影露光データから主被写体情報を検出する静止画用検出処理Ｓ２１１を実行する。ＣＰＵは静止画用検出処理Ｓ２１１が完了したら、次にライブビュー表示用に露光した露光データからライブ用検出処理を行う。ライブ用検出処理は、ライブビューを表示する期間（最新の被写体情報に更新し続ける必要があるので）毎フレームレート実施する必要がある（Ｓ２１２〜Ｓ２１５）。Ｓ２１２〜Ｓ２１５、およびＳ２１６〜Ｓ２１８の枠内に記載している数字はフレームレートのコマ数を表現したものである。

ＣＰＵはライブ用検出処理が完了したら、ライブ用検出結果を元にライブ用のＡＦ（オートフォーカス）／ＡＥ（自動露出調整）処理を行う。なお、図には表現していないが、その他ライブ用検出結果を用いた制御を加えてもよい。例えば、被写体検出で得た情報から被写体の場所が分かるので、被写体の範囲に表示枠を書くような処理を実行してもよい。

Ｓ２１６で、１コマ目のライブ画に対して被写体検出結果に合わせたアルゴリズム制御が動ける状態になる（Ｓ２１６以降で被写体検出結果が反映されたライブビュー表示が出来る）。そのため、Ｓ２１６までの期間にライブビューを表示した場合（Ｓ２０５の期間）は被写体検出結果が反映されていないライブ画が表示されることとなる。

反映されていないライブ画が表示されることの弊害について例を出すと、Ｓ２０５の期間中のライブ画像はＡＦ処理ができないため、焦点距離が変動したことによりピントが追従できずぼけた画が表示されてしまう。またＡＥ処理もできないため、急に暗い場所に移動した場合、明るさの変化に追従できない。また被写体の範囲に表示枠を書く処理を加えた場合、被写体の移動に合わせて表示枠を動かすことができないといった問題が発生する。

次に図３を用いて本発明を実施した場合の処理の流れについて説明する。

図３は本発明を実施した場合の概要図である。

ＣＰＵがＳＷ１・ＳＷ２両方押されたと判断したら、ＣＰＵは露光読み出し処理Ｓ３１０を行う。ＣＰＵは露光読み出し処理Ｓ３１０が完了したら露光読み出しの画像信号データはメモリ１７に置き、（静止画用検出処理より優先的に）ライブビュー表示用に露光した露光データからライブ用検出処理Ｓ３１１を行う。

ＣＰＵはライブ用検出処理Ｓ３１１が完了したら、ライブ用検出結果を元にライブ用のＡＦ／ＡＥ処理Ｓ３１７を行う。Ｓ３１７の処理に合わせて表示部１６にライブビューを表示することで、ライブ表示の１コマ目から主被写体検出結果が反映されたライブビューを表示できる。

引き続きライブビュー表示の被写体追従性を落とさないように、ＣＰＵはライブ用被写体検出処理およびライブ用ＡＦ／ＡＥ処理（Ｓ３１１、Ｓ３１７／Ｓ３１２、Ｓ３１８）を優先的に実施しながら、メモリ１７に置いた静止画撮影用に露光した露光データから静止画用検出処理（Ｓ３１７）を細かく分割し実施する。静止画用検出処理はメモリ１７から撮影用の露光データが削除されない限り処理できる。

本実施形態では細かく分割して処理すると記載したが、一度にまとめて静止画用検出処理を実施してもよい。静止画用検出処理を実施している期間（Ｓ３０５）は、ライブ用検出処理、およびライブ用ＡＦ／ＡＥ処理は実行できないため、前回のコマで取得した検出結果を用いてライブビュー表示を行うことになる。

このように、静止画撮影後のライブビュー復帰時に、ライブビュー表示画像に対する主被写体検出処理を優先的に実行し、ライブビュー復帰後に静止画撮影用主被写体検出を後追いで実行することで、静止画撮影後のライブビュー復帰地点から、主被写体に追従可能なライブ画像が出力できる。

［第２の実施形態］
続いて第２の実施形態では、図４、図５を用いて連続撮影設定にて本発明を実施する場合の処理の流れについて説明する。

まず図４を用い連続撮影設定にて本発明を実施する際の処理の流れについて説明する。

ＣＰＵがＳＷ１・ＳＷ２両方押されたと判断したら、ＣＰＵは露光読み出し処理Ｓ４１０を実行する。露光読み出し処理実行中に連続撮影判定を行い、連続撮影設定がされているか／ＳＷ２が押され続けているかを確認する。ＣＰＵが連続撮影でないと判定した場合は第１の実施形態で説明した単写設定時の処理の流れとなる。ＣＰＵが連続撮影と判断している期間（ＳＷ２が離されるまで）は、ライブ用検出処理、およびライブ用ＡＦ／ＡＥ処理は実行せず、静止画用検出処理のみ実行する。連続撮影期間はライブビュー表示ではなく、静止画撮影画像を表示部１６に表示する。

次に図５を用いサーボＡＦ設定かつ連続撮影設定にて本発明を実施する際の処理の流れについて説明する。

サーボＡＦ設定かつ連続撮影設定を行う場合、撮影コマ間のライブ用露光データの検出結果を元にＡＦスキャンを実施する必要がある。２つの検出処理を両立させつつライブビューに被写体検出結果を反映させるための実施形態を説明する。

ＣＰＵがＳＷ１・ＳＷ２両方押されたと判断したら、ＣＰＵは露光読み出し処理Ｓ５１０を行う。

ＣＰＵは露光読み出し処理Ｓ５１０が完了したら露光読み出しの画像信号データはメモリ１７に置き、（静止画用検出処理より優先的に）ライブビュー表示用に露光した１枚目の露光データからライブ用検出処理Ｓ５１１を行う。

ＣＰＵはライブ用検出処理Ｓ５１１が完了したら、ライブ用検出結果を元にライブ用のＡＦ／ＡＥ処理Ｓ５１３を行うとともに、静止画用検出処理Ｓ５１９を実行する。

Ｓ５１３の処理に合わせて表示部１６にライブビュー表示を実施することで、主被写体検出結果が反映されたライブビュー表示を行うことができる。本実施例においては静止画検出処理をまとめて実施する記載としたが、第１の実施形態同様細かく分割し静止画検出処理を実施してもよい。

第１の実施形態同様に、静止画用検出処理を実施している期間（Ｓ５０４／Ｓ５０８）は、ライブ用検出処理、およびライブ用ＡＦ／ＡＥ処理は実行できないため、前回のコマで取得した検出結果を用いてライブビュー表示を行うことになる。

このように、連続撮影設定においては撮影間はライブ用検出処理を実施せず静止画撮影用主被写体検出を実施する。また、サーボＡＦ設定かつ連続撮影設定においては、ライブビュー用に１コマ目の露光データのみ優先的にライブ用主被写体検出処理を実行する。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 画像処理装置、１０ 撮影レンズ、１１ 機械式シャッター、１２ 撮像素子、
１３ Ａ／Ｄ変換器、１４ 画像処理部、１５ メモリ制御部

Claims (3)

1. 画撮像素子と、
   画像を撮影する撮影制御部と、
   前記撮像素子がとらえたデータから表示部で確認できる程度の画質のライブ画像をリアルタイムに生成するライブ画像生成部と、
   前記ライブ画像を元に主被写体を検出するライブ用主被写体検出部と、
   前記撮像素子の露光データを元に主被写体を検出する静止画用主被写体検出部と、を有し、
   撮影復帰時にライブ用主被写体検出処理を優先的に実行し、ライブ復帰後に静止画用主被写体検出処理を後追いで実行することを特徴とする撮像装置。
2. 連続撮影設定時は撮影コマ間のライブ用主被写体検出を実施しないことを特徴とする請求項１に記載の画像処理装置。
3. 連続撮影設定かつサーボＡＦ設定時はライブビュー用に１コマ目の露光データのみ優先的にライブ用主被写体検出処理を実行することを特徴とする請求項１に記載の画像処理装置。