JP2023182685A - 処理装置、処理方法、及び処理プログラム - Google Patents

処理装置、処理方法、及び処理プログラム Download PDF

Info

Publication number
JP2023182685A
JP2023182685A JP2023168892A JP2023168892A JP2023182685A JP 2023182685 A JP2023182685 A JP 2023182685A JP 2023168892 A JP2023168892 A JP 2023168892A JP 2023168892 A JP2023168892 A JP 2023168892A JP 2023182685 A JP2023182685 A JP 2023182685A
Authority
JP
Japan
Prior art keywords
detection process
area
detection
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023168892A
Other languages
English (en)
Inventor
優馬 小宮
Yuma KOMIYA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2023182685A publication Critical patent/JP2023182685A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】画像データに含まれる特定被写体の検出頻度を向上させて、検出した特定被写体に応じた処理を高頻度で行う処理装置、方法及びプログラムを提供する。【解決手段】処理装置（デジタルカメラ１００）において、システム制御部（１１）のプロセッサは、撮像素子（５）から取得した画像データから検出対象物の第一エリアを検出する被写体検出処理と、撮像素子（５）から取得した画像データから、第一エリアに基づいた第二エリアを検出する追尾処理と、被写体検出処理にて検出された第一エリアを利用した第一処理と、追尾処理にて検出された第二エリアを利用した第二処理と、を行い、更に、被写体検出処理を続けて行い、第一タイミングで開始された被写体検出処理によって第一エリアが検出されてから、第一タイミングの次に開始される被写体検出処理によって第一エリアが検出されるまでの各期間に追尾処理を行う。【選択図】図１

Description

本発明は、処理装置、処理方法、及び処理プログラムに関する。
特許文献１には、解像度変換処理が施された画像データを用いて、被写体追尾動作を開始する初期フレームにおいて、その画像データに基づく画像に含まれる被写体を検出する被写体検出部と、初期フレームにおいて被写体検出部により生成された被写体画像データと、解像度変換処理が施された画像データとを用いて、テンプレートマッチング処理を実行することで、初期フレームに続くフレームから被写体を検出する被写体追尾部と、を備える撮像装置が記載されている。
特許文献２には、入力画像が平坦か否かに応じて異なるトラッキング方法で追尾対象の被写体を検出する画像処理装置が記載されている。
特許文献３には、メモリに記憶された被写体の画像データを複数の領域に分割する画像分割部と、分割された複数の領域が有する各々の特徴情報に基づいて、撮像部により逐次生成される画像フレームから各領域に対応する対応領域を夫々特定する領域特定部と、特定された対応領域に基づいて、画像フレームにおけるその対応領域を有する画像領域を追跡対象として追跡する被写体追跡部とを備える撮像装置が記載されている。
特許文献４には、繰り返し得られる複数の画像から特定の対象に相当するパターンを繰り返し検出することにより対象を追尾し、対象の色と輝度との少なくとも一方を基準情報とし、この基準情報に基づいて複数の画像から対象の像を繰り返し検出することにより対象の像を追尾し、対象の追尾を開始した後、対象の追尾が不可能となった場合に、対象の像の追尾に変更して制御する画像追尾装置が記載されている。
特許文献５には、撮像光学系により形成された被写体の光学像を光電変換することで順次生成される複数の画像のそれぞれにおいて上記被写体に対応する画像領域を検出する検出手段と、上記画像領域に基づいて、上記被写体に対する上記撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行う制御手段とを有し、上記制御手段は、上記画像領域において上記被写体が第１の被写体からその第１の被写体とは異なる第２の被写体に変化することに応じて、上記第１の被写体に対する上記フォーカス追尾制御から上記第２の被写体に対する上記フォーカス追尾制御に移行し、上記第２の被写体に対する上記フォーカス追尾制御を、上記撮像光学系の上記第１の被写体に対するデフォーカス状態が所定の条件を満たす場合に限って行うことを特徴とする光学機器が記載されている。
日本国特開２０１５－６９０６４号公報 日本国特開２０１１－１５０５９４号公報 日本国特開２０１１－２５８１８０号公報 日本国特開２０１４－９５９０７号公報 日本国特開２０１７－２６９１４号公報
本発明の目的は、画像データに含まれる特定被写体の検出頻度を向上させて、検出した特定被写体に応じた処理を高頻度で行うことを可能にする処理装置、処理方法、及び処理プログラムを提供することにある。
本発明の一態様の処理装置は、プロセッサと、メモリと、を有する処理装置であって、前記プロセッサは、撮像素子から出力された撮像画像信号をデジタル信号処理して生成された画像データから検出対象物の第一エリアを検出する第一検出処理と、前記第一検出処理に用いた前記撮像画像信号の後に前記撮像素子から出力された撮影画像信号の画像データから、前記第一エリアの画像を基準画像として、前記基準画像に類似する第二エリアを検出する第二検出処理と、前記第一検出処理にて検出された前記第一エリアを、撮像画像を表示中の表示装置に出力する第一処理と、前記第二検出処理にて検出された前記第二エリアを前記表示装置に出力する第二処理と、を行い、更に、前記第一検出処理を続けて行い、第一タイミングで開始した前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力してから、前記第一タイミングの次に開始する前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力するまでの期間に、前記第二検出処理及び第二処理を行うものである。
本発明の一態様の処理方法は、撮像素子から出力された撮像画像信号をデジタル信号処理して生成された画像データから検出対象物の第一エリアを検出する第一検出処理と、前記第一検出処理に用いた前記撮像画像信号の後に前記撮像素子から出力された撮影画像信号の画像データから、前記第一エリアの画像を基準画像として、前記基準画像に類似する第二エリアを検出する第二検出処理と、前記第一検出処理にて検出された前記第一エリアを、撮像画像を表示中の表示装置に出力する第一処理と、前記第二検出処理にて検出された前記第二エリアを前記表示装置に出力する第二処理と、を行い、更に、前記第一検出処理を続けて行い、第一タイミングで開始した前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力してから、前記第一タイミングの次に開始する前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力するまでの期間に、前記第二検出処理及び第二処理を行うものである。
本発明の一態様の処理プログラムは、撮像素子から出力された撮像画像信号をデジタル信号処理して生成された画像データから検出対象物の第一エリアを検出する第一検出処理と、前記第一検出処理に用いた前記撮像画像信号の後に前記撮像素子から出力された撮影画像信号の画像データから、前記第一エリアの画像を基準画像として、前記基準画像に類似する第二エリアを検出する第二検出処理と、前記第一検出処理にて検出された前記第一エリアを、撮像画像を表示中の表示装置に出力する第一処理と、前記第二検出処理にて検出された前記第二エリアを前記表示装置に出力する第二処理と、をプロセッサに実行させ、更に、前記プロセッサに、前記第一検出処理を続けて行わせ、第一タイミングで開始した前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力してから、前記第一タイミングの次に開始する前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力するまでの期間に、前記第二検出処理及び第二処理を行わせるものである。
本発明によれば、画像データに含まれる特定被写体の検出頻度を向上させて、検出した特定被写体に応じた処理を高頻度で行うことが可能になる。
本発明の処理装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第一例を説明するためのタイミングチャートである。 参考例のデジタルカメラのライブビュー画像表示中の動作を説明するためのタイミングチャートである。 図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第二例を説明するためのタイミングチャートである。 図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第三例を説明するためのタイミングチャートである。 図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第四例を説明するためのタイミングチャートである。 本発明の処理装置の別実施形態であるスマートフォン２００の外観を示すものである。 図７に示すスマートフォン２００の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の処理装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
レンズ装置４０は、デジタルカメラ１００の本体に着脱可能なものであってもよいし、デジタルカメラ１００の本体と一体化されたものであってもよい。
撮像レンズ１と絞り２は撮像光学系を構成し、撮像光学系は光軸方向に移動可能なフォーカスレンズを含む。このフォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、電気的な制御により、光軸方向の主点の位置を変更可能な液体レンズが用いられてもよい。
レンズ装置４０のレンズ制御部４は、デジタルカメラ１００の本体のシステム制御部１１と有線又は無線によって通信可能に構成される。レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを駆動してフォーカスレンズの主点の位置を変更（焦点制御）したり、絞り駆動部９を介して絞り２の開口量を制御したりする。
デジタルカメラ１００の本体は、撮像光学系を通して被写体を撮像するＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等の撮像素子５と、撮像素子５に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路７と、撮像素子駆動部１０と、全体を統括制御するシステム制御部１１と、操作部１４と、を備える。
アナログ信号処理部６、アナログデジタル変換回路７、及び撮像素子駆動部１０は、システム制御部１１によって制御される。アナログ信号処理部６及びアナログデジタル変換回路７は、撮像素子５に内蔵される場合もある。
撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって電気信号（画素信号）に変換して出力する。
システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像光学系を通して撮像した被写体像を撮像画像信号（画素信号の集合体）として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
システム制御部１１は、プロセッサと、ＲＡＭ（Random Access Memory）及び、フラッシュメモリ（Flash Memory）等のROM (Read ON Memory)メモリと、を備える。
システム制御部１１は、内蔵するフラッシュメモリに格納された処理プログラムを含むプログラムをプロセッサが実行することで、後述する各機能を実現する。プロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:PLD）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。プロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。システム制御部１１は、上述したプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
更に、デジタルカメラ１００の電気制御系は、メインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像信号に対しデジタル信号処理を行ってＪＰＥＧ（Joint Photographic Experts Group）形式等の各種フォーマットにしたがった画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（electroluminescence）ディスプレイ又は液晶ディスプレイ等で構成される表示装置２３と、表示装置２３の表示を制御する表示制御部２２と、を備える。表示装置２３は、デジタルカメラ１００の本体の背面側表面に搭載されるものであるが、デジタルカメラ１００の本体に内蔵されて、デジタルカメラ１００の本体に設けられる接眼窓から観察可能なものであってもよい。デジタルカメラ１００には、本体の背面側表面に搭載される表示装置２３と、本体に内蔵される表示装置２３とが設けられていてもよい。
記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等であるがこれに限定されず、有線通信または無線通信で接続されたＰＣ（Personal Computer）などの記憶装置を用いても良い。
メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
デジタルカメラ１００は、静止画像を記憶媒体２１に記憶する静止画モードと、動画像を記憶媒体２１に記憶する動画モードとを有し、いずれのモードにおいても、撮像中の被写体のライブビュー画像を表示装置２３に表示させる。デジタルカメラ１００は、ライブビュー画像を表示装置２３に表示させる場合には、デジタル信号処理部１７により生成された画像データから主要被写体のエリアを検出し、検出した主要被写体のエリアを示す検出枠画像（例えば矩形枠の画像）をライブビュー画像に重ねて表示させる制御を行う。また、デジタルカメラ１００は、検出した主要被写体のエリアに基づいて、焦点制御を行ったり、露出制御を行ったり、ホワイトバランス制御を行ったりする。主要被写体とは、人物の顔、動物の顔、及び乗り物等である。
主要被写体の検出処理は、システム制御部１１が行う。システム制御部１１は、主要被写体の検出処理として、第一検出処理を構成する被写体検出処理と第二検出処理を構成する追尾処理を選択的に行う。
被写体検出処理は、撮像素子５から出力されてデジタル信号処理されて得られた画像データ（以下、検出用画像データと記載）から、機械学習によって生成された画像認識アルゴリズム等に基づいて、検出対象物のエリア（第一エリア）を主要被写体のエリアとして検出する処理である。検出対象物は、上述した主要被写体と同じであり、人物の顔、動物の顔、及び乗り物等である。
追尾処理は、検出用画像データから、被写体検出処理によって検出された第一エリアに基づいた第二エリアを、主要被写体のエリアとして検出する処理である。具体的には、システム制御部１１は、被写体検出処理によって検出した第一エリアの画像を基準画像としてメモリに記憶し、検出用画像データからこの基準画像に類似する類似エリアを探索し、探索された類似エリアを第二エリアとして検出する。
システム制御部１１は、ライブビュー画像表示時には、被写体検出処理を続けて行い、第一タイミングで開始された被写体検出処理によって第一エリアが検出されてから、この第一タイミングの次に開始される被写体検出処理によって第一エリアが検出されるまでの各期間に、追尾処理を行う。
被写体検出処理を行う頻度は、被写体検出処理に要する時間（被写体検出処理が開始されてから検出結果が得られるまでの時間）に基づいて決められている。被写体検出処理に要する時間は、検出用画像データの内容及びシステム制御部１１の処理負荷等の条件によって変動し得るが、代表値（中央値又は平均値等）は決まっている。本明細書では、この代表値を、被写体検出処理に要する時間として定義する。デジタルカメラ１００では、被写体検出処理に要する時間が、ライブビュー画像表示時の撮像素子５による撮像の間隔（垂直同期信号の周期（以下、フレーム周期と記載））よりも長くなっている。そのため、被写体検出処理の周期は、フレーム周期の倍以上に設定されている。つまり、被写体検出処理は、複数回の撮像に１回の頻度で行われる。
なお、追尾処理は、被写体検出処理よりも高速に処理結果を得ることが可能である。つまり、追尾処理に要する時間（追尾処理が開始されてから検出結果が得られるまでの時間）は、被写体検出処理に要する時間よりも短い。追尾処理に要する時間は、システム制御部１１の処理負荷等の条件によって変動し得るが、代表値（中央値又は平均値等）は決まっている。本明細書では、この代表値を、追尾処理に要する時間として定義する。
以下、ライブビュー画像表示時のデジタルカメラ１００の動作についてタイミングチャートを参照して説明する。図２は、図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第一例を説明するためのタイミングチャートである。
図２中の“撮像処理”のチャートにおいて、“Ｆ＃ 露光・取込（＃は１～７）”を記した期間は、＃フレーム目の撮像素子５の露光が行われ、その露光によって生成された画素信号が撮像素子５から出力されてデジタル信号処理部１７に取り込まれる期間を示している。この期間の長さが、フレーム間隔に相当する。
図２中の“表示装置”のチャートにおいて、“Ｆ＃ 表示”を記した期間は、“Ｆ＃ 露光・取込”の期間で撮像素子５から出力される画素信号を処理して得られるライブビュー画像が表示装置２３に表示される期間を示している。
図２中の“検出用画像データ生成”のチャートにおいて、“ｆ＃”を記した期間は、“Ｆ＃ 露光・取込”の期間で撮像素子５から出力された撮像画像信号を処理して検出用画像データｆ＃を生成する期間を示している。
１フレーム目の露光が開始され、この露光が終了して画素信号の読み出しが開始されると、デジタル信号処理部１７によってライブビュー画像データの生成が順次行われ、生成されたライブビュー画像データの表示装置２３への表示が行われる。この露光による全ての画素信号の読み出しが完了すると、デジタル信号処理部１７によって検出用画像データｆ１が生成され、この検出用画像データｆ１がシステム制御部１１によって取得される。このような動作が、２フレーム目以降も繰り返し行われる。
システム制御部１１は、検出用画像データｆ１を取得すると、期間Ｔ１１に示すように、検出用画像データｆ１から検出対象物を検出する被写体検出処理を開始する。前述したように、この被写体検出処理に要する時間はフレーム間隔よりも長い。このため、期間Ｔ１１が終了するまでの間に、次の検出用画像データｆ２がシステム制御部１１により取得される。
システム制御部１１は、検出用画像データｆ１から検出対象物のエリアを検出すると、期間Ｔ１２において、そのエリアを示す検出枠画像ＰＤ（ｆ１）を生成し、その後の期間Ｔ１３において、生成した検出枠画像ＰＤ（ｆ１）を表示装置２３に表示させる処理を行う。この処理により、４フレーム目の撮像処理によって生成されているライブビュー画像に、検出枠画像ＰＤ（ｆ１）が重畳して表示される。
また、システム制御部１１は、検出用画像データｆ１から検出対象物のエリアを検出すると、期間Ｔ１４において、そのエリアの画像Ｄｒ（ｆ１）を基準画像としてメモリに記憶する。システム制御部１１は、メモリに過去の基準画像が記憶されている場合には、この過去の基準画像を画像Ｄｒ（ｆ１）によって上書きして基準画像を更新する。続いて、システム制御部１１は、期間Ｔ２１において、検出用画像データｆ２からこの基準画像と類似する類似エリアを探索する追尾処理を行う。図示省略しているが、システム制御部１１は、期間Ｔ１１の終了後、検出用画像データｆ１から検出した検出対象物のエリアの画像Ｄｒ（ｆ１）に基づいて、焦点制御を行ったり、露出制御を行ったり、ホワイトバランス制御を行ったりする。
システム制御部１１は、期間Ｔ２１において、検出用画像データｆ２から基準画像と類似する類似エリアを検出すると、その類似エリアの画像を基準画像としてメモリに上書きし、更に、期間Ｔ２２において、その類似エリアを示す検出枠画像ＰＴ（ｆ２）を生成する。続いて、システム制御部１１は、期間Ｔ２３において、生成した検出枠画像ＰＴ（ｆ２）を表示装置２３に表示させる処理を行う。この処理により、５フレーム目の撮像処理によって生成されているライブビュー画像に、検出枠画像ＰＴ（ｆ２）が重畳して表示される。
以降、システム制御部１１は同様の処理を繰り返し行う。
つまり、システム制御部１１は、検出用画像データｆ３を取得すると、検出用画像データｆ３から検出対象物を検出する被写体検出処理を開始し（期間Ｔ３１）、検出用画像データｆ３から検出対象物のエリアを検出すると、そのエリアを示す検出枠画像ＰＤ（ｆ３）を生成し（期間Ｔ３２）、生成した検出枠画像ＰＤ（ｆ３）を表示装置２３に表示させる処理を行う（期間Ｔ３３）。
また、システム制御部１１は、期間Ｔ３１において、検出用画像データｆ３から検出対象物のエリアを検出すると、そのエリアの画像Ｄｒ（ｆ３）を基準画像としてメモリに記憶する（期間Ｔ３４）。続いて、システム制御部１１は、検出用画像データｆ４からこの基準画像と類似する類似エリアを探索する追尾処理を行う（期間Ｔ４１）。システム制御部１１は、検出用画像データｆ４から基準画像と類似する類似エリアを検出すると、その類似エリアの画像を基準画像としてメモリに上書きし、更に、その類似エリアを示す検出枠画像ＰＴ（ｆ４）を生成し（期間Ｔ４２）、生成した検出枠画像ＰＴ（ｆ４）を表示装置２３に表示させる処理を行う（期間Ｔ４３）。
システム制御部１１は、検出用画像データｆ５を取得すると、検出用画像データｆ５から検出対象物を検出する被写体検出処理を開始し（期間Ｔ５１）、検出用画像データｆ５から検出対象物のエリアを検出すると、そのエリアを示す検出枠画像ＰＤ（ｆ５）を生成し（期間Ｔ５２）、生成した検出枠画像ＰＤ（ｆ５）を表示装置２３に表示させる処理を行う（期間Ｔ５３）。また、システム制御部１１は、検出用画像データｆ５から検出対象物のエリアを検出すると、そのエリアの画像Ｄｒ（ｆ５）を基準画像としてメモリに記憶する（期間Ｔ５４）。
以上の動作により、ライブビュー画像に重畳される主要被写体の位置を示す検出枠画像は、４フレーム目のライブビュー画像が表示されて以降、表示の１フレーム毎に更新されることになる。
図３は、参考例のデジタルカメラの動作を説明するためのタイミングチャートである。この参考例のデジタルカメラの構成は、デジタルカメラ１００と同じであり、システム制御部１１の機能のみが異なる。参考例のデジタルカメラのシステム制御部１１は、主要被写体の検出処理として、追尾処理は行わず、被写体検出処理のみを行う。図３は、図２において、期間Ｔ１４、期間Ｔ２１～期間Ｔ２３、期間Ｔ３４、期間Ｔ４１～期間Ｔ４３、及び期間Ｔ５４が削除されたものとなっている。
参考例のデジタルカメラの動作では、被写体検出処理に要する時間がフレーム間隔よりも長いために、表示の２フレームに１回の頻度で検出枠画像の更新が行われることになる。また、検出用画像データｆ２、ｆ４、ｆ６からは主要被写体の検出を行うことができず、被写体の変化に迅速に対応することが難しい。
これに対し、デジタルカメラ１００では、連続して行う被写体検出処理同士の間（期間Ｔ１１の終了から期間Ｔ３１の終了までの期間と、期間Ｔ３１の終了から期間Ｔ５１の終了までの期間）において追尾処理を行い、この追尾処理の結果を利用して検出枠画像の更新を行っている。このため、検出枠画像の更新や主要被写体に基づいた焦点制御等を高頻度で行うことができ、ライブビュー画像の品質向上と撮像品質の向上を図ることが可能となる。また、検出用画像データｆ２、ｆ４、ｆ６からも主要被写体の検出を行うことができるため、被写体の変化に迅速に対応可能となり、撮像品質を向上させることができる。
図４は、図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第二例を説明するためのタイミングチャートである。図４は、期間Ｔ３１にて行われる被写体検出処理に時間がかかっており、期間Ｔ３１が長くなっている点が、図２との第１相違点である。また、検出用画像データｆ５に対する被写体検出処理は行われず、期間Ｔ３１の被写体検出処理の後には、期間Ｔ６１において、検出用画像データｆ６に対する被写体検出処理が行われる点が、図２との第２相違点である。
図４の動作では、期間Ｔ２１において基準画像は更新されているため、期間Ｔ３１が終了するよりも前に、検出用画像データｆ４に対するこの基準画像を用いた追尾処理と、その追尾処理の結果に基づく検出枠画像の更新（“Ｆ６ 表示”の期間における検出枠画像の更新）を行うことは可能である。しかし、デジタルカメラ１００では、期間Ｔ３１が終了するまでは次の追尾処理は開始しない。これにより、検出用画像データｆ４から検出された主要被写体に基づいて生成される検出枠画像が、検出用画像データｆ３から検出された主要被写体に基づいて生成される検出枠画像よりも先に表示装置２３に表示されてしまうのを防ぐことができる。
期間Ｔ３１の終了後は、期間Ｔ３４において基準画像の更新が行われ、その後の期間Ｔ４１において、検出用画像データｆ４から基準画像と類似する類似エリアを探索する追尾処理が行われる。そして、この追尾処理の結果に基づく検出枠画像が、８フレーム目のライブビュー画像に重畳表示される。その後は、期間Ｔ６１で検出される主要被写体に基づく検出枠画像が表示される。このように、被写体検出処理の時間が長くなる場合でも、その被写体検出処理が終了してから次の被写体検出処理が終了するまでの期間に追尾処理を行うことで、検出枠画像のベースとなる検出用画像データの順番が前後するのを防ぐことができ、ライブビュー画像の品質を向上させることができる。
図５は、図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第三例を説明するためのタイミングチャートである。前述の図４の例は、期間Ｔ３１が図２よりも長くなる場合を示したが、図５の例は、期間Ｔ３１が図２よりも短くなる場合を示している。
図５の例では、期間Ｔ２１にて行われる追尾処理の終了よりも先に、期間Ｔ３１にて行われる被写体検出処理が終了している。このような場合には、システム制御部１１は、期間Ｔ２１にて行っている追尾処理を途中で終了（停止）する。したがって、この追尾処理の結果に基づく検出枠画像の表示処理や焦点制御等の処理は非作動となる。これにより、検出用画像データｆ２から検出された主要被写体に基づいて生成される検出枠画像が、検出用画像データｆ３から検出された主要被写体に基づいて生成される検出枠画像よりも後に表示装置２３に表示されてしまうのを防ぐことができる。
図６は、図１に示すデジタルカメラ１００のライブビュー画像表示中の動作の第四例を説明するためのタイミングチャートである。図６の例では、図２の動作に対し、システム制御部１１の処理負荷等によって、２回目以降の被写体検出処理（図２における期間Ｔ３１と期間Ｔ５１の処理）が実行できなくなった場合の動作を示している。
図６の動作において、システム制御部１１は、期間Ｔ２１の終了後、期間Ｔ３１ａにおいて、検出用画像データｆ３から基準画像（期間Ｔ２１の追尾処理にて検出された主要被写体の画像）と類似する類似エリアを探索し、類似エリアを検出すると、その類似エリアの画像を基準画像としてメモリに上書きする。続いて、システム制御部１１は、期間Ｔ３２ａにおいて、その類似エリアを示す検出枠画像ＰＴ（ｆ３）を生成する。続いて、システム制御部１１は、期間Ｔ３３ａにおいて、生成した検出枠画像ＰＴ（ｆ３）を表示装置２３に表示させる処理を行う。この処理により、６フレーム目の撮像処理によって生成されているライブビュー画像に、検出枠画像ＰＴ（ｆ３）が重畳して表示される。
期間Ｔ３１ａの後の期間Ｔ４１ａにおいて、システム制御部１１は、検出用画像データｆ４から基準画像（期間Ｔ３１ａの追尾処理にて検出された主要被写体の画像）と類似する類似エリアを探索し、類似エリアを検出すると、その類似エリアの画像を基準画像としてメモリに上書きする。続いて、システム制御部１１は、期間Ｔ４２ａにおいて、その類似エリアを示す検出枠画像ＰＴ（ｆ４）を生成する。続いて、システム制御部１１は、期間Ｔ４３ａにおいて、生成した検出枠画像ＰＴ（ｆ４）を表示装置２３に表示させる処理を行う。この処理により、７フレーム目の撮像処理によって生成されているライブビュー画像に、検出枠画像ＰＴ（ｆ４）が重畳して表示される。
このように、図６の動作では、被写体検出処理の結果に基づく検出枠画像ＰＤ（ｆ１）が表示された後は、追尾処理の結果に基づく検出枠画像ＰＴ（ｆ２）、ＰＴ（ｆ３）、ＰＴ（ｆ４）、・・・が順次表示されていく。このように、被写体検出処理が何らかの理由で作動しない場合でも、主要被写体の検出を高頻度で行って検出枠画像の更新等を行うことができる。
なお、システム制御部１１は、図６に例示したように、被写体検出処理を行うことができず、追尾処理を連続して行う場合には、各追尾処理にて検出される主要被写体のエリアの信頼度を判定し、信頼度が閾値以上の場合に、そのエリアを利用した処理（検出枠画像の更新、焦点制御、露出制御、及びホワイトバランス制御等）を行うことが好ましい。信頼度は、例えば基準画像との類似度等を用いることができる。このようにすることで、被写体検出処理で検出された主要被写体とは別の被写体に検出枠画像が重畳されるのを防ぐことができる。
ここまでの説明では、被写体検出処理や追尾処理によって検出した最新の主要被写体のエリアから検出枠画像を生成するものとした。しかし、検出枠画像は、過去に生成したものと、最新の主要被写体のエリアから生成したものとを用いて、生成することが好ましい。
図２の例で説明すると、システム制御部１１は、例えば、期間Ｔ２２では、検出枠画像ＰＴ（ｆ２）と、検出枠画像ＰＤ（ｆ１）とを平均化した検出枠画像を生成し、期間Ｔ２３にて、この検出枠画像を表示させる処理を行う。
また、システム制御部１１は、期間Ｔ３２では、検出枠画像ＰＤ（ｆ３）と、検出枠画像ＰＴ（ｆ２）と、検出枠画像ＰＤ（ｆ１）と、を平均化した検出枠画像を生成し、期間Ｔ３３にて、この検出枠画像を表示させる処理を行う。
また、システム制御部１１は、期間Ｔ４２では、検出枠画像ＰＴ（ｆ４）と、検出枠画像ＰＤ（ｆ３）と、検出枠画像ＰＴ（ｆ２）と、を平均化した検出枠画像を生成し、期間Ｔ４３にて、この検出枠画像を表示させる処理を行う。
このように、過去複数フレーム分の検出用画像データから検出した主要被写体のエリアの情報に基づいて検出枠画像を生成することで、検出枠画像の表示位置が細かく変動するのを防ぐことができ、ライブビュー画像の品質を向上させることができる。被写体検出処理の結果だけで検出枠画像を生成する場合や、追尾処理の結果だけで検出枠画像を生成する場合と比べて、被写体検出処理の結果と追尾処理の結果とを一元的に扱って検出枠画像を生成することで、処理を簡略化することができる。
ここまでは、ライブビュー画像表示時において被写体検出処理と追尾処理を組み合わせて実行する例を説明した。しかし、例えば、記憶媒体２１に記憶された動画データを表示装置２３にて再生する際にも、同様に、被写体検出処理と追尾処理を組み合わせて実行することで、検出枠画像を高頻度で更新したり、ホワイトバランスを高頻度で更新したりすることができる。また、ライブビュー画像表示時に限らず、動画撮像時にも同様に被写体検出処理と追尾処理を組み合わせて実行することで、撮像条件を主要被写体に応じて最適化できる。
次に、本発明の処理装置の別実施形態としてスマートフォンの構成について説明する。
図７は、スマートフォン２００の外観を示すものである。図７に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
図８は、図７に示すスマートフォン２００の構成を示すブロック図である。
図８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＮＳＳ（Global Navigation Satellite System）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。
表示パネル２０２は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）等を表示デバイスとして用いたものである。
操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
図８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
また、図７に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図７に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、MicroSD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の格納媒体を用いて実現される。
外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association:IrDA）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）等）又はネットワーク（例えば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）等）により直接的又は間接的に接続するためのものである。
スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
ＧＮＳＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＮＳＳ衛星ＳＴ１～ＳＴｎから送信されるＧＮＳＳ信号を受信し、受信した複数のＧＮＳＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＮＳＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記憶媒体２１、表示制御部２２、表示装置２３、及び操作部１４以外の構成を含む。
カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
図７に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
また、ＧＮＳＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＮＳＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
以上のような構成のスマートフォン２００においても、主要被写体の検出を高頻度にて行うことができる。
処理装置の実施形態としてはデジタルカメラやスマートフォン等の撮像装置に限らず、システム制御部１１が実行する処理プログラムを実行可能なプロセッサを持つ装置であればよい。例えば、監視カメラにネットワークを介して接続されたパーソナルコンピュータのプロセッサが、監視カメラにより撮像された動画データのフレームを取得して、被写体検出処理と追尾処理を組み合わせた主要被写体の検出処理を実行し、検出結果に応じた処理（例えば主要被写体エリアの解析や保存）を行うようにしてもよい。
以上説明してきたように、本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。
（１）
プロセッサ（システム制御部１１のプロセッサ）と、メモリ（システム制御部１１のメモリ）と、を有する処理装置（デジタルカメラ１００）であって、
上記プロセッサは、
撮像素子（撮像素子５）から取得した画像データ（検出用画像データ）から検出対象物の第一エリアを検出する第一検出処理（被写体検出処理）と、
上記撮像素子から取得した画像データから、上記第一エリアに基づいた第二エリアを検出する第二検出処理（追尾処理）と、
上記第一検出処理にて検出された上記第一エリアを利用した第一処理（検出枠画像の表示処理、焦点制御、露出制御、ホワイトバランス制御）と、
上記第二検出処理にて検出された上記第二エリアを利用した第二処理（検出枠画像の表示処理、焦点制御、露出制御、ホワイトバランス制御）と、を行い、
更に、上記第一検出処理を続けて行い、第一タイミングで開始された上記第一検出処理によって上記第一エリアが検出されてから、上記第一タイミングの次に開始される上記第一検出処理によって上記第一エリアが検出されるまでの各期間に、上記第二検出処理を行う処理装置。
（２）
（１）記載の処理装置であって、
上記プロセッサは、上記第一検出処理が終了した後、その第一検出処理に用いられる上記画像データの後に取得した画像データに対する上記第二検出処理を行う処理装置。
（３）
（１）又は（２）記載の処理装置であって、
上記プロセッサは、上記第一検出処理の終了タイミングに基づいて、連続する２回の上記第一処理の間に行う上記第二処理の回数を制御する処理装置。
（４）
（３）記載の処理装置であって、
上記プロセッサは、上記第一検出処理の終了タイミングが、その第一検出処理に用いられる上記画像データの前に取得した画像データに対する上記第二検出処理の終了タイミングよりも早い場合には、その第二検出処理の結果に基づく上記第二処理を非作動とする処理装置。
（５）
（１）から（４）のいずれか１つに記載の処理装置であって、
上記プロセッサは、上記第一検出処理が行われた後に上記第一検出処理が非作動となる場合には、上記第二検出処理を連続して行う処理装置。
（６）
（５）記載の処理装置であって、
上記プロセッサは、上記第二検出処理を連続して行う場合には、上記第二検出処理により検出される上記第二エリアの信頼度が閾値以上の場合に、その第二エリアを利用した上記第二処理を行う処理装置。
（７）
（１）から（６）のいずれか１つに記載の処理装置であって、
上記第一処理は、上記第一検出処理によって検出された上記第一エリアと、その第一検出処理よりも前に検出された上記第一エリア及び上記第二エリアとに基づく画像（検出枠画像）を出力させる処理であり、
上記第二処理は、上記第二検出処理によって検出された上記第二エリアと、その第二検出処理よりも前に検出された上記第一エリア及び上記第二エリアとに基づく画像（検出枠画像）を出力させる処理である処理装置。
（８）
（７）記載の処理装置であって、
上記第一処理と上記第二処理は、それぞれ、上記画像を表示装置に表示させる処理である処理装置。
（９）
（１）から（８）のいずれか１つに記載の処理装置であって、
上記第一検出処理を行う頻度は、上記第一検出処理に要する時間に基づいて決められている処理装置。
（１０）
（１）から（９）のいずれか１つに記載の処理装置であって、
上記第一検出処理に要する時間は、上記第二検出処理に要する時間よりも長い処理装置。
（１１）
撮像素子から取得した画像データから検出対象物の第一エリアを検出する第一検出処理、上記撮像素子から取得した画像データから上記第一エリアに基づいた第二エリアを検出する第二検出処理、上記第一検出処理にて検出された上記第一エリアを利用した第一処理、及び上記第二検出処理にて検出された上記第二エリアを利用した第二処理を行い、
更に、上記第一検出処理を続けて行い、第一タイミングで開始された上記第一検出処理によって上記第一エリアが検出されてから、上記第一タイミングの次に開始される上記第一検出処理によって上記第一エリアが検出されるまでの各期間に、上記第二検出処理を行う処理方法。
（１２）
（１１）記載の処理方法であって、
上記第一検出処理が終了した後、その第一検出処理に用いられる上記画像データの後に取得した画像データに対する上記第二検出処理を行う処理方法。
（１３）
（１１）又は（１２）記載の処理方法であって、
上記第一検出処理の終了タイミングに基づいて、連続する２回の上記第一処理の間に行う上記第二処理の回数を制御する処理方法。
（１４）
（１３）記載の処理方法であって、
上記第一検出処理の終了タイミングが、その第一検出処理に用いられる上記画像データの前に取得した画像データに対する上記第二検出処理の終了タイミングよりも早い場合には、その第二検出処理の結果に基づく上記第二処理を非作動とする処理方法。
（１５）
（１１）から（１４）のいずれか１つに記載の処理方法であって、
上記第一検出処理が行われた後に上記第一検出処理が非作動となる場合には、上記第二検出処理を連続して行う処理方法。
（１６）
（１５）記載の処理方法であって、
上記第二検出処理を連続して行う場合には、上記第二検出処理により検出される上記第二エリアの信頼度が閾値以上の場合に、その第二エリアを利用した上記第二処理を行う処理方法。
（１７）
（１１）から（１６）のいずれか１つに記載の処理方法であって、
上記第一処理は、上記第一検出処理によって検出された上記第一エリアと、その第一検出処理よりも前に検出された上記第一エリア及び上記第二エリアとに基づく画像を出力させる処理であり、
上記第二処理は、上記第二検出処理によって検出された上記第二エリアと、その第二検出処理よりも前に検出された上記第一エリア及び上記第二エリアとに基づく画像を出力させる処理である処理方法。
（１８）
（１７）記載の処理方法であって、
上記第一処理と上記第二処理は、それぞれ、上記画像を表示装置に表示させる処理である処理方法。
（１９）
（１１）から（１８）のいずれか１つに記載の処理方法であって、
上記第一検出処理を行う頻度は、上記第一検出処理に要する時間に基づいて決められている処理方法。
（２０）
（１１）から（１９）のいずれか１つに記載の処理方法であって、
上記第一検出処理に要する時間は、上記第二検出処理に要する時間よりも長い処理方法。
（２１）
撮像素子から取得した画像データから検出対象物の第一エリアを検出する第一検出処理、上記撮像素子から取得した画像データから上記第一エリアに基づいた第二エリアを検出する第二検出処理、上記第一検出処理にて検出された上記第一エリアを利用した第一処理、及び上記第二検出処理にて検出された上記第二エリアを利用した第二処理をプロセッサに実行させ、
更に、上記プロセッサに、上記第一検出処理を続けて行わせ、第一タイミングで開始された上記第一検出処理によって上記第一エリアが検出されてから、上記第一タイミングの次に開始される上記第一検出処理によって上記第一エリアが検出されるまでの各期間に、上記第二検出処理を行わせる処理プログラム。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、２０２１年１月１５日出願の日本特許出願（特願２０２１－００５１３７）に基づくものであり、その内容は本出願の中に参照として援用される。
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
６ アナログ信号処理部
７ アナログデジタル変換回路
８ レンズ駆動部
９ 絞り駆動部
１０ 撮像素子駆動部
１１ システム制御部
１４ 操作部
１５ メモリ制御部
１６ メインメモリ
１７ デジタル信号処理部
２０ 外部メモリ制御部
２１ 記憶媒体
２２ 表示制御部
２３ 表示装置
２４ 制御バス
２５ データバス
４０ レンズ装置
Ｔ１１、Ｔ１２、Ｔ１３、Ｔ１４ 期間
Ｔ２１、Ｔ２２、Ｔ２３ 期間
Ｔ３１、Ｔ３２、Ｔ３３、Ｔ３４ 期間
Ｔ３１ａ、Ｔ３２ａ、Ｔ３３ａ 期間
Ｔ４１、Ｔ４２、Ｔ４３ 期間
Ｔ４１ａ、Ｔ４２ａ、Ｔ４３ａ 期間
Ｔ５１、Ｔ５２、Ｔ５３、Ｔ５４ 期間
Ｔ６１ 期間
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＮＳＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１～ＳＴｎ ＧＮＳＳ衛星

Claims (17)

  1. プロセッサと、メモリと、を有する処理装置であって、
    前記プロセッサは、
    撮像素子から出力された撮像画像信号をデジタル信号処理して生成された画像データから検出対象物の第一エリアを検出する第一検出処理と、
    前記第一検出処理に用いた前記撮像画像信号の後に前記撮像素子から出力された撮影画像信号の画像データから、前記第一エリアの画像を基準画像として、前記基準画像に類似する第二エリアを検出する第二検出処理と、
    前記第一検出処理にて検出された前記第一エリアを、撮像画像を表示中の表示装置に出力する第一処理と、
    前記第二検出処理にて検出された前記第二エリアを前記表示装置に出力する第二処理と、を行い、
    更に、前記第一検出処理を続けて行い、第一タイミングで開始した前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力してから、前記第一タイミングの次に開始する前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力するまでの期間に、前記第二検出処理及び第二処理を行う処理装置。
  2. 請求項１記載の処理装置であって、
    前記プロセッサは、前記第一検出処理の終了タイミングに基づいて、連続する２回の前記第一処理の間に行う前記第二処理の回数を制御する処理装置。
  3. 請求項２記載の処理装置であって、
    前記プロセッサは、前記第一検出処理の終了タイミングが、当該第一検出処理に用いられる前記画像データの前に取得した画像データに対する前記第二検出処理の終了タイミングよりも早い場合には、当該第二検出処理の結果に基づく前記第二処理を非作動とする処理装置。
  4. 請求項１から３のいずれか１項記載の処理装置であって、
    前記プロセッサは、前記第一検出処理が行われた後に前記第一検出処理が非作動となる場合には、前記第二検出処理を連続して行う処理装置。
  5. 請求項４記載の処理装置であって、
    前記プロセッサは、前記第二検出処理を連続して行う場合には、前記第二検出処理により検出される前記第二エリアの信頼度が閾値以上の場合に、当該第二エリアを前記表示装置に出力する前記第二処理を行う処理装置。
  6. 請求項１から５のいずれか１項記載の処理装置であって、
    前記第一処理は、前記第一検出処理によって検出された前記第一エリアと、当該第一検出処理よりも前に検出された前記第一エリア及び前記第二エリアとに基づく画像を出力させる処理であり、
    前記第二処理は、前記第二検出処理によって検出された前記第二エリアと、当該第二検出処理よりも前に検出された前記第一エリア及び前記第二エリアとに基づく画像を出力させる処理である処理装置。
  7. 請求項１から６のいずれか１項記載の処理装置であって、
    前記第一検出処理を行う頻度は、前記第一検出処理に要する時間に基づいて決められている処理装置。
  8. 請求項１から７のいずれか１項記載の処理装置であって、
    前記第一検出処理に要する時間は、前記第二検出処理に要する時間よりも長い処理装置。
  9. 撮像素子から出力された撮像画像信号をデジタル信号処理して生成された画像データから検出対象物の第一エリアを検出する第一検出処理と、
    前記第一検出処理に用いた前記撮像画像信号の後に前記撮像素子から出力された撮影画像信号の画像データから、前記第一エリアの画像を基準画像として、前記基準画像に類似する第二エリアを検出する第二検出処理と、
    前記第一検出処理にて検出された前記第一エリアを、撮像画像を表示中の表示装置に出力する第一処理と、
    前記第二検出処理にて検出された前記第二エリアを前記表示装置に出力する第二処理と、を行い、
    更に、前記第一検出処理を続けて行い、第一タイミングで開始した前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力してから、前記第一タイミングの次に開始する前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力するまでの期間に、前記第二検出処理及び第二処理を行う処理方法。
  10. 請求項９記載の処理方法であって、
    前記第一検出処理の終了タイミングに基づいて、連続する２回の前記第一処理の間に行う前記第二処理の回数を制御する処理方法。
  11. 請求項１０記載の処理方法であって、
    前記第一検出処理の終了タイミングが、当該第一検出処理に用いられる前記画像データの前に取得した画像データに対する前記第二検出処理の終了タイミングよりも早い場合には、当該第二検出処理の結果に基づく前記第二処理を非作動とする処理方法。
  12. 請求項９から１１のいずれか１項記載の処理方法であって、
    前記第一検出処理が行われた後に前記第一検出処理が非作動となる場合には、前記第二検出処理を連続して行う処理方法。
  13. 請求項１２記載の処理方法であって、
    前記第二検出処理を連続して行う場合には、前記第二検出処理により検出される前記第二エリアの信頼度が閾値以上の場合に、当該第二エリアを利用した前記第二処理を行う処理方法。
  14. 請求項９から１３のいずれか１項記載の処理方法であって、
    前記第一処理は、前記第一検出処理によって検出された前記第一エリアと、当該第一検出処理よりも前に検出された前記第一エリア及び前記第二エリアとに基づく画像を出力させる処理であり、
    前記第二処理は、前記第二検出処理によって検出された前記第二エリアと、当該第二検出処理よりも前に検出された前記第一エリア及び前記第二エリアとに基づく画像を出力させる処理である処理方法。
  15. 請求項９から１４のいずれか１項記載の処理方法であって、
    前記第一検出処理を行う頻度は、前記第一検出処理に要する時間に基づいて決められている処理方法。
  16. 請求項９から１５のいずれか１項記載の処理方法であって、
    前記第一検出処理に要する時間は、前記第二検出処理に要する時間よりも長い処理方法。
  17. 撮像素子から出力された撮像画像信号をデジタル信号処理して生成された画像データから検出対象物の第一エリアを検出する第一検出処理と、
    前記第一検出処理に用いた前記撮像画像信号の後に前記撮像素子から出力された撮影画像信号の画像データから、前記第一エリアの画像を基準画像として、前記基準画像に類似する第二エリアを検出する第二検出処理と、
    前記第一検出処理にて検出された前記第一エリアを、撮像画像を表示中の表示装置に出力する第一処理と、
    前記第二検出処理にて検出された前記第二エリアを前記表示装置に出力する第二処理と、をプロセッサに実行させ、
    更に、前記プロセッサに、前記第一検出処理を続けて行わせ、第一タイミングで開始した前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力してから、前記第一タイミングの次に開始する前記第一検出処理により検出した前記第一エリアを、前記第一処理により前記表示装置に出力するまでの期間に、前記第二検出処理及び第二処理を行わせる処理プログラム。

JP2023168892A 2021-01-15 2023-09-28 処理装置、処理方法、及び処理プログラム Pending JP2023182685A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021005137 2021-01-15
JP2021005137 2021-01-15
PCT/JP2022/000389 WO2022153946A1 (ja) 2021-01-15 2022-01-07 処理装置、処理方法、及び処理プログラム
JP2022575572A JP7359975B2 (ja) 2021-01-15 2022-01-07 処理装置、処理方法、及び処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022575572A Division JP7359975B2 (ja) 2021-01-15 2022-01-07 処理装置、処理方法、及び処理プログラム

Publications (1)

Publication Number Publication Date
JP2023182685A true JP2023182685A (ja) 2023-12-26

Family

ID=82448459

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022575572A Active JP7359975B2 (ja) 2021-01-15 2022-01-07 処理装置、処理方法、及び処理プログラム
JP2023168892A Pending JP2023182685A (ja) 2021-01-15 2023-09-28 処理装置、処理方法、及び処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022575572A Active JP7359975B2 (ja) 2021-01-15 2022-01-07 処理装置、処理方法、及び処理プログラム

Country Status (3)

Country Link
US (1) US20230360222A1 (ja)
JP (2) JP7359975B2 (ja)
WO (1) WO2022153946A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5029137B2 (ja) * 2007-05-17 2012-09-19 カシオ計算機株式会社 撮像装置及びプログラム
JP5247569B2 (ja) * 2009-04-09 2013-07-24 富士フイルム株式会社 人物追跡装置、人物追跡方法及びプログラム
JP2017045326A (ja) * 2015-08-27 2017-03-02 キヤノン株式会社 表示装置及びその制御方法、プログラム、並びに記憶媒体

Also Published As

Publication number Publication date
WO2022153946A1 (ja) 2022-07-21
JPWO2022153946A1 (ja) 2022-07-21
US20230360222A1 (en) 2023-11-09
JP7359975B2 (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
US9912859B2 (en) Focusing control device, imaging device, focusing control method, and focusing control program
US9854161B2 (en) Photographing device and method of controlling the same
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
US10715737B2 (en) Imaging device, still image capturing method, and still image capturing program
US10742876B2 (en) Imaging device, imaging method, and imaging program
JP7359975B2 (ja) 処理装置、処理方法、及び処理プログラム
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
WO2020170945A1 (ja) 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
WO2020209097A1 (ja) 画像表示装置、画像表示方法、及びプログラム
US12062209B2 (en) Face region detection device, imaging apparatus, face region detection method, and face region detection program
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
JP7042368B2 (ja) 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
JPWO2015052959A1 (ja) 撮像装置、撮像システム、撮像方法、及び撮像プログラム
JPWO2019181299A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230928