JP2020088416A

JP2020088416A - 電子機器および制御装置

Info

Publication number: JP2020088416A
Application number: JP2018214996A
Authority: JP
Inventors: 藤田　日高; Hitaka Fujita; 日高藤田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2020-06-04

Abstract

【課題】動いている被写体の大きさに応じてシャッターを切るタイミングを制御することができる撮影装置を実現する。【解決手段】少なくとも１つの撮影装置と、少なくとも１つの制御装置と、を備えた電子機器であって、前記制御装置は、前記撮影装置において逐次取得された画像フレームからオブジェクトを検出する被写体検出処理と、前記被写体検出処理において検出された前記オブジェクトの前記画像フレーム内における大きさに基づいて、前記撮影装置に撮影指示を出力する撮影処理と、を実行する。【選択図】図１

Description

本発明は、所定の条件を満たすと自動で撮影することができる自動撮影装置に関する。

被写体の上下左右の移動方向と移動速度とを算出し、一定間隔毎に生成される画像データに含まれる被写体の動きを解析し、被写体が予め定められた距離または位置に移動する予測時間を算出し、撮影を行う電子カメラが従来技術として知られている。

特開２０１０−２０６２７５号公報

しかしながら、上述のような従来技術は、被写体が前後方向に移動した場合に適切な撮影を行うことが困難であるという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、動いている被写体の大きさに応じてシャッターを切るタイミングを制御することができる撮影装置を実現することにある。

上記の課題を解決するために、本発明に係る撮影装置は、撮影される画像フレームの画像情報を入力させる入力部と、前記入力部から入力された前記画像情報からオブジェクトを検出する被写体検出部と、前記被写体検出部において検出された前記オブジェクトの前記画像フレーム内における大きさからオブジェクトの大きさ情報を生成し、前記画像フレーム内におけるオブジェクトの大きさを判定する解析部と、前記解析部における判定結果に応じて撮影指示情報を出力する撮影処理部と、を備えた構成である。

上記の構成によれば、前後方向に動いている被写体の大きさに応じてシャッターを切るタイミングを制御することができる。

上記の課題を解決するために、本発明に係る撮影方法は、撮影装置によって撮影する方法であって、撮影される画像フレームの画像情報を入力させ、前記入力された画像情報からオブジェクトを検出させ、前記検出されたオブジェクトの前記画像フレーム内における大きさを判定し、判定結果に応じて撮影指示情報を出力する、方法である。

本発明によれば、上記の構成によれば、前後方向に動いている被写体の大きさに応じてシャッターを切るタイミングを制御することができるという効果を奏する。

本発明の各実施形態に係る撮影装置の要部構成の一例を示すブロック図である。図１に示す撮影装置が実行する処理の流れの一例を示すフローチャートである。（Ａ）は、静止画を撮影する場合の処理の流れの一例を示すフローチャートであり、（Ｂ）は、動画を撮影する場合の処理の流れの一例を示すフローチャートである。動画を撮影する場合の処理の流れの一例を示すフローチャートである。図１に示す撮影装置が実行する処理の流れの一例を示すフローチャートである。図１に示す撮影装置が実行する処理の流れの一例を示すフローチャートである。図１に示す撮影装置によって撮影される画像フレームの一例を示す模式図である。図１に示す撮影装置によって撮影される画像フレームの一例を示す模式図である。図１に示す撮影装置によって撮影される画像フレームの一例を示す模式図である。図１に示す撮影装置が実行する処理の流れの一例を示すフローチャートである。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。図１は、本実施形態に係る撮影装置の要部構成の一例を示すブロック図である。図２は、本実施形態に係る撮影装置が実行する処理の流れの一例を示すフローチャートである。図３の（Ａ）は、静止画を撮影する場合の処理の流れの一例を示すフローチャートであり、図３の（Ｂ）は、動画を撮影する場合の処理の流れの一例を示すフローチャートである。図４は、動画を撮影する場合の処理の流れの一例を示すフローチャートである。

図１に示すとおり、本実施形態にかかる電子機器１は、少なくとも１つの撮影装置２と、少なくとも１つの制御装置３と少なくとも１つの記憶部４とを備える。撮影装置２は、少なくとも１つの入力部２１を備える。制御装置３は更に、少なくとも被写体検出部３１と、解析部３２と、撮影処理部３３とを備える。被写体検出部３１では、入力部２１にて入力された画像情報に応じて被写体を検出する。本実施形態では、被写体の種類、位置、大きさを判定する。

被写体検出部３１による被写体の種類判断処理についての具体的手法は本実施形態を限定するものではなく、例えば以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Bayesian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、入力される画像情報をニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション（Data Augmentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよいし、再帰的処理を含むリカレントニューラルネットワーク（RNN: Recurrent Neural Network）を用いてもよい。ＣＮＮを用いる場合、より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

また、被写体検出部３１による被写体の種類判断処理に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。

上記被写体の種類判断処理に用いられるプログラムおよび／またはデータは、記憶部４に格納されることが好ましいが、外部の記憶手段に格納されてもよい。

（被写体検知例）
本実施形態では、被写体である自動車の画像フレーム内での大きさを判定することによる撮影例を図２〜図４のフローチャートに沿って説明する。図７は、撮影装置２によって撮影される画像フレーム７の一例を示す模式図である。図７の（ａ）は、被写体である自動車７１の画像フレーム７内での大きさが小さい場合を示す。図７の（ｂ）は、被写体である自動車７１’の画像フレーム７内での大きさが大きい場合を示す。

画像フレーム７の画像情報が、入力部２１から被写体検出部３１に逐次入力される（Ｓ２１）。図７の（ａ）の画像フレーム７には、道路、並木、自動車７１が確認できる（Ｓ２２）。被写体検出部３１において、被写体を自動車として判断するステップでは、検出対象が道路や並木など自動車以外の場合（Ｓ２４でＮＯ）、被写体を自動車と判定するまで検出された被写体毎に判定処理をループする（Ｓ２３乃至Ｓ２６）。

本実施形態では、上述した被写体検出部３１における被写体の種類判断処理により、被写体検出部３１にて被写体の種類として自動車と判定することができる（Ｓ２４でＹＥＳ）。被写体の種類として自動車と判定する種類判断処理は、上述した判断処理の手法に限定されない。

本実施形態では、被写体検出部３１において、被写体として判定された自動車７１（本件では判定された被写体を「オブジェクト」とも称する。）の画像フレーム７内での位置を判断することができる。位置の判断は、オブジェクトの中心の座標で判断することが好ましいが、オブジェクトの形状に応じて、オブジェクトの端部の座標で画像フレーム７内での位置を判断してもよい。

また本実施形態では、被写体検出部３１において、オブジェクトの画像フレーム７内での大きさを判定する。大きさの判定基準としては、オブジェクトの対角線の長さ（ピクセル数など）を指標とすることができる（図７の自動車７１の点線矢印参照）。オブジェクトの形状に応じて、画像フレーム７内でのオブジェクトの面積をオブジェクトの大きさの判断基準としてもよい。また、画像フレーム７に占めるオブジェクトの面積割合（％）を大きさの判断基準としてもよい。

（被写体解析）
上述した被写体の種類判断処理（Ｓ２４）により被写体検出部３１にて判定されたオブジェクトの種類情報、当該オブジェクトの位置情報、当該オブジェクトの大きさ情報を生成し、それぞれの情報を被写体検出部３１から解析部３２に出力する。

解析部３２では、オブジェクトが所定のサイズ範囲か否か判断する（Ｓ２５）。予めオブジェクトの種類ごとに撮影の基準となる大きさの上限と下限を設定することができる。当該設定情報は、記憶部４に格納されることが好ましいが、外部の記憶手段に格納されてもよい。

本実施形態では、オブジェクトが自動車の場合、所定のサイズ範囲をオブジェクトの対角線のサイズで設定することができる。例えば、サイズの下限を１５０ピクセル（ｐｘ）、上限を２００ピクセル（ｐｘ）と設定することができる。所定のサイズ範囲の設定は任意のサイズを設定することができ、１５０ｐｘ〜２００ｐｘに限定するものではない。図７の（ａ）の画像フレーム７における自動車７１の対角線のサイズが７０ピクセルであった場合、解析部３２では、オブジェクトの大きさが所定のサイズ範囲（１５０ｐｘ〜２００ｐｘ）内に達していないと判断される（Ｓ２５でＮＯ）。オブジェクトの大きさが所定のサイズ範囲内に該当しない場合（Ｓ２５でＮＯ）、所定のサイズ範囲内に達するまで検出された被写体毎に処理をループする（Ｓ２３乃至Ｓ２６）。

図７の（ａ）の画像フレーム７における自動車７１が手前に移動し、図７の（ｂ）の画像フレーム７のようになった場合について検討する。この場合、図７の（ａ）の画像フレーム７において実行されていたループ処理を終了し（Ｓ２６）、図２に示したステップ「１」を介して次の時刻の新たに入力された図７の（ｂ）の画像フレームについて再度処理（Ｓ２１乃至Ｓ２６）を開始する。

図７の（ｂ）の画像フレーム７における自動車７１’の対角線のサイズが１８０ピクセルであった場合、解析部３２では、オブジェクトの大きさが所定のサイズ範囲（１５０ｐｘ〜２００ｐｘ）内と判断される（Ｓ２５でＹＥＳ）。この場合、次いで撮影ステップに移行する。

（静止画撮影）
静止画を撮影する場合の処理の流れの一例を図３の（Ａ）に沿って説明する。解析部３２において、オブジェクトの大きさが所定のサイズ範囲内と判断された場合（Ｓ２５でＹＥＳ）、当該判断結果が撮影処理部３３に出力される（Ｓ３０）。

当該判断結果に基づいて、撮影処理部３３は静止画の撮影指示情報を出力し（Ｓ３１）、静止画を撮影し、撮影した静止画を記憶部４に記憶させることができる。

他の好ましい実施形態では、撮影のタイミングを所定時間遅らせて実行してもよい。また別の好ましい実施形態では、所定の時間が経過する前に撮影が実行されていた場合、連続して撮影をしないようにしてもよい。いずれの所定時間情報についても、予め記憶部４に格納されることが好ましいが、外部の記憶手段に格納されてもよい。

撮影後、図２の「１」に戻り、入力部２１から新たに画像情報が入力される（Ｓ２１）。

（動画撮影）
動画を撮影する場合の処理の流れの一例を図３の（Ｂ）に沿って説明する。解析部３２において、オブジェクトの大きさが所定のサイズ範囲内と判断された場合（Ｓ２５でＹＥＳ）、当該判断結果が撮影処理部３３に出力され（Ｓ３０’）、当該判断結果に基づいて、動画の撮影をすることができる。

撮影処理部３３は動画の撮影開始指示情報を出力し（Ｓ３２）、動画を撮影する。所定の指定時間が経過したら（Ｓ３３）、撮影を停止する指示情報を出力し（Ｓ３４）、動画の撮影を終了する。撮影した動画を記憶部４に記憶させることができる。また、所定の指定時間に関する情報は、予め記憶部４に格納されることが好ましいが、外部の記憶手段に格納されてもよい。

（別の条件を満たした場合に停止する動画撮影）
他の好ましい実施形態では、図４に示す処理の流れに沿って動画を撮影することができる。図４のＳ４０、Ｓ４１は、図３の（Ｂ）のＳ３０’，Ｓ３２に相当する。つまり、Ｓ３２と同様に、撮影処理部３３は動画の撮影開始指示情報を出力し（Ｓ４１）、動画を撮影する。更に、入力部２１から画像情報が入力され（Ｓ４２）、被写体検出部３１は、入力された画像情報に応じて被写体を検出する（Ｓ４３）。被写体検出部３１はさらに、検出されたオブジェクトが所定の種類か否か判断する（Ｓ４５）。好ましい実施形態では、被写体検出部３１は、Ｓ２４で判断された所定の種類のオブジェクトが引き続き入力されているか否か判断する（Ｓ４５）。別の好ましい実施形態では、Ｓ２４で判断された所定の種類のオブジェクトを基準にしない。引き続き同じ種類のオブジェクトと判断される場合（Ｓ４５でＮＯ）、同じ種類のオブジェクトと判断されなくなるまで処理をループする（Ｓ４４乃至Ｓ４８）。

所定の種類のオブジェクトと同じ種類のオブジェクトと判断されない場合（Ｓ４５でＹＥＳ）、被写体検出部３１は、Ｓ２５で判断された所定のサイズ範囲に引き続き該当するか否か判断する（Ｓ４６）。所定のサイズ範囲に引き続き該当する場合（Ｓ４６でＮＯ）、該当しなくなるまで処理をループする（Ｓ４４乃至Ｓ４８）。所定のサイズ範囲に該当しなくなった場合（Ｓ４６でＹＥＳ）、撮影を停止する指示情報を出力し（Ｓ４７）、動画の撮影を終了する。

他の好ましい実施形態では、所定の種類のオブジェクトと同じ種類のオブジェクトと判断された場合であっても、所定のサイズ範囲に引き続き該当するか否か判断する（Ｓ４６）ことができる。他の好ましい実施形態では、所定のサイズ範囲に引き続き該当する場合、全ての所定種類のオブジェクトのサイズが該当しなくなるまで処理をループする。全ての所定種類のサイズが所定のサイズ範囲に該当しなくなった場合（Ｓ４６でＹＥＳ）、撮影を停止する指示情報を出力し（Ｓ４７）、動画の撮影を終了する。所定のサイズ範囲か否かの判断の態様は、Ｓ２５と同様である。

図７の（ｂ）の画像フレーム７における自動車７１’の対角線のサイズが１８０ピクセルであった場合、解析部３２では、オブジェクトの大きさが所定のサイズ範囲（１５０ｐｘ〜２００ｐｘ）内に包含されると判断される（Ｓ４６でＮＯ）。他の好ましい実施形態では、図７の（ｂ）から（ａ）へ遷移する場合を想定する。例えば、自動車７１’が後方に移動した場合や、撮影装置２が自動車７１’から離れる方向に移動した場合などが想定される。図７の（ａ）の画像フレーム７の自動車７１のオブジェクトの対角線のサイズが７０ピクセルであった場合、解析部３２では、オブジェクトの大きさが所定のサイズ範囲（１５０ｐｘ〜２００ｐｘ）に達していないと判断される（Ｓ４６でＹＥＳ）。この場合、撮影を停止する指示情報を出力し（Ｓ４７）、動画の撮影を終了する。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（被写体検知例）
本実施形態では、被写体である人物および自動車の画像フレーム内での大きさを判定することによる撮影例を図５のフローチャートに沿って説明する。図８は、撮影装置によって撮影される画像フレーム８の一例を示す模式図である。図８の（ａ）は、被写体である人物８２の画像フレーム８内での大きさは十分大きく、被写体である自動車８１の画像フレーム８内での大きさが小さい場合を示す。図８の（ｂ）は、被写体である人物８２の画像フレーム８内での大きさは十分大きく、かつ、被写体である自動車８１’の画像フレーム７内での大きさも大きい場合を示す。

画像フレーム８の画像情報が、入力部２１から被写体検出部３１に逐次入力される（Ｓ５１）。図８の（ａ）の画像フレーム８には、道路、並木、人物８２、自動車８１が確認できる（Ｓ５２）。被写体検出部３１において、複数種類の被写体を人物，自動車として判断するステップでは、検出対象が道路や並木など人物，自動車以外の場合（Ｓ５４でＮＯ）、複数種類の被写体を人物，自動車と判定するまで判定処理をループする（Ｓ５３乃至Ｓ５８）。

本実施形態では、上述した被写体検出部３１における複数の被写体の種類判断処理により、被写体検出部３１にて複数の被写体の種類として人物，自動車を検出することができる（Ｓ５４でＹＥＳ）。被写体の種類として人物，自動車と判定する種類判断処理は、上述した判断処理の手法に限定されない。

また本実施形態では、被写体検出部３１において、複数のオブジェクトの画像フレーム８内での大きさを判定する。大きさの判定基準としては、オブジェクトの対角線の長さ（ピクセル数など）を指標とすることができる（図８の人物８２，自動車８１の点線矢印参照）。オブジェクトの形状に応じて、画像フレーム８内でのオブジェクトの面積をそれぞれのオブジェクトの大きさの判断基準としてもよい。また、画像フレーム８に占めるそれぞれオブジェクトの面積割合（％）を大きさの判断基準としてもよい。

（被写体解析）
上述した複数の被写体の種類判断処理（Ｓ５４）により被写体検出部３１にて判定された複数のオブジェクトの種類情報、当該複数のオブジェクトの大きさ情報を生成し、それぞれの情報を被写体検出部３１から解析部３２に出力する。

解析部３２では、複数のオブジェクトがそれぞれの所定のサイズ範囲か否か判断する（Ｓ５５）。予めオブジェクトの種類ごとに撮影の基準となる大きさの上限と下限を設定することができる。当該設定情報は、記憶部４に格納されることが好ましいが、外部の記憶手段に格納されてもよい。

本実施形態では、オブジェクトが人物の場合、所定のサイズ範囲をオブジェクトの対角線のサイズで設定することができる。例えば、サイズの下限を１００ピクセル（ｐｘ）、上限を１５０ピクセル（ｐｘ）と設定することができる。所定のサイズ範囲の設定は任意のサイズを設定することができ、１００ｐｘ〜１５０ｐｘに限定するものではない。図８の（ａ）の画像フレーム８における人物８２の対角線のサイズが１２０ピクセルであった場合、解析部３２では、オブジェクト（人物）の大きさが所定のサイズ範囲（１００ｐｘ〜１５０ｐｘ）内に包含されていると判断される（Ｓ５５でＹＥＳ）。オブジェクトが自動車の場合の判断ステップは、上記実施形態１と同様である。図８の（ａ）の画像フレーム８における自動車８１の対角線のサイズが７０ピクセルであった場合、解析部３２では、オブジェクト（自動車）の大きさが所定のサイズ範囲（１５０ｐｘ〜２００ｐｘ）内に達していないと判断される（Ｓ５５でＮＯ）。オブジェクト（自動車）の大きさが所定のサイズ範囲内に該当しない場合（Ｓ５５でＮＯ）、所定のサイズ範囲内に達するまで検出された被写体毎に処理をループする（Ｓ５３乃至Ｓ５８）。

この場合、オブジェクト（人物）の大きさが所定のサイズ範囲（１００ｐｘ〜１５０ｐｘ）内に包含されていると判断されたとしても（Ｓ５５でＹＥＳ）、他のオブジェクト（自動車）の大きさが所定のサイズ範囲内に達していないため、すべての条件を満たしていない（Ｓ５６でＮＯ）。全ての条件を満たすまで、処理をループする（Ｓ５３乃至Ｓ５８）。

上記ループ処理（Ｓ５３乃至Ｓ５８）中、自動車８１が手前に移動し、図８の（ｂ）の画像フレーム８のようになった場合について検討する。図８の（ｂ）の画像フレーム８における自動車８１’の対角線のサイズが１８０ピクセルであった場合、解析部３２では、オブジェクト（自動車）の大きさが所定のサイズ範囲（１５０ｐｘ〜２００ｐｘ）内と判断される（Ｓ５５でＹＥＳ）。この場合、複数のオブジェクト全てにおいて条件を満たしている（Ｓ５６でＹＥＳ）。次いで撮影ステップに移行する。

（静止画撮影）
解析部３２において、複数のオブジェクトの大きさが所定のサイズ範囲内と判断された場合（Ｓ５６でＹＥＳ）、当該判断結果が撮影処理部３３に出力される。

当該判断結果に基づいて、撮影処理部３３は静止画の撮影指示情報を出力し（Ｓ５７）、静止画を撮影し、撮影した静止画を記憶部４に記憶させることができる。

撮影後、図５の「２」に移行し、入力部２１から新たに画像情報が入力される（Ｓ５１）。

（同じ種類のオブジェクト同士の場合）
上述の実施形態では、人物と自動車のように異なる複数のオブジェクトがすべての条件を満たすか否かを判断する場合について説明した。別の好ましい実施形態では、同じ種類のオブジェクトについて、複数のサイズ範囲を設定することができる。例えば、オブジェクトが人物であった場合、所定のサイズ範囲を１００ｐｘ〜１５０ｐｘ、および、５０ｐｘ〜７５ｐと複数設定することができる。このような場合、複数の人物がオブジェクトとして判断され（Ｓ５４でＹＥＳ）、それぞれのオブジェクト（人物）が画像フレーム８内で１２５ピクセルと６０ピクセルであった場合（Ｓ５５でＹＥＳ）、すべての条件を満たす（Ｓ５６でＹＥＳ）。

（動画撮影）
本実施形態では上述のとおり静止画の撮影について具体的に説明したが、実施形態１と同様に動画についても撮影可能である。本実施形態では、図３および４のフローチャート中に示した最終ステップ「１」を「２」と適宜読み替える。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（被写体検知例）
本実施形態では、被写体である人物および自動車の画像フレーム内での大きさを判定し、サイズ比率を判断することによる撮影例を図６のフローチャートに沿って説明する。実施形態２と同様に、図８を参照する。本実施形態で特段の説明がない限り、図８の態様は実施形態２と同様である。

実施形態２と同様に、画像フレーム８の画像情報が、入力部２１から被写体検出部３１に逐次入力され（Ｓ６１）、図８の（ａ）の画像フレーム８には、道路、並木、人物８２、自動車８１が確認できる（Ｓ６２）。上述した被写体検出部３１における複数の被写体の種類判断処理により、複数種類の被写体が所定の種類（本実施形態では、人物，自動車）であるか否か判断する（Ｓ６４）。本実施形態でも、被写体の種類として人物，自動車と判定する種類判断処理は、上述した判断処理の手法に限定されない。検出対象が道路や並木など人物，自動車以外の場合（Ｓ６４でＮＯ）、複数種類の被写体を人物，自動車と判定するまで判定処理をループする（Ｓ６３乃至Ｓ７０）。

検出対象が所定の種類（本実施形態では、人物，自動車）の場合（Ｓ６４でＹＥＳ）、判断された被写体の検出が条件の対象である所定の種類のいずれかに該当する最初の結果か否か判断する（Ｓ６５）。最初の結果の場合（Ｓ６５でＹＥＳ）、オブジェクトの種類とサイズを基準値として記憶部４に記憶し（Ｓ６６）、検出された被写体毎に処理をループさせる（Ｓ６３乃至Ｓ７０）。

実施形態２と同様に、被写体検出部３１において、画像フレーム８内での複数のオブジェクトの大きさを判定する。

（被写体解析）
被写体の検出が条件の対象である所定の種類のいずれかに該当する最初の結果でない場合（Ｓ６５でＮＯ）、以下のサイズ比率判定を行う（Ｓ６７）。

上述した複数の被写体の種類判断処理（Ｓ６４）により被写体検出部３１にて判定された複数のオブジェクトの種類情報、当該複数のオブジェクトの大きさ情報を生成し、それぞれの情報を被写体検出部３１から解析部３２に出力する。Ｓ６６にて記憶部４に記憶された各オブジェクトの種類に応じて、解析部３２にて、当該基準値と出力された大きさ情報とを比較する（Ｓ６７）。比較した結果、所定のオブジェクト間の比率判定情報により設定された範囲外の場合は（Ｓ６７でＮＯ）、当該範囲内に達するまで、検出された被写体毎に処理をループする（Ｓ６３乃至Ｓ７０）。所定のオブジェクト間の比率判定情報により設定された範囲内に達した場合（Ｓ６７でＹＥＳ）、解析部３２は、全ての条件を満たしているか判断する（Ｓ６８）。全ての条件を満たしていない場合（Ｓ６８でＮＯ）、検出された被写体毎に処理をループさせる（Ｓ６３乃至Ｓ７０）。

例えば、画像フレーム８内での所定のオブジェクト間の比率情報として、複数のオブジェクトの種類が人物と自動車の場合、「オブジェクト（人物）の大きさ：オブジェクト（自動車）の大きさ＝２：３」というオブジェクト間の比率情報を設定することができる。また、所定の許容範囲（例えば、±１０％）を設定することが好ましい。例えば、「オブジェクト（人物）の大きさ：オブジェクト（自動車）の大きさ＝（２±１０％）：（３±１０％）」と設定することもできる。オブジェクト間の比率情報は、これらの設定情報に限定されず、任意に種類ごとに設定することができる。オブジェクト間の比率情報は、予め記憶部４に格納されるのが好ましいが、外部の記憶手段に格納され、都度参照してもよい。

例えば、図８の（ａ）の画像フレーム８の画像情報が入力され（Ｓ６１）、初めてオブジェクトとして人物８２が判定された場合（Ｓ６４でＹＥＳ）、オブジェクトの種類として「人物８２」、画像フレーム８内でのオブジェクト（人物８２）の対角線のサイズとして１２０ピクセルが基準値として記憶される。次いで（Ｓ６４でＮＯ）、所定の種類のオブジェクトとして自動車８１が判定された場合（Ｓ６６でＹＥＳ）、オブジェクト（自動車８１）の画像フレーム８内での対角線のサイズが７０ピクセルとして出力され、上述した基準値と比較される（Ｓ６７）。比較の結果、オブジェクト（人物）の大きさ：オブジェクト（自動車）の大きさ＝１２０：７０となり、（２±１０％）：（３±１０％）に一致しない（Ｓ６７でＮＯ）。当該オブジェクト間の比率情報の範囲内に達するまで、検出された被写体毎に処理をループする（Ｓ６３乃至Ｓ７０）。

次いで、自動車８１が前方に移動し、図８の（ｂ）の画像フレーム８の画像情報が入力され（Ｓ６１）、所定の種類のオブジェクトとして自動車８１’が判定される（Ｓ６６でＹＥＳ）。オブジェクト（自動車８１’）の画像フレーム８内での対角線のサイズが１８０ピクセルとして出力され、上述した基準値と比較される（Ｓ６７）。比較の結果、オブジェクト（人物）の大きさ：オブジェクト（自動車）の大きさ＝１２０：１８０（＝２：３）となり、（２±１０％）：（３±１０％）に一致する（Ｓ６７でＹＥＳ）。この場合、全ての条件を満たし（Ｓ６８でＹＥＳ）、次いで撮影ステップに移行する。

（静止画撮影）
上述のとおり、解析部３２において、全ての条件を満たすと判断された場合（Ｓ６８でＹＥＳ）、当該判断結果が撮影処理部３３に出力される。

当該判断結果に基づいて、撮影処理部３３は静止画の撮影指示情報を出力し（Ｓ６９）、静止画を撮影し、撮影した静止画を記憶部４に記憶させることができる。

他の好ましい実施形態では、実施形態１，２と同様に、撮影のタイミングを所定時間遅らせて実行してもよい。また別の好ましい実施形態では、所定の時間が経過する前に撮影が実行されていた場合、撮影をしないようにしてもよい。いずれの所定時間情報についても、予め記憶部４に格納されることが好ましいが、外部の記憶手段に格納されてもよい。

撮影後、図６の「３」に移行し、入力部２１から新たに画像情報が入力される（Ｓ６１）。

（同じ種類のオブジェクト同士の場合）
本実施形態では、人物と自動車のように異なる複数のオブジェクトがすべての条件を満たすか否かを判断する場合について説明した。別の好ましい実施形態では、同じ種類のオブジェクト間でも、比率判定情報を設定することができる。例えば、複数のオブジェクトが人物Ａ、人物Ｂであった場合、「オブジェクト人物Ａの大きさ：オブジェクト人物Ｂの大きさ＝２±１０％：３±１０％」というオブジェクト間の比率情報を設定することができる。複数の人物がオブジェクトとして判断され（Ｓ６６でＹＥＳ）、複数のオブジェクト人物Ａ、人物Ｂが画像フレーム８内でそれぞれ１００ピクセルと１５０ピクセルと判定された場合、「オブジェクト人物Ａの大きさ：オブジェクト人物Ｂの大きさ＝２：３」となり（Ｓ６７でＹＥＳ）、すべての条件を満たす（Ｓ６８でＹＥＳ）。

（動画撮影）
本実施形態では上述のとおり静止画の撮影について具体的に説明したが、実施形態１、２と同様に動画についても撮影可能である。本実施形態では、図３および４のフローチャート中に示した最終ステップ「１」を「３」と適宜読み替える。

（実施形態２との組み合わせ）
本実施形態では、被写体である人物および自動車の画像フレーム内での大きさを検知し、サイズ比率を判断することによる撮影例を説明したが、各オブジェクトに関し、実施形態２に示した大きさによる判断を組み合わせてもよい。かかる組み合わせた態様では、各オブジェクト間で所定のサイズ比率を満たすだけでなく、各オブジェクトが所定の大きさを満たす場合にのみ撮影することが好ましい。

〔実施形態４〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（被写体検知例）
本実施形態では、画像フレーム内での所定の範囲内にて被写体である自動車を検知することによる撮影例を図１０のフローチャートに沿って説明する。図９は、撮影装置によって撮影される画像フレーム９の一例を示す模式図である。画像フレーム９内の所定の範囲を特定するには、２次元座標により範囲を特定することが好ましい。任意の場所に原点（０）を設定することができるが、本実施形態では、画像フレーム９の中央に原点を設定する例を以下説明する。

図９に示すように、画像フレーム９は、画像フレーム９を左右に分割するｙ軸に相当するグリッド線９２と、画像フレーム９を上下に分割するｘ軸に相当するグリッド線９３を設けることができる。グリッド線９２とグリッド線９３との交点を原点（０）とし、[Ｉ]を第１象限、[II]を第２象限、[III]を第３象限、[IV]を第４象限とする。

図９の（ａ）は、被写体である自動車９１が画像フレーム９の中央（原点）付近に第１象限から第４象限に渡り存在している場合を示す。図９の（ｂ）は、被写体である自動車９１’は画像フレーム９の第２象限に存在している場合を示す。

例えば、画像フレーム９内での所定の位置範囲情報として、第２象限を設定することができる。他の例では、第１象限または第２象限（画像フレーム９の右側）と設定することができる。更に他の例では、座標値を用いて具体的な位置範囲情報を設定することができる。本実施形態では、所定の位置範囲情報として、第２象限を設定した場合について以下説明する。所定の位置範囲情報は、予め記憶部４に格納されるのが好ましいが、外部の記憶手段に格納され、都度参照してもよい。

画像フレーム９の画像情報が、入力部２１から被写体検出部３１に逐次入力される（Ｓ１０１）。図９の（ａ）の画像フレーム９の全体には、道路、並木、自動車８１が確認できる（Ｓ１０２）。

好ましい実施形態では、入力部２１から被写体検出部３１に入力される画像情報が、画像フレーム９の第２象限だけの限定された情報を画像情報として入力することができる（Ｓ１０１）。別の好ましい実施形態では、被写体を検出する際に、画像フレーム９全体にわたって検出するのではなく、第２象限に限定して被写体を検出することができる（Ｓ１０２）。

被写体を確認した位置情報が第２象限であるか否か判断する（Ｓ１０４）。第２象限でなければ（Ｓ１０４でＮＯ）、第２象限においてオブジェクトである自動車と判断されるまで判断処理をループする（Ｓ１０３乃至Ｓ１０６）。被写体を確認した位置情報が第２象限であれば（Ｓ１０４でＹＥＳ）、検出された被写体が自動車（オブジェクト）か否か判定する（Ｓ１０５）。検出された被写体が自動車でなければ（Ｓ１０５でＮＯ）、第２象限においてオブジェクトである自動車と判定されるまで判定処理をループする（Ｓ１０３乃至Ｓ１０６）。図９の（ｂ）の画像フレーム９の第２象限では、自動車９１’をオブジェクトとして判定することができる（Ｓ１０５でＹＥＳ）。この場合、次いで撮影ステップに移行する。

（実施形態１乃至３との組み合わせ）
本実施形態では、画像フレーム内での所定の位置範囲において自動車がオブジェクトとして判定されることによる撮影例を説明したが、当該オブジェクトに関し実施形態１に示した大きさによる判断を組み合わせてもよい。また人物など他のオブジェクトとの組み合わせに関し、実施形態２または３に示した判断を組み合わせてもよい。かかる組み合わせた態様では、各オブジェクト間で所定のサイズ比率を満たすだけでなく、各オブジェクトが所定の大きさを満たす場合にのみ撮影することが好ましい。

（静止画および動画の撮影）
静止画および動画を撮影する場合の処理については実施形態１と同様である。本実施形態では、図３および４のフローチャート中に示した最終ステップ「１」を「４」と読み替える。解析部３２において、オブジェクトの位置範囲が所定の位置範囲内と判断された場合（Ｓ１０５でＹＥＳ）、当該判断結果が撮影処理部３３に出力される（Ｓ３０、Ｓ３０’、Ｓ４０）。撮影後、図３および図４にて読み替えた最終ステップ「４」に移行し、入力部２１から新たに画像が入力される（Ｓ１０１）。

〔ソフトウェアによる実現例〕
制御装置３の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、制御装置３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る電子機器は、少なくとも１つの撮影装置と、少なくとも１つの制御装置と、を備えた電子機器であって、前記制御装置は、前記撮影装置において逐次取得された画像フレームからオブジェクトを検出する被写体検出処理と、前記被写体検出処理において検出された前記オブジェクトの前記画像フレーム内における大きさに基づいて、前記撮影装置に撮影指示を出力する撮影処理と、を実行する構成である。

本発明の態様２に係る電子機器は、上記の態様１において、前記制御装置は、前記被写体検出処理において、複数のオブジェクトを検出した場合、オブジェクト毎に前記撮影処理を行う構成としてもよい。

上記の構成によれば、前後方向に動いている被写体の種類に応じて、大きさを判断してシャッターを切るタイミングを制御することができる。

本発明の態様３に係る電子機器は、上記の態様１または２において、前記制御装置は、前記撮影処理において、前記オブジェクトの前記画像フレーム内における大きさが、前記オブジェクトの種類に応じた範囲内に存する場合、前記撮影装置に撮影指示を出力する、構成としてもよい。

上記の構成によれば、前後方向に動いている被写体の種類に応じて、大きさを判断し、所定の大きさの被写体を撮影するためにシャッターを切るタイミングを制御することができる。

本発明の態様４に係る電子機器は、上記の態様１または２において、前記制御装置は、前記撮影処理において、複数のオブジェクトの前記画像フレーム内における大きさが、各オブジェクトの種類に応じた範囲内に存する場合、前記撮影装置に撮影指示を出力する、構成としてもよい。

上記の構成によれば、前後方向に動いている複数の被写体について、各々の大きさを判断し、全ての被写体が所定の大きさの条件を満たした場合にシャッターを切るタイミングを制御することができる。

本発明の態様５に係る電子機器は、上記の態様１〜４のいずれか一項において、前記制御装置は、前記撮影処理において、複数のオブジェクトの前記画像フレーム内における大きさの比率に基づいて、前記撮影装置に撮影指示を出力する、構成としてもよい。

上記の構成によれば、前後方向に動いている複数の被写体について、各々の大きさを判断し、各々の被写体間の大きさの比率が所定の比率条件を満たした場合にシャッターを切るタイミングを制御することができる。

本発明の態様６に係る電子機器は、上記の態様１〜５のいずれか一項において、前記制御装置は、前記被写体検出処理において、前記画像フレーム内の所定の領域からオブジェクトを検出する構成としてもよい。

上記の構成によれば、ファインダーの所定の領域に存する被写体の大きさに応じてシャッターを切るタイミングを制御することができる。

本発明の態様７に係る制御装置は、少なくとも１つの撮影装置を備えた電子機器の制御装置であって、前記制御装置は、前記撮影装置において逐次取得された画像フレームからオブジェクトを検出する被写体検出処理部と、前記被写体検出処理において検出された前記オブジェクトの前記画像フレーム内における大きさに基づいて、前記撮影装置に撮影指示を出力する撮影処理部と、を備えている構成である。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

２入力部
３制御部
４記憶部
７、８、９画像フレーム
３１被写体検出部
３２解析部
３３撮影処理部
７１、７１’、８１、８１’、９１、９１’ 自動車
８２人物
９２、９３グリッド線

Claims

少なくとも１つの撮影装置と、少なくとも１つの制御装置と、を備えた電子機器であって、
前記制御装置は、
前記撮影装置において逐次取得された画像フレームからオブジェクトを検出する被写体検出処理と、
前記被写体検出処理において検出された前記オブジェクトの前記画像フレーム内における大きさに基づいて、前記撮影装置に撮影指示を出力する撮影処理と、
を実行することを特徴とする電子機器。
前記制御装置は、
前記被写体検出処理において、複数のオブジェクトを検出した場合、オブジェクト毎に前記撮影処理を行う
ことを特徴とする請求項１に記載の電子機器。
前記制御装置は、
前記撮影処理において、前記オブジェクトの前記画像フレーム内における大きさが、前記オブジェクトの種類に応じた範囲内に存する場合、前記撮影装置に撮影指示を出力する、
ことを特徴とする請求項１または２に記載の電子機器。
前記制御装置は、
前記撮影処理において、複数のオブジェクトの前記画像フレーム内における大きさが、各オブジェクトの種類に応じた範囲内に存する場合、前記撮影装置に撮影指示を出力する、
ことを特徴とする請求項１または２に記載の電子機器。
前記制御装置は、
前記撮影処理において、複数のオブジェクトの前記画像フレーム内における大きさの比率に基づいて、前記撮影装置に撮影指示を出力する、
ことを特徴とする請求項１〜４のいずれか一項に記載の電子機器。
前記制御装置は、
前記被写体検出処理において、前記画像フレーム内の所定の領域からオブジェクトを検出することを特徴とする請求項１〜５のいずれか一項に記載の電子機器。
少なくとも１つの撮影装置を備えた電子機器の制御装置であって、
前記制御装置は、
前記撮影装置において逐次取得された画像フレームからオブジェクトを検出する被写体検出処理部と、
前記被写体検出処理において検出された前記オブジェクトの前記画像フレーム内における大きさに基づいて、前記撮影装置に撮影指示を出力する撮影処理部と、
を備えていることを特徴とする制御装置。