JP2019186791A - 撮像装置、撮像装置の制御方法、および制御プログラム - Google Patents

Abstract

【課題】審美性に優れた静止画を、ユーザに簡便に取得させる。【解決手段】スマートフォン（１）は、（ｉ）動画像がキャプチャされている期間、または、（ｉｉ）当該動画像に対応するスルー画像が表示部（８１）に表示されている期間、において、カメラ（７０）にシャッタ動作を選択的に行わせる特殊モードで動作する。特殊モードにおいて、制御部（１０）は、動画像の任意の１フレームである対象フレームに含まれうる主要被写体の像を検出し、かつ、静止画としての当該対象フレームの構図の良好性を判定する。そして、制御部（１０）は、対象フレームにおける主要被写体の像の検出結果と当該対象フレームの構図の良好性の判定結果とに応じて、カメラ（７０）にシャッタ動作を行わせる。【選択図】図１

Description

本発明の一態様は、静止画（静止画像）および動画像を撮像可能な撮像装置に関する。

撮像装置において、ユーザの利便性を向上させるための様々な工夫が提案されている。例えば、特許文献１には、動画像（映像）の撮像（撮影）中に、より好ましい構図の静止画をユーザに取得させるための技術が開示されている。具体的には、特許文献１の撮像装置は、動画像の１フレームから被写体の像を含む部分領域をトリミングすることにより、当該被写体の像が所定の構図で配置されたトリミング画像を生成する。

特開２００９−８９２２０号公報

Yi-Ling Chen, Jan Klopp, Min Sun, Shao-Yi Chien, Kwan-Liu Ma, "Learning to Compose with Professional Photographs on the Web", MM '17 Proceedings of the 2017 ACM on Multimedia Conference Pages 37-45.

本発明の一態様は、審美性に優れた静止画を、ユーザに簡便に取得させることを目的とする。

上記の課題を解決するために、本発明の一態様に係る撮像装置は、静止画および動画像を撮像可能な少なくとも１つの撮像部と、上記撮像部を制御する少なくとも１つの制御装置と、少なくとも１つの表示部と、を備えた撮像装置であって、上記動画像を構成する複数のフレームのうちの任意の１フレームを対象フレームとし、上記動画像において表現された複数の物体のうち所定の１つの物体を主要被写体として、上記撮像装置の撮像モードには、（ｉ）上記動画像がキャプチャされている期間、または、（ｉｉ）上記動画像に対応するスルー画像が上記表示部に表示されている期間、において、上記対象フレームに対応する上記静止画をキャプチャするためのシャッタ動作を上記撮像部に選択的に行わせる撮像モードである特殊モードが含まれており、上記特殊モードにおいて、上記制御装置は、上記対象フレームに含まれうる上記主要被写体の像を検出し、上記静止画としての上記対象フレームの構図の良好性を判定し、上記対象フレームにおける、（ｉ）上記主要被写体の像の検出結果、および、（ｉｉ）上記対象フレームの構図の良好性の判定結果に応じて、上記撮像部に上記シャッタ動作を行わせる。

また、上記の課題を解決するために、本発明の一態様に係る撮像装置の制御方法は、静止画および動画像を撮像可能な少なくとも１つの撮像部と少なくとも１つの表示部とを備えた撮像装置を制御するための、撮像装置の制御方法であって、上記動画像を構成する複数のフレームのうちの任意の１フレームを対象フレームとし、上記動画像において表現された複数の物体のうち所定の１つの物体を主要被写体として、上記撮像装置の撮像モードには、（ｉ）上記動画像がキャプチャされている期間、または、（ｉｉ）上記動画像に対応するスルー画像が上記表示部に表示されている期間、において、上記対象フレームに対応する上記静止画をキャプチャするためのシャッタ動作を上記撮像部に選択的に行わせる撮像モードである特殊モードが含まれており、上記特殊モードにおいて、上記対象フレームに含まれうる上記主要被写体の像を検出する工程と、上記静止画としての上記対象フレームの構図の良好性を判定する工程と、上記対象フレームにおける、（ｉ）上記主要被写体の像の検出結果、および、（ｉｉ）上記対象フレームの構図の良好性の判定結果に応じて、上記撮像部に上記シャッタ動作を行わせる工程と、を含んでいる。

本発明の一態様に係る撮像装置によれば、審美性に優れた静止画を、ユーザに簡便に取得させることができる。また、本発明の一態様に係る撮像装置の制御方法によっても、同様の効果を奏する。

実施形態１のスマートフォンの要部の構成を示す機能ブロック図である。 特殊モードにおける、図１のスマートフォンの動作の一例について説明するための図である。 特殊モードにおける、図１のスマートフォンの動作の別の例について説明するための図である。 特殊モードにおける、図１のスマートフォンの動作のさらに別の例について説明するための図である。 特殊モードにおける、図１のスマートフォンの処理の流れを例示する図である。 図１のスマートフォンのビュー画面の一変形例を示す図である。 実施形態２のスマートフォンの要部の構成を示す機能ブロック図である。 特殊モードにおける、図７のスマートフォンの動作の一例について説明するための図である。 特殊モードにおける、図７のスマートフォンの処理の流れを例示する図である。

〔実施形態１〕
以下、実施形態１のスマートフォン１（撮像装置）について説明する。説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、以降の各実施形態では同じ符号を付記し、その説明を繰り返さない。

実施形態１では、本発明の一態様に係る撮像装置の一例として、カメラ機能を有するスマートフォン１（携帯型の情報処理端末）を例示する。但し、当該撮像装置は、このような情報処理端末に限定されず、ユーザによって持ち歩き可能なデジタルカメラであってもよい。あるいは、当該撮像装置は、所定の位置に固定して配置された、監視カメラであってもよい。

（スマートフォン１の概要）
図１は、スマートフォン１の要部の構成を示す機能ブロック図である。スマートフォン１は、制御部１０（制御装置）、カメラ７０（撮像部）、タッチパネル８０、および記憶部９０を備える。図１では、制御部１０および記憶部９０が１つである場合が例示されているが、制御部１０および記憶部９０の個数は複数であってもよい。この点は、カメラ７０についても同様である。また、タッチパネル８０（より具体的には、表示部８１および入力部８２のそれぞれ）についても同様である。

制御部１０は、スマートフォン１の各部を統括的に制御する。特に、制御部１０は、カメラ７０の動作を制御する。記憶部９０は、スマートフォン１に対して着脱可能な記憶媒体（リムーバブルメディア）であってよい。あるいは、記憶部９０は、スマートフォン１に予め内蔵された記憶媒体（例：ハードディスクドライブ）であってもよい。

カメラ７０は、例えば公知のカメラモジュールである。カメラ７０は、公知の撮像素子を含む。カメラ７０は、静止画および動画像を撮像可能である。なお、カメラ７０を複数（例：２つ）設ける場合、一部（例：１つ）のカメラを静止画撮影用のカメラとして、その他（例：もう１つ）のカメラを動画像撮影用のカメラとして、それぞれ用いてもよい。

タッチパネル８０は、表示部８１と入力部８２とが一体として設けられた部材である。但し、表示部８１と入力部８２とは、個別の部材として設けられてもよい。例えば、スマートフォン１に設けられたハードウェアキーを、入力部８２として用いてもよい。入力部８２は、ユーザの操作（以下、ユーザ操作）を受け付ける。例えば、ユーザは、タッチパネル８０に表示されたカメラアプリのボタン（アイコン）を押下することにより、カメラ７０を起動する。制御部１０は、ユーザ操作に応じて、カメラ７０を動作させる。

表示部８１は、電子ファインダとして機能する。表示部８１には、カメラ７０のレンズが捉えている構図（より具体的には、カメラ７０がリアルタイムで撮像している動画像の現フレーム）が、ビュー画面として表示される（例：後述の図６）。ある撮影モード（例：手動撮影モード）において、ユーザは、ビュー画面を閲覧しつつ、タッチパネル８０に表示されたシャッタボタン（シャッタ動作をカメラ７０に指示するためのボタン）を押下する。制御部１０は、シャッタボタンが押下されたことを契機として、カメラ７０にシャッタ動作を行わせる。なお、シャッタ動作は、レリーズ動作とも称される。同様に、シャッタボタンは、レリーズボタンとも称される。

シャッタ動作とは、スマートフォン１に静止画をキャプチャさせるために、カメラ７０が当該静止画を撮像する動作を意味する。より具体的には、シャッタ動作とは、スマートフォン１に静止画をキャプチャさせるために、カメラ７０のシャッタ（電子シャッタ）を動作させる処理を意味する。シャッタ動作では、カメラ７０の撮像素子に対して、露光調整処理（電子シャッタ処理）が行われる。このように、ユーザは、手動操作によって所望のタイミングで静止画をキャプチャできる。

加えて、スマートフォン１では、複数の撮影モード（撮像モード）に、所定の条件下でカメラ７０にシャッタ動作を自動的に行わせる撮影モード（以下、特殊モード）が含まれている。実施形態１では、特殊モードが、動画像のキャプチャ中にカメラ７０にシャッタ動作を自動的に（選択的に）行わせる撮影モードである場合を例示する。

以下に述べるように、特殊モードでは、ＡＩ（Artificial Intelligence）技術を利用した判定処理の結果に応じて、カメラ７０にシャッタ動作を選択的に行わせることができる。このことから、特殊モードは、例えば「AI AUTOモード」とも称される。具体的には、特殊モードは、対象フレーム（後述）に対応する静止画をキャプチャするために、カメラ７０にシャッタ動作を行わせることができる。以下の説明では、スマートフォン１が特殊モードで動作している場合を主に例示する。なお、スマートフォン１の撮影モードの切り替えは、ユーザ操作に応じて実行されてよい。

（制御部１０）
制御部１０は、表示制御部１１、シャッタ制御部１２、およびエンコーダ１３を備える。表示制御部１１は、表示部８１の動作を制御する。表示制御部１１は、例えば、ビュー画面の表示を制御する。エンコーダ１３は、動画エンコーダ１３０および静止画エンコーダ１３１を備える。エンコーダ１３の動作の例については後述する、シャッタ制御部１２は、物体検出部１２０、構図判定部１２１、およびシャッタ指令部１２２を備える。シャッタ制御部１２は、特殊モードにおいて、カメラ７０にシャッタ動作を選択的に行わせる。

図２〜図４はそれぞれ、特殊モードにおけるスマートフォン１の動作について説明するための図である。以下、特殊モードにおいてカメラ７０がリアルタイムで撮像している動画像を、ＭＯＶと称する。また、スマートフォン１がＭＯＶをキャプチャしている期間を、キャプチャ期間と称する。ＭＯＶの上下方向（垂直方向）および左右方向（水平方向）は、予め規定されているものとする。

ＭＯＶは、複数のフレームによって構成されている。図２〜図４に示されるＩＭＧ１〜ＩＭＧ３はそれぞれ、ＭＯＶを構成する複数のフレームのうちの任意の１フレームである。すなわち、ＩＭＧ１〜ＩＭＧ３はそれぞれ、静止画である。一例として、ＩＭＧ２は、ＩＭＧ１に後続するフレームである。さらに、ＩＭＧ３は、ＩＭＧ２に後続するフレームである。

以下、ＭＯＶの任意の１フレームを、便宜上、静止画Ａと称する。ＩＭＧ１〜ＩＭＧ３はいずれも、静止画Ａの一例である。以下に述べるように、静止画Ａは、シャッタ制御部１２（より具体的には、物体検出部１２０および構図判定部１２１）による解析対象となるフレームである。このことから、静止画Ａ（ＩＭＧ１〜ＩＭＧ３）は、対象フレームとも称される。

ＭＯＶ（換言すれば、静止画Ａ）には、複数の物体（オブジェクト）の像が表現されている。例えば、ＩＭＧ１〜ＩＭＧ３には、道、観覧車、ビルなどの物体の像が含まれている。加えて、ＩＭＧ１・ＩＭＧ２には、人（以下、ＯＢＪＭ）の像が含まれている。

以下、一例として、ユーザがＯＢＪＭを主要な撮影対象（被写体）として意図している場合を考える。つまり、ユーザが、好適な構図のもとでＯＢＪＭが表現された静止画を取得することを希望している場合を例示する。このことから、ＯＢＪＭを、主要被写体とも称する。

実施形態１では、ＯＢＪＭが人である場合を例示する。但し、ＯＢＪＭは、静止画において表現される複数の物体のうち、所定の１つの物体であればよい。ＯＢＪＭは、ユーザが主要な被写体として選択することが多いと考えられる種類の物体であればよい。例えば、ＯＢＪＭは、犬または猫等の動物（生体）であってもよい。あるいは、ＯＢＪＭは、無生物であってもよい。当該無生物は、可動な物体（例：電車）であってもよいし、静止した物体（例：建築物）であってもよい。主要被写体としての物体の種類を示す情報（物体カテゴリ）は、スマートフォン１において予め設定されている。なお、生体の一部の部位を、ＯＢＪＭとして設定してもよい。例えば、人の顔をＯＢＪＭとして設定してもよい。

物体検出部１２０は、ＭＯＶの各フレーム（例：静止画Ａ）に含まれうるＯＢＪＭの像を検出する。具体的には、物体検出部１２０は、静止画Ａに、ＯＢＪＭの像が含まれているか否かを判定する。なお、以下の説明では、簡単のため、「ＯＢＪＭの像」を、単に「ＯＢＪＭ」とも称する。その他の物体についても同様である。

一例として、物体検出部１２０は、公知のＡＩ技術を利用して、各物体を検出（特定）できる。物体検出部１２０における物体検出方法（物体カテゴリの特定方法）には、ディープラーニング（Deep Learning）技術が利用されてよい。この場合、物体検出部１２０に複数の物体の画像（リファレンス画像）を用いてあらかじめ機械学習を行わせることで、各物体を識別する（物体カテゴリを特定する）ためのモデルを、当該物体検出部１２０に取得させることができる。以下、当該モデルを第１学習済みモデル（物体特定用モデル）と称する。

物体検出部１２０は、静止画Ａに含まれる複数の物体を検出する。そして、物体検出部１２０は、複数の物体のそれぞれと第１学習済みモデルとの照合を行うことで、各物体の物体カテゴリを特定する。つまり、物体検出部１２０は、検出した複数の物体に、ＯＢＪＭ（人）が含まれているかを識別できる。ディープラーニング技術を用いることにより、物体識別（ＯＢＪＭの検出）を高精度に行うことが可能となる。

物体検出部１２０は、静止画ＡにＯＢＪＭが含まれているか否かを判定した結果を示す情報（物体検出結果情報）を生成する。物体検出部１２０は、静止画ＡにおいてＯＢＪＭの像を検出した場合には、静止画ＡにおけるＯＢＪＭの像の位置およびサイズをさらに検出する。物体検出部１２０は、静止画ＡにおいてＯＢＪＭの像を検出した場合には、その旨を示す物体検出結果情報（第１物体検出結果情報）を生成する。第１物体検出結果情報には、静止画ＡにおけるＯＢＪＭの像の位置およびサイズを示す情報が含まれる。これに対して、物体検出部１２０は、静止画ＡにＯＢＪＭが含まれていないと判定した場合には、その旨を示す物体検出結果情報（第２物体検出結果情報）を生成する。

構図判定部１２１は、ＭＯＶの各フレーム（例：静止画Ａ）の構図の良好性（より具体的には、審美性）を判定する。一例として、構図判定部１２１は、静止画Ａの構図スコア（以下、ＳＣとも称する）を算出する。構図スコアとは、静止画Ａ（静止画としての対象フレーム）の構図の良好性を示す指標である。つまり、構図スコアは、対象フレームを１つの静止画と見なした場合の、当該対象フレームの構図の良好性を示す。構図スコアによれば、静止画Ａの構図の良好性を定量的に評価できる。一例として、ＳＣは、０以上かつ１００以下の整数である。ＳＣが高い値であるほど、静止画Ａの構図の良好性が高い。なお、静止画ＡにＯＢＪＭが含まれている場合、ＳＣは、静止画ＡにおけるＯＢＪＭのサイズおよび位置にも依存する。

実施形態１では、スマートフォン１（制御部１０）が、ＳＣを静止画Ａ（対象フレーム）の構図の良好性の判定結果として用いる場合を例示する。但し、構図判定部１２１は、静止画Ａの構図の良好性を判定できればよい。構図判定部１２１は、必ずしもＳＣを算出しなくともよい。構図判定部１２１におけるＳＣの算出は、静止画Ａの構図の良好性を判定する処理の一例であることに留意されたい。

構図判定部１２１によるＳＣの算出方法（構図の良否の判定方法）にも、ディープラーニング技術が利用されてよい。構図判定部１２１は、例えば非特許文献１に開示された技術を用いて実現されてよい。構図判定部１２１は、機械学習の結果として得られた、ＳＣを算出するためのモデルを含んでいる。以下、当該モデルを第２学習済みモデル（構図評価用モデル）と称する。構図判定部１２１は、静止画Ａと第２学習済みモデルとの照合を行う。構図判定部１２１は、照合の結果として、静止画ＡのＳＣを算出する。ディープラーニング技術を用いることにより、静止画Ａの構図の良否を高精度に判定することが可能となる。

なお、「良好な構図の静止画」とは、例えば以下の性質１〜３、
（性質１）色合いおよび明るさの少なくともいずれかが適切である；
（性質２）ブレが少ない（好ましくはブレがない）；
（性質３）各被写体の配置が、公知の適切な配置（日の丸、２分割、３分割、またはシンメトリー等の構図）から大きく乖離していない；
のうちの少なくともいずれかを備えた静止画である。

多くの場合、撮影技量の高いカメラマン（例：プロまたはセミプロのカメラマン）によって撮影された静止画は、性質１〜３のうちの少なくともいずれか（好ましくは、性質１〜３の全て）を満たしていると期待される。そこで、このような静止画が、構図判定部１２１におけるディープラーニングの学習データに用いられてよい。

以上の点を踏まえると、構図判定部１２１は、例えば以下の基準１〜３、
（基準１）静止画Ａにおける色合いおよび明るさの少なくともいずれか；
（基準２）静止画Ａにおけるブレの程度；
（基準３）静止画Ａに含まれる複数の物体のそれぞれの像の位置関係；
の少なくともいずれかに基づいて、静止画Ａの構図の良好性を判定してよい（例：ＳＣを算出してよい）。基準１〜３はそれぞれ、性質１〜３に対応する基準（構図の良好性の判定基準）である。これにより、構図判定部１２１において、静止画Ａの構図の良好性をより適切に判定できる。一例として、構図判定部１２１は、基準１〜３の全てに基づいて、静止画Ａの構図の良好性を判定してよい。

シャッタ指令部１２２は、カメラ７０のシャッタ動作を指令する信号（シャッタ指令信号）を、カメラ７０に与える。具体的には、シャッタ指令部１２２は、（ｉ）物体検出部１２０の判定結果（ＯＢＫＭの像の検出結果）、および、（ｉｉ）構図判定部１２１の判定結果（例：ＳＣの値）に応じて、シャッタ指令信号をカメラ７０に供給する。このように、シャッタ指令部１２２は、カメラ７０にシャッタ動作を選択的に行わせる。

例えば、シャッタ指令部１２２は、静止画ＡにおいてＯＢＪＭが所定のエリア内に位置していない場合には、カメラ７０にシャッタ指令信号を供給しない（つまり、カメラ７０にシャッタ動作を行わせない）。一例として、所定のエリアは、ＭＯＶの各フレーム（例：静止画Ａ）を水平方向に３等分した場合の、中央のエリア（以下、中央エリア）であることが好ましい。ユーザが好適な構図のもとでＯＢＪＭを撮影したい場合、ＯＢＪＭの存在感を強調するために、ＯＢＪＭが中央エリアに位置するように静止画Ａの構図を設定することが多いと考えられるためである。

実施形態１では、所定のエリアが中央エリアである場合を例示する。但し、当該所定のエリアは、静止画Ａを水平方向に３等分した場合の、左端のエリア（以下、左端エリア）であってもよい。あるいは、当該所定のエリアは、静止画Ａを水平方向に３等分した場合の、右端のエリア（右端エリア）であってもよい。

さらに、シャッタ指令部１２２は、静止画ＡにおけるＯＢＪＭのサイズ（例：ＯＢＪＭの面積）が所定のサイズ（サイズ閾値）よりも小さい場合にも、カメラ７０にシャッタ指令信号を供給しない。ユーザが好適な構図のもとでＯＢＪＭを撮影したい場合、ＯＢＪＭの存在感を強調するために、ＯＢＪＭがある程度大きいサイズで表現されるように静止画Ａの構図を設定することが多いと考えられるためである。

以下、「静止画Ａにおいて、（ｉ）ＯＢＪＭが所定のエリア内に位置しており、かつ、（ｉｉ）ＯＢＪＭのサイズがサイズ閾値以上である」という条件を、主要被写体撮影許可条件と称する。主要被写体撮影許可条件は、ＯＢＪＭに関する条件である。主要被写体撮影許可条件が満たされる場合、静止画Ａにおいて、ＯＢＪＭの存在感が十分に強調されていると期待される。

これに対して、主要被写体撮影許可条件が満たされていない場合、静止画Ａにおいて、ＯＢＪＭの存在感が十分に強調されていないと考えられる。そこで、シャッタ指令部１２２は、ＯＢＪＭを含む静止画（例：ＩＭＧ１およびＩＭＧ２）を撮像する場合、主要被写体撮影許可条件が満たされない状態では、カメラ７０にシャッタ指令信号を供給しない。このような場合、静止画Ａは、ＯＢＪＭを表現する静止画としてあまり好ましくないと言えるためである。

また、シャッタ指令部１２２は、静止画ＡのＳＣが所定の閾値（以下、スコア閾値）よりも低い場合にも、カメラ７０にシャッタ指令信号を供給しない。つまり、シャッタ指令部１２２は、構図の良好性の判定結果が所定の程度よりも低い場合には、カメラ７０にシャッタ指令信号を供給しない。以下の例では、スコア閾値（ＴＨＳ）が７５であるとする。以下、「ＳＣ≧ＴＨＳ」という条件を、構図撮影許可条件と称する。構図撮影許可条件が満たされていることは、構図の良好性の判定結果が所定の程度以上であることを意味する。実施形態１では、構図撮影許可条件は、ＳＣに関する条件である。ＯＢＪＭを含む静止画をキャプチャする場合、主要被写体撮影許可条件が満たされたとしても、構図撮影許可条件が満たされない状態では、カメラ７０にシャッタ指令信号を供給しない。

一例として、物体検出部１２０は、図２のＩＭＧ１に対して物体検出を行う。図２の例では、ＯＢＪＭがＩＭＧ１の左端エリアに位置している。つまり、ＯＢＪＭが中央エリア内に位置していない。すなわち、主要被写体撮影許可条件が満たされていない。このため、シャッタ指令部１２２は、カメラ７０にシャッタ指令信号を供給しない。

また、図２において、ＯＢＪＭが中央エリア内に位置している場合を考える。図２では、ＯＢＪＭのサイズは、ＩＭＧ１の全体のサイズ（例：ＩＭＧ１の面積）に比べて十分に小さい。つまり、ＯＢＪＭのサイズは、サイズ閾値よりも小さい。この場合にも、主要被写体撮影許可条件が満たされていない。このため、シャッタ指令部１２２は、カメラ７０にシャッタ指令信号を供給しない。このように、図２の例では、ＳＣによらずシャッタ動作が実行されない。

なお、構図判定部１２１がＩＭＧ１に対してＳＣを算出した結果、ＳＣ＝７０であった。このため、図２の例では、構図撮影許可条件も満たされていない。

別の例として、物体検出部１２０は、図３のＩＭＧ２に対して物体検出を行う。図３の例では、ＯＢＪＭがＩＭＧ２の中央エリア内に位置している。加えて、ＯＢＪＭのサイズは、ＩＭＧ２の全体のサイズに比べて、ある程度大きい。つまり、ＯＢＪＭのサイズは、サイズ閾値以上である。このため、ＩＭＧ２では、主要被写体撮影許可条件が満たされている。

構図判定部１２１がＩＭＧ２に対してＳＣを算出した結果、ＳＣ＝８０であった。このように、図３の例では、構図撮影許可条件も満たされている。この場合、シャッタ指令部１２２は、カメラ７０にシャッタ指令信号を供給する。以上のように、シャッタ指令部１２２は、ＯＢＪＭを含む静止画をキャプチャしようとする場合（物体検出部１２０によってＯＢＪＭが検出された場合）、主要被写体撮影許可条件および構図撮影許可条件の両方が満たされた場合にのみ、カメラ７０にシャッタ動作を行わせる。

その結果、スマートフォン１は、ＩＭＧ２を静止画としてキャプチャできる。但し、厳密には、シャッタ動作のタイムラグ等の影響により、ＩＭＧ２（対象フレーム）と同じ静止画をキャプチャできるとは限らない。より厳密に言えば、スマートフォン１は、ＩＭＧ２に対応する静止画をキャプチャする。この点は、以下に述べるＩＭＧ３等についても同様である。

「対象フレーム（例：ＩＭＧ２）に対応する静止画」とは、ある対象フレームに対する判定の結果、カメラ７０にシャッタ指令信号が供給された場合に、当該カメラ７０による撮影の結果としてキャプチャされた静止画を意味する。ある対象フレームに対応する静止画では、当該対象フレームとほぼ同一の（理想的には完全に同一の）構図が表現されている。従って、ある対象フレームに対応する静止画の構図は、当該対象フレームの全体的な構図に対して実質的な同一性を損なわない。

本明細書では、便宜上、「対象フレームに対応する静止画」が、「対象フレーム」と同じ静止画であるものとして説明を行う。従って、一部の記載では、「対象フレーム（静止画Ａ）」は、「対象フレームに対応する静止画」を意味する。

さらに別の例として、物体検出部１２０は、図４のＩＭＧ３に対して物体検出を行う。ＩＭＧ３には、ＯＢＪＭは含まれていない。つまり、ＩＭＧ３は、風景のみが表現された画像である。この場合、シャッタ指令部１２２は、構図撮影許可条件のみに基づいて、カメラ７０にシャッタ指令信号を供給する。

具体的には、シャッタ指令部１２２は、ＯＢＪＭを含まない静止画をキャプチャする場合（物体検出部１２０によってＯＢＪＭが検出されなかった場合）、構図撮影許可条件が満たされた場合に、カメラ７０にシャッタ動作を行わせる。ＳＣが高い静止画は、ＯＢＪＭが表現されていないものの、審美性に優れていると言える。このような静止画（例：審美性に優れた風景の静止画）をユーザに提供することも、ユーザにとって有益である。構図判定部１２１がＩＭＧ３に対してＳＣを算出した結果、ＳＣ＝７５であった。図４の例では、構図撮影許可条件が満たされているので、シャッタ動作が実行される。

（スマートフォン１における特殊モードでの処理の流れ）
図５は、スマートフォン１における特殊モードでの処理Ｓ１〜Ｓ９の流れを例示するフローチャートである。まず、ユーザは、タッチパネル８０に表示されたキャプチャ開始ボタン（動画像のキャプチャの開始を、カメラ７０に指示するためのボタン）を押下する。制御部１０は、キャプチャ開始ボタンが押下されたことを契機として、カメラ７０にＭＯＶの撮影を開始させる（Ｓ１）。つまり、制御部１０は、キャプチャ期間を開始させる。制御部１０は、キャプチャ期間が開始されたことに伴い、シャッタ制御部１２を初期化する（Ｓ２）。

物体検出部１２０は、ＭＯＶのあるフレーム（静止画Ａ）にＯＢＪＭが含まれているかを判定する（Ｓ３）。静止画ＡにＯＢＪＭが含まれている場合（Ｓ３でＹＥＳ）、物体検出部１２０は、静止画ＡにおけるＯＢＪＭの位置を検出する（Ｓ４）。これに対し、静止画ＡにＯＢＪＭが含まれていない場合（Ｓ３でＮＯ）には、Ｓ５に進む。なお、図５では、簡単のため、ＯＢＪＭのサイズを検出する処理については、説明を省略する。

静止画ＡにおいてＯＢＪＭが中央エリア内に位置している場合（Ｓ４でＹＥＳ）、Ｓ５に進む。これに対し、静止画ＡにおいてＯＢＪＭが中央エリア内に位置していない場合（Ｓ４でＮＯ）には、Ｓ３に戻る。このように、構図判定部１２１の処理は、物体検出部１２０の処理が完了した後に実行されてよい。構図判定部１２１は、静止画ＡのＳＣを算出する。そして、構図判定部１２１は、ＳＣとＴＨＳとの大小比較を行う（Ｓ５）。

ＳＣ≧ＴＨＳである場合（Ｓ５でＹＥＳ）、シャッタ指令部１２２は、カメラ７０にシャッタ指令信号を供給する。つまり、カメラ７０にシャッタ動作を行わせ、静止画Ａを撮影させる（Ｓ６）。静止画エンコーダ１３１は、撮影された静止画Ａをエンコードし、エンコード後の静止画Ａを記憶部９０に格納する（Ｓ７）。これにより、静止画Ａのキャプチャが完了する。これに対し、ＳＣ＜ＴＨＳである場合（Ｓ５でＮＯ）、Ｓ３に戻る。

カメラ７０によるＭＯＶの撮影は、ユーザがタッチパネル８０に表示されたキャプチャ終了ボタン（動画像のキャプチャの終了を、カメラ７０に指示するためのボタン）を押下するまで継続する。制御部１０は、キャプチャ終了ボタンが押下されたことを契機として（Ｓ８でＹＥＳ）、カメラ７０にＭＯＶの撮影を終了させる。つまり、制御部１０は、キャプチャ期間を終了させる。動画エンコーダ１３０は、撮影されたＭＯＶをエンコードし、エンコード後のＭＯＶを記憶部９０に格納する（Ｓ９）。これにより、ＭＯＶのキャプチャが完了する。

なお、制御部１０は、キャプチャ終了ボタンの押下を検出しなかった場合には（Ｓ８でＮＯ）、Ｓ３に戻る。このため、キャプチャ期間に亘り、静止画Ａに後続するＭＯＶの任意のフレームに対しても、Ｓ３以降の処理が同様に行われる。

（効果）
スマートフォン１によれば、静止画Ａに対しての、（ｉ）物体検出部１２０の判定結果、および、（ｉｉ）構図判定部１２１の判定結果に応じて、カメラ７０にシャッタ動作を選択的に行わせることができる。つまり、静止画Ａにおける、（ｉ）ＯＢＪＭの像の状態、および、（ｉｉ）全体的な構図の良好性を、総合的に評価（判定）できる。このため、スマートフォン１は、当該判定結果に応じて静止画Ａを選択的にキャプチャできる。具体的には、静止画Ａの全体的な構図の審美性が肯定的に評価された場合には、スマートフォン１は、当該静止画Ａをキャプチャする。

このように、スマートフォン１によれば、審美性に優れた静止画Ａを、自動的にキャプチャできる。つまり、スマートフォン１によれば、ユーザに手動操作（例：シャッタボタンの押下）を行わせることなく、静止画Ａを自動的にキャプチャできる。それゆえ、審美性に優れた静止画Ａを、ユーザに簡便に取得させることが可能となる。

特に、スマートフォン１によれば、ユーザの撮影技量によらず、審美性に優れた静止画Ａをユーザに取得させることできる。また、ユーザがシャッターチャンス（シャッタボタンの押下タイミング）を気にする必要がないので、当該ユーザをＭＯＶの撮影（ＭＯＶのキャプチャ）に専念させることができる。

加えて、スマートフォン１によれば、ユーザがシャッタボタンを押下する必要がない。このため、シャッタボタンの押下に伴って、カメラ７０の位置が、ユーザの意図に反して移動することを防止できる。つまり、ＭＯＶのブレを防止できる。このため、撮影技量に優れたユーザに対して、審美性に優れた静止画Ａを提供することもできる。さらに、ユーザはスマートフォン１を片手でハンドリングした状態のまま、ＭＯＶおよび静止画Ａを取得できる。このように、スマートフォン１は、ユーザの利便性の向上に好適である。

〔変形例〕
図６は、特殊モードにおけるスマートフォン１のビュー画面の一例を示す。表示制御部１１は、スマートフォン１が特殊モードで動作中である旨を示す画像（例：図６のＩＣＮ）を、タッチパネル８０（ビュー画面）に表示させてよい。

上記画像は、スマートフォン１が特殊モードで動作中である旨を、ユーザに示唆する画像であればよい。一例として、ＩＣＮは、「AI AUTO」という文字が表示されたアイコンである。当該構成によれば、スマートフォン１が特殊モードで動作中である旨を、ユーザに視覚的に認識させることができる。

〔変形例〕
静止画Ａには、ＯＢＪＭと同種類の物体（以下、主要被写体候補）が含まれていてもよい。例えば、静止画Ａにおいて、３人の人（以下、人物Ａ〜Ｃ）が表現されている場合を考える。人物Ａ〜Ｃは、主要被写体候補の一例である。

この場合、物体検出部１２０は、静止画Ａにおける各人の位置およびサイズを検出する。そして、物体検出部１２０は、検出した位置およびサイズの少なくともいずれかに基づいて、人物Ａ〜Ｃのうちの所定の１人を、静止画Ａにおける主要被写体（ＯＢＪＭ）として特定（選択）する。当該構成によれば、静止画Ａに複数の主要被写体候補が含まれている場合にも、１つの主要被写体をスマートフォン１によって自動的に選択できる。従って、ユーザの利便性を向上させることができる。

例えば、静止画Ａにおいて、人物Ａが左端エリア内に、人物Ｂが中央エリア（所定のエリア）内に、人物Ｃが右端エリア内に位置している場合を考える。この場合、物体検出部１２０は、人物Ｂ（中央エリア内に位置している人物）を、静止画ＡにおけるＯＢＪＭとして特定する。

別の例として、静止画Ａにおいて、人物Ａ〜Ｃがいずれも中央エリア内に位置している場合を考える。但し、静止画Ａにおいて、人物Ａのサイズは、人物Ｂ・Ｃのそれぞれのサイズよりも大きいとする。この場合、物体検出部１２０は、人物Ａ（中央エリア内に位置している、サイズが最も大きい人物）を、静止画ＡにおけるＯＢＪＭとして特定する。

あるいは、ユーザに、人物Ａ〜Ｃのうちの所定の１人をＯＢＪＭとして選択させてもよい。例えば、物体検出部１２０によって人物Ａ〜Ｃが検出された場合、表示制御部１１は、人物Ａ〜Ｃが主要被写体候補である旨を示す画像（例：アイコンまたは文字）を、タッチパネル８０にさらに表示させる。そして、表示制御部１１は、人物Ａ〜Ｃのうちの所定の１人をＯＢＪＭとして選択するようにユーザに促す画像を、タッチパネル８０にさらに表示させる。

この場合、物体検出部１２０は、ユーザ操作を受けて、人物Ａ〜Ｃのうちの所定の１人をＯＢＪＭとして選択する。例えば、ユーザが、人物Ｃに対応するタッチパネル８０上の領域をタッチした場合、物体検出部１２０は、人物ＣをＯＢＪＭとして選択する。

〔変形例〕
実施形態１では、ＯＢＪＭのサイズを示す指標（以下、サイズ指標）として、静止画ＡにおけるＯＢＪＭの面積を例示した。但し、サイズ指標としては、静止画ＡにおけるＯＢＪＭの高さ（垂直方向の長さ）を、用いることもできる。

上述のように、ＯＢＪＭが人である場合を考える。静止画Ａにおける人の高さは、当該人の体形（身長）に大きく依存する。これに対し、多くの場合では、静止画Ａにおける人の幅（水平方向の長さ）は、上記人の高さに比べて、当該人の体形に対する依存性が低いと言える。さらに、静止画Ａにおける人の高さは、当該人を撮影対象とする場合の構図（遠近感）にも大きく依存する。

このことから、静止画Ａにおける人の高さは、主要被写体撮影許可条件におけるサイズの好適な一例と言える。ＯＢＪＭが主要被写体であることを鑑みると、サイズ指標は、上記体形および上記構図に対する依存性が高いほうが、好ましい場合が多いと考えられるためである。

一例として、ＯＢＪＭ（人）の高さをサイズ指標として用いる場合を考える。この場合、サイズ閾値は、静止画Ａの高さの２／３以上に設定されてよい。静止画Ａの高さ方向において、ＯＢＪＭが２／３以上の範囲に亘って存在していれば、ＯＢＪＭの存在感が十分に強調されていると期待されているためである。但し、当該サイズ閾値は、単なる一例であることに留意されたい。

但し、サイズ指標として、静止画ＡにおけるＯＢＪＭの幅を用いてもよい。サイズ指標は、例えばＯＢＪＭの種類および構図に応じて、適宜選択されてよい。

〔変形例〕
一例として、ＯＢＪＭが強調して表現された静止画Ａ（例：ＩＭＧ２）をキャプチャしようとする場合を考える。以下の例では、背景の構図が、審美性に優れた状態のまま、ほぼ変化しないものとする。このような状態のもとで、ＯＢＪＭが、ＭＯＶのキャプチャ期間中に、所定のポージングを長時間維持している場合を考える。

この場合、長時間に亘って主要被写体撮影許可条件および構図撮影許可条件が満たされた状態が継続する。このため、時間の経過に伴って、シャッタ動作ごとに、同様の構図の静止画Ａが繰り返し自動的にキャプチャされてしまう。このような静止画Ａは、２枚目以降は、１枚目に比べて価値が低いと言える。

以下、「所定の時間以上に亘って、ＳＣの変化が所定範囲内に留まっている」状態を、ＳＣ変化小状態と称する。以上の点を踏まえ、構図判定部１２１は、ＳＣ変化小状態が生じているか否かを判定することが好ましい。

シャッタ指令部１２２は、ＳＣ変化小状態が検出された場合には、主要被写体撮影許可条件および構図撮影許可条件が満たされていたとしても、カメラ７０にシャッタ動作を行わせない。当該構成によれば、同様の構図の静止画Ａを２枚以上キャプチャすることを防止できる。加えて、カメラ７０の消費電力を低減することもできる。

別の例として、ＯＢＪＭが表現されていない静止画Ａ（例：ＩＭＧ３）をキャプチャしようとする場合を考える。この場合も、同様の構図の静止画Ａが２枚以上キャプチャされることを防止することが好ましい。そこで、シャッタ指令部１２２は、ＳＣ変化小状態が検出された場合には、構図撮影許可条件が満たされていたとしても、カメラ７０にシャッタ動作を行わせない。

〔変形例〕
特殊モードは、必ずしも動画像のキャプチャ中にのみ適用されなくともよい。つまり、特殊モードは、動画像撮影モードに必ずしも含まれなくともよい。特殊モードは、静止画の撮影時に適用されてもよい。つまり、特殊モードは、静止画撮影モードに含まれていてもよい。

一例として、静止画撮影モードでは、表示制御部１１は、ＭＯＶと同様のスルー画像（ＭＯＶに対応するスルー画像）を、キャプチャすべき静止画の候補として、リアルタイムでタッチパネル８０に表示させる。スマートフォン１は、当該スルー画像がタッチパネル８０に表示されている期間においても、実施形態１と同様の処理を行うことにより、シャッタ動作をカメラ７０に選択的に行わせてもよい。

このように、特殊モードは、（ｉ）ＭＯＶがキャプチャされている期間、または、（ｉｉ）ＭＯＶに対応するスルー画像がタッチパネル８０に表示されている期間、において、シャッタ動作をカメラ７０に選択的に行わせる撮像モードであればよい。

〔実施形態２〕
図７は、実施形態２のスマートフォン２（撮像装置）の要部の構成を示す機能ブロック図である。スマートフォン２の制御部を、制御部２０（制御装置）と称する。制御部２０のシャッタ制御部を、シャッタ制御部２２と称する。シャッタ制御部２２は、シャッタ制御部１２とは異なり、ボケ判定部２２３をさらに備える。

ボケ判定部２２３は、静止画Ａにおいて、物体検出部１２０によって検出されたＯＢＪＭの像にボケが生じているかを判定する。換言すれば、ボケ判定部２２３は、静止画Ａにおける、ＯＢＪＭの像の合焦状態を判定する。ボケ判定部２２３による合焦状態の判定方法には、公知の手法が用いられてよい。

図８は、特殊モードにおけるスマートフォン２の動作について説明するための図である。図８に示されるＩＭＧ４は、静止画Ａ（対象フレーム）の別の例である。ＩＭＧ４におけるＯＢＪＭのサイズおよび位置はそれぞれ、ＩＭＧ２におけるＯＢＪＭのサイズおよび位置と同様である。従って、ＩＭＧ４についても、ＩＭＧ２と同様に、主要被写体撮影許可条件が満たされている。但し、ＩＭＧ４では、ＩＭＧ２とは異なり、ＯＢＪＭの像にボケが生じている。

実施形態２において、シャッタ指令部１２２は、ボケ判定部２２３の判定結果にさらに基づいて、カメラ７０にシャッタ動作を選択的に行わせる。具体的には、シャッタ指令部１２２は、ＯＢＪＭの像にボケが生じていると判定された場合には、カメラ７０にシャッタ指令信号を供給しない。シャッタ指令部１２２は、（ｉ）上述の主要被写体撮影許可条件および構図撮影許可条件が満たされており、かつ、（ｉｉ）ＯＢＪＭの像にボケが生じていないと判定された場合に、カメラ７０にシャッタ指令信号を供給する。

図９は、スマートフォン２における特殊モードでの処理Ｓ１１〜Ｓ２０の流れを例示するフローチャートである。Ｓ１１〜Ｓ１４およびＳ１６〜Ｓ２０はそれぞれ、Ｓ１〜Ｓ４およびＳ５〜Ｓ９と同様の処理である。そこで、以下では、Ｓ１５および関連する処理についてのみ説明する。

Ｓ１４の後に、ボケ判定部２２３は、静止画ＡにおけるＯＢＪＭの像におけるボケの発生の有無を判定する（Ｓ１５）。静止画ＡにおいてＯＢＪＭの像にボケが生じている場合（Ｓ１５でＮＯ）、Ｓ１３に戻る。これに対し、静止画ＡにおいてＯＢＪＭの像にボケが生じていない場合（Ｓ１５でＹＥＳ）、Ｓ１６に進む。

（効果）
ＯＢＪＭが強調して表現された静止画のうち、ＯＢＪＭの像にボケが生じている静止画Ａ（例：ＩＭＧ４）は、当該ＯＢＪＭの像にボケが生じていない静止画Ａ（例：ＩＭＧ２）に比べて、審美性が低いと言える。ＩＭＧ４では、ＩＭＧ２とは異なり、ボケの影響によって、ＯＢＪＭの本来の外観が適切に表現されていないためである。

但し、ＳＣは、ボケの影響が審美性に及ぼす影響を適切に反映した値として算出されない場合がある。一例として、構図判定部１２１がＩＭＧ４に対してＳＣを算出した結果、ＳＣ＝８０であった。つまり、「ＩＭＧ４は、ＩＭＧ２と同様の審美性を有している」と、ＳＣによって評価されている。この場合、スマートフォン１では、ＩＭＧ２と同様に、ＩＭＧ４も自動的にキャプチャされる。しかしながら、ＩＭＧ４では、ボケによって、実際には審美性がＩＭＧ２よりも低下している。

以上のことから、ＯＢＪＭが強調して表現された静止画のうち、審美性が必ずしも高くない静止画Ａ（例：ＩＭＧ４）をユーザに提供しないためには、ＯＢＪＭの像におけるボケの影響を考慮することがさらに好ましい。スマートフォン２によれば、ボケの影響をさらに考慮して、カメラ７０にシャッタ動作を選択的に行わせることが可能となる。それゆえ、ＩＭＧ４が自動的にキャプチャされることを防止できる。スマートフォン２では、ＩＭＧ２のみが自動的にキャプチャされる。

〔変形例〕
シャッタ制御部２２の一部の機能部（例：物体検出部１２０）は、制御部２０の外部の機能部として設けられてもよい。例えば、物体検出部１２０は、制御部２０の外部に設けられたＤＳＰ（Digital Signal Processor）によって実現されてもよい。この点については、構図判定部１２１等についても同様である。エンコーダ１３についても同様である。

〔ソフトウェアによる実現例〕
スマートフォン１・２の制御ブロック（特に制御部１０・２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、スマートフォン１・２は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る撮像装置（スマートフォン１）は、静止画（例：ＩＭＧ１〜ＩＭＧ４）および動画像（ＭＯＶ）を撮像可能な少なくとも１つの撮像部（カメラ７０）と、上記撮像部を制御する少なくとも１つの制御装置（制御部１０）と、少なくとも１つの表示部（８１）と、を備えた撮像装置であって、上記動画像を構成する複数のフレームのうちの任意の１フレームを対象フレーム（例：ＩＭＧ１〜ＩＭＧ４）とし、上記動画像において表現された複数の物体のうち所定の１つの物体を主要被写体（ＯＢＪＭ）として、上記撮像装置の撮像モードには、（ｉ）上記動画像がキャプチャされている期間、または、（ｉｉ）上記動画像に対応するスルー画像が上記表示部に表示されている期間、において、上記対象フレームに対応する上記静止画をキャプチャするためのシャッタ動作を上記撮像部に選択的に行わせる撮像モードである特殊モードが含まれており、上記特殊モードにおいて、上記制御装置は、上記対象フレームに含まれうる上記主要被写体の像を検出し、上記静止画としての上記対象フレームの構図の良好性を判定し、上記対象フレームにおける、（ｉ）上記主要被写体の像の検出結果、および、（ｉｉ）上記対象フレームの構図の良好性の判定結果に応じて、上記撮像部に上記シャッタ動作を行わせる。

上記の構成によれば、撮像装置は、対象フレームの全体的な構図の審美性（良好性）を総合的に評価（判定）できる。そして、撮像装置は、ある対象フレームの全体的な構図の審美性が肯定的に評価された場合、当該対象フレームに対応する静止画（理想的には、当該対象フレームと同一の構図を有する静止画）を選択的にキャプチャできる。

それゆえ、ユーザに手動操作（例：シャッタボタンの押下）を行わせることなく、審美性に優れた静止画を自動的にキャプチャできる。すなわち、審美性に優れた静止画を、ユーザに簡便に取得させることが可能となる。

本発明の態様２に係る撮像装置では、上記態様１において、上記制御装置は、以下の基準１〜基準３、
（基準１）上記対象フレームにおける色合いおよび明るさの少なくともいずれか；
（基準２）上記対象フレームにおけるブレの程度；
（基準３）上記対象フレームに含まれる上記複数の物体のそれぞれの像の位置関係；
の少なくともいずれかに基づいて、上記対象フレームの構図の良好性を判定することが好ましい。

上記の構成によれば、上記対象フレームの構図の良好性を適切に判定できる。

本発明の態様３に係る撮像装置では、上記態様１または２において、上記制御装置は、上記対象フレームにおいて上記主要被写体の像を検出した場合に、上記対象フレームにおける上記主要被写体の像の位置およびサイズをさらに検出し、上記対象フレームにおいて、（ｉ）上記主要被写体の像が所定のエリア内に位置していない場合、および、（ｉｉ）上記主要被写体のサイズが所定のサイズよりも小さい場合、の少なくともいずれかの場合には、上記撮像部に上記シャッタ動作を行わせないことが好ましい。

上述のように、対象フレームにおいて主要被写体の像の存在感が十分に強調されていない場合には、当該対象フレームは、主要被写体を表現する静止画としてあまり好ましくないと言える。そこで、上記の構成によれば、そのような静止画が自動的にキャプチャされることを防止できる。それゆえ、主要被写体の像の存在感が十分に強調されており、かつ、審美性に優れた静止画を、ユーザに提供できる。

本発明の態様４に係る撮像装置では、上記態様１から３のいずれか１つにおいて、上記制御装置は、上記対象フレームの構図の良好性を示す指標である構図スコアを算出し、上記構図スコアを上記対象フレームの構図の良好性の判定結果として用いて、上記撮像部に上記シャッタ動作を行わせてよい。

上記の構成によれば、構図スコアによって、対象フレームの構図の良好性を定量的に評価できる。従って、構図スコアに応じて、静止画を選択的にキャプチャできる。例えば、構図スコアが高い対象フレームに対応する静止画を、審美性に優れた静止画としてユーザに自動的に取得させることができる。

本発明の態様５に係る撮像装置では、上記態様１から４のいずれか１つにおいて、上記対象フレームにおいて上記主要被写体の像が検出されなかった場合、上記制御装置は、上記対象フレームの構図の良好性の判定結果が所定の程度以上である場合に、上記撮像部に上記シャッタ動作を行わせることが好ましい。

上記の構成によれば、対象フレームにおいて主要被写体の像が含まれていない場合にも、審美性に優れた静止画をユーザに提供できる。例えば、審美性に優れた風景の静止画をユーザに提供できる。

本発明の態様６に係る撮像装置では、上記態様１から５のいずれか１つにおいて、上記制御装置は、上記対象フレームにおいて上記主要被写体の像を検出した場合に、上記対象フレームにおいて上記主要被写体の像にボケが生じているかをさらに判定し、上記対象フレームにおいて上記主要被写体の像にボケが生じている場合には、上記撮像部に上記シャッタ動作を行わせないことが好ましい。

上記の構成によれば、対象フレームにおいて主要被写体の像が含まれている場合に、ボケの影響をさらに考慮できる。それゆえ、主要被写体が強調して表現された静止画のうち、必ずしも審美性が高くない静止画（ボケによって主要被写体の外観が適切に表現されていない静止画）が、自動的にキャプチャされることを防止できる。

本発明の態様７に係る撮像装置では、上記態様１から６のいずれか１つにおいて、上記制御装置は、上記撮像装置が上記特殊モードで動作中である旨を示す画像（例：ＩＣＮ）を、上記表示部に表示させることが好ましい。

上記の構成によれば、撮像装置が特殊モードで動作中である旨を、ユーザに視覚的に認識させることができる。

本発明の態様８に係る撮像装置では、上記態様１から７のいずれか１つにおいて、上記主要被写体と同種類の物体を主要被写体候補として、上記制御装置は、上記対象フレームにおいて複数の上記主要被写体候補の像を検出した場合に、上記対象フレームにおける複数の上記主要被写体候補のそれぞれの像の位置およびサイズの少なくともいずれかに応じて、複数の上記主要被写体候補のうちの所定の１つの主要被写体候補を、上記対象フレームにおける上記主要被写体として選択することが好ましい。

上記の構成によれば、対象フレームに複数の主要被写体候補が含まれている場合にも、１つの主要被写体を自動的に選択できる。従って、ユーザの利便性を向上させることができる。

本発明の態様９に係る撮像装置の制御方法は、静止画および動画像を撮像可能な少なくとも１つの撮像部と少なくとも１つの表示部とを備えた撮像装置を制御するための、撮像装置の制御方法であって、上記動画像を構成する複数のフレームのうちの任意の１フレームを対象フレームとし、上記動画像において表現された複数の物体のうち所定の１つの物体を主要被写体として、上記撮像装置の撮像モードには、（ｉ）上記動画像がキャプチャされている期間、または、（ｉｉ）上記動画像に対応するスルー画像が上記表示部に表示されている期間、において、上記対象フレームに対応する上記静止画をキャプチャするためのシャッタ動作を上記撮像部に選択的に行わせる撮像モードである特殊モードが含まれており、上記特殊モードにおいて、上記対象フレームに含まれうる上記主要被写体の像を検出する工程と、上記静止画としての上記対象フレームの構図の良好性を判定する工程と、上記対象フレームにおける、（ｉ）上記主要被写体の像の検出結果、および、（ｉｉ）上記対象フレームの構図の良好性の判定結果に応じて、上記撮像部に上記シャッタ動作を行わせる工程と、を含んでいる。

本発明の各態様に係る撮像装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記撮像装置が備える各部（ソフトウェア要素）として動作させることにより上記撮像装置をコンピュータにて実現させる撮像装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。

〔付記事項〕
本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。

１、２ スマートフォン（撮像装置）
１０、２０ 制御部（制御装置）
１１ 表示制御部
１２、２２ シャッタ制御部
７０ カメラ（撮像部）
８０ タッチパネル
８１ 表示部
８２ 入力部
１２０ 物体検出部
１２１ 構図判定部
１２２ シャッタ指令部
２２３ ボケ判定部
ＭＯＶ 動画像
ＩＭＧ１〜ＩＭＧ４ 画像（対象フレーム，静止画）
ＩＣＮ アイコン（撮像装置が特殊モードで動作中である旨を示す画像）
ＯＢＪＭ 主要被写体

Claims (10)

1. 静止画および動画像を撮像可能な少なくとも１つの撮像部と、
   上記撮像部を制御する少なくとも１つの制御装置と、
   少なくとも１つの表示部と、を備えた撮像装置であって、
   上記動画像を構成する複数のフレームのうちの任意の１フレームを対象フレームとし、
   上記動画像において表現された複数の物体のうち所定の１つの物体を主要被写体として、
   上記撮像装置の撮像モードには、（ｉ）上記動画像がキャプチャされている期間、または、（ｉｉ）上記動画像に対応するスルー画像が上記表示部に表示されている期間、において、上記対象フレームに対応する上記静止画をキャプチャするためのシャッタ動作を上記撮像部に選択的に行わせる撮像モードである特殊モードが含まれており、
   上記特殊モードにおいて、
   上記制御装置は、
   上記対象フレームに含まれうる上記主要被写体の像を検出し、
   上記静止画としての上記対象フレームの構図の良好性を判定し、
   上記対象フレームにおける、（ｉ）上記主要被写体の像の検出結果、および、（ｉｉ）上記対象フレームの構図の良好性の判定結果に応じて、上記撮像部に上記シャッタ動作を行わせることを特徴とする撮像装置。
2. 上記制御装置は、以下の基準１〜基準３、
   （基準１）上記対象フレームにおける色合いおよび明るさの少なくともいずれか；
   （基準２）上記対象フレームにおけるブレの程度；
   （基準３）上記対象フレームに含まれる上記複数の物体のそれぞれの像の位置関係；
   の少なくともいずれかに基づいて、上記対象フレームの構図の良好性を判定することを特徴とする請求項１に記載の撮像装置。
3. 上記制御装置は、
   上記対象フレームにおいて上記主要被写体の像を検出した場合に、
   上記対象フレームにおける上記主要被写体の像の位置およびサイズをさらに検出し、
   上記対象フレームにおいて、（ｉ）上記主要被写体の像が所定のエリア内に位置していない場合、および、（ｉｉ）上記主要被写体のサイズが所定のサイズよりも小さい場合、の少なくともいずれかの場合には、
   上記撮像部に上記シャッタ動作を行わせないことを特徴とする請求項１または２に記載の撮像装置。
4. 上記制御装置は、
   上記対象フレームの構図の良好性を示す指標である構図スコアを算出し、
   上記構図スコアを上記対象フレームの構図の良好性の判定結果として用いて、上記撮像部に上記シャッタ動作を行わせることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 上記対象フレームにおいて上記主要被写体の像が検出されなかった場合、
   上記制御装置は、上記対象フレームの構図の良好性の判定結果が所定の程度以上である場合に、上記撮像部に上記シャッタ動作を行わせることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 上記制御装置は、
   上記対象フレームにおいて上記主要被写体の像を検出した場合に、
   上記対象フレームにおいて上記主要被写体の像にボケが生じているかをさらに判定し、
   上記対象フレームにおいて上記主要被写体の像にボケが生じている場合には、上記撮像部に上記シャッタ動作を行わせないことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 上記制御装置は、上記撮像装置が上記特殊モードで動作中である旨を示す画像を、上記表示部に表示させることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 上記主要被写体と同種類の物体を主要被写体候補として、
   上記制御装置は、
   上記対象フレームにおいて複数の上記主要被写体候補の像を検出した場合に、
   上記対象フレームにおける複数の上記主要被写体候補のそれぞれの像の位置およびサイズの少なくともいずれかに応じて、
   複数の上記主要被写体候補のうちの所定の１つの主要被写体候補を、上記対象フレームにおける上記主要被写体として選択することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 静止画および動画像を撮像可能な少なくとも１つの撮像部と少なくとも１つの表示部とを備えた撮像装置を制御するための、撮像装置の制御方法であって、
   上記動画像を構成する複数のフレームのうちの任意の１フレームを対象フレームとし、
   上記動画像において表現された複数の物体のうち所定の１つの物体を主要被写体として、
   上記撮像装置の撮像モードには、（ｉ）上記動画像がキャプチャされている期間、または、（ｉｉ）上記動画像に対応するスルー画像が上記表示部に表示されている期間、において、上記対象フレームに対応する上記静止画をキャプチャするためのシャッタ動作を上記撮像部に選択的に行わせる撮像モードである特殊モードが含まれており、
   上記特殊モードにおいて、
   上記対象フレームに含まれうる上記主要被写体の像を検出する工程と、
   上記静止画としての上記対象フレームの構図の良好性を判定する工程と、
   上記対象フレームにおける、（ｉ）上記主要被写体の像の検出結果、および、（ｉｉ）上記対象フレームの構図の良好性の判定結果に応じて、上記撮像部に上記シャッタ動作を行わせる工程と、を含んでいることを特徴とする撮像装置の制御方法。
10. 請求項１に記載の撮像装置としてコンピュータを機能させるための制御プログラムであって、上記制御装置としてコンピュータを機能させるための制御プログラム。

Images