JP2006191524A - 自動フレーミング装置および撮影装置 - Google Patents
自動フレーミング装置および撮影装置 Download PDFInfo
- Publication number
- JP2006191524A JP2006191524A JP2005189336A JP2005189336A JP2006191524A JP 2006191524 A JP2006191524 A JP 2006191524A JP 2005189336 A JP2005189336 A JP 2005189336A JP 2005189336 A JP2005189336 A JP 2005189336A JP 2006191524 A JP2006191524 A JP 2006191524A
- Authority
- JP
- Japan
- Prior art keywords
- framing
- photographing
- image
- automatic
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】 本発明は、自動的に画像の構図を評価する自動フレーミング装置および撮影装置に関し、構図の良好な画像を容易,確実に得ることを目的とする。
【解決手段】 画像を入力する入力手段と、前記入力手段に入力された前記画像の構図を評価し前記画像の良否を判断するフレーミング手段とを有することを特徴とする。また、前記画像が前記フレーミング手段により良いと判断された時に、前記入力手段に画像を出力している撮影装置による撮影を行う撮影手段を有することを特徴とする。
【選択図】 図2
【解決手段】 画像を入力する入力手段と、前記入力手段に入力された前記画像の構図を評価し前記画像の良否を判断するフレーミング手段とを有することを特徴とする。また、前記画像が前記フレーミング手段により良いと判断された時に、前記入力手段に画像を出力している撮影装置による撮影を行う撮影手段を有することを特徴とする。
【選択図】 図2
Description
本発明は、自動的に画像の構図を評価する自動フレーミング装置および撮影装置に関する。
近年、デジタルカメラ、ムービーカメラ等の普及に伴い大量の画像を容易に取得しやすい環境が提供されている。また、画像を自動的に撮影することができる撮影装置が知られている。
特開2003−287784号公報
しかしながら、従来のデジタルカメラ、ムービーカメラ等の撮影では、撮影された画像の全てが良い構図で撮影された写真とは限らない。また、自動的に撮影させた場合にも、同様に良い構図で撮影された写真とは限らない。
さらに、良い構図というのは画像の使用目的で異なり、各個人において良いと判断する基準が異なるために一様に決まらないという問題がある。また、現状の問題点として、得られた画像を人が一枚一枚調べて分類しているため手間がかかるという問題がある。そして、自動撮影機構を持つ装置では、良い構図を含んだ画像を確実に効率良く取得することができないという問題がある。
さらに、良い構図というのは画像の使用目的で異なり、各個人において良いと判断する基準が異なるために一様に決まらないという問題がある。また、現状の問題点として、得られた画像を人が一枚一枚調べて分類しているため手間がかかるという問題がある。そして、自動撮影機構を持つ装置では、良い構図を含んだ画像を確実に効率良く取得することができないという問題がある。
本発明は、かかる従来の問題を解決するためになされたもので、構図の良好な画像を容易,確実に得ることができる自動フレーミング装置および撮影装置を提供することを目的とする。
請求項1の自動フレーミング装置は、画像を入力する入力手段と、前記入力手段に入力された前記画像の構図を評価し前記画像の良否を判断するフレーミング手段とを有することを特徴とする。
請求項2の自動フレーミング装置は、請求項1記載の自動フレーミング装置において、前記画像が前記フレーミング手段により良いと判断された時に、前記入力手段に画像を出力している撮影装置による撮影を行う撮影手段を有することを特徴とする。
請求項2の自動フレーミング装置は、請求項1記載の自動フレーミング装置において、前記画像が前記フレーミング手段により良いと判断された時に、前記入力手段に画像を出力している撮影装置による撮影を行う撮影手段を有することを特徴とする。
請求項3の自動フレーミング装置は、請求項2記載の自動フレーミング装置において、前記撮影手段は、前記画像が前記フレーミング手段により良くないと判断された時に、前記フレーミング手段からの評価情報に基づいて前記撮影装置の撮影条件を変化させることを特徴とする。
請求項4の自動フレーミング装置は、請求項3記載の自動フレーミング装置において、前記撮影装置の撮影条件を、前記撮影装置を移動して変化させることを特徴とする。
請求項4の自動フレーミング装置は、請求項3記載の自動フレーミング装置において、前記撮影装置の撮影条件を、前記撮影装置を移動して変化させることを特徴とする。
請求項5の自動フレーミング装置は、請求項1記載の自動フレーミング装置において、前記入力手段に入力される画像は、既に撮影された画像であることを特徴とする。
請求項6の自動フレーミング装置は、請求項1ないし請求項5のいずれか1項記載の自動フレーミング装置において、前記フレーミング手段は、学習型の対象物認識アルゴリズムを用いた学習ファイルを用いて前記画像の構図を評価することを特徴とする。
請求項6の自動フレーミング装置は、請求項1ないし請求項5のいずれか1項記載の自動フレーミング装置において、前記フレーミング手段は、学習型の対象物認識アルゴリズムを用いた学習ファイルを用いて前記画像の構図を評価することを特徴とする。
請求項7の自動フレーミング装置は、請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、前記フレーミング手段は、複数の撮影対象から特定の撮影対象を選択して前記画像の構図を評価することを特徴とする。
請求項8の自動フレーミング装置は、請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、前記フレーミング手段は、複数の撮影対象の画像内における位置、種類および大きさのパターンに基づいて前記画像の構図を評価することを特徴とする。
請求項8の自動フレーミング装置は、請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、前記フレーミング手段は、複数の撮影対象の画像内における位置、種類および大きさのパターンに基づいて前記画像の構図を評価することを特徴とする。
請求項9の自動フレーミング装置は、請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、前記フレーミング手段は、撮影対象の重心位置に基づいて前記画像の構図を評価することを特徴とする。
請求項10の撮影装置は、自走可能な装置本体と、前記装置本体に配置され撮影対象を検出する検出手段と、前記検出手段で検出された前記撮影対象を撮影する撮影手段とを有することを特徴とする。
請求項10の撮影装置は、自走可能な装置本体と、前記装置本体に配置され撮影対象を検出する検出手段と、前記検出手段で検出された前記撮影対象を撮影する撮影手段とを有することを特徴とする。
請求項11の撮影装置は、請求項10記載の撮影装置において、前記検出手段は広角カメラであり、前記撮影手段は撮影カメラであることを特徴とする。
請求項12の撮影装置は、請求項11記載の撮影装置において、前記装置本体は、前記広角カメラと前記撮影カメラとを連動して移動する移動手段を有することを特徴とする。
請求項12の撮影装置は、請求項11記載の撮影装置において、前記装置本体は、前記広角カメラと前記撮影カメラとを連動して移動する移動手段を有することを特徴とする。
本発明の自動フレーミング装置では、入力された画像の構図をフレーミング手段に評価させて画像の良否を判断させるようにしたので、構図の良好な画像を容易,確実に得ることができる。
本発明の撮影装置では、自走可能な装置本体に撮影対象を検出する検出手段を設けたので、撮影対象を迅速かつ確実に検出することができる。そして、検出手段で検出された撮影対象を撮影手段により撮影するようにしたので、高画質の画像を得ることができる。
本発明の撮影装置では、自走可能な装置本体に撮影対象を検出する検出手段を設けたので、撮影対象を迅速かつ確実に検出することができる。そして、検出手段で検出された撮影対象を撮影手段により撮影するようにしたので、高画質の画像を得ることができる。
以下、本発明の実施形態を図面を用いて詳細に説明する。
(第1の実施形態)
図1は、本発明の自動フレーミング装置の第1の実施形態を示している。この実施形態では、自動フレーミング装置が撮影装置に組み込まれて使用される。
図1において符号11は、自動的に被撮影者を撮影するカメラを示している。このカメラ11は、例えば、デジタルカメラからなり撮影状態を入力するためのモニターカメラを兼ねている。このカメラ11は、雲台13の上面にパン/チルト駆動機構14を介して設置されている。パン/チルト駆動機構14は、図示しないモータにより、カメラ11を上下および水平方向に回転駆動する。雲台13には、後述する制御手段を備えた制御装置15が設けられている。雲台13は、三脚17により保持されている。
(第1の実施形態)
図1は、本発明の自動フレーミング装置の第1の実施形態を示している。この実施形態では、自動フレーミング装置が撮影装置に組み込まれて使用される。
図1において符号11は、自動的に被撮影者を撮影するカメラを示している。このカメラ11は、例えば、デジタルカメラからなり撮影状態を入力するためのモニターカメラを兼ねている。このカメラ11は、雲台13の上面にパン/チルト駆動機構14を介して設置されている。パン/チルト駆動機構14は、図示しないモータにより、カメラ11を上下および水平方向に回転駆動する。雲台13には、後述する制御手段を備えた制御装置15が設けられている。雲台13は、三脚17により保持されている。
図2は、この実施形態の制御装置15を示すブロック図である。
この実施形態では、制御装置15の制御手段19には、カメラ11、フレーミング手段21、演算手段23、移動手段25、駆動手段27が接続されている。
カメラ11は、例えば図3に示すように、カメラ11が現在撮像している画像Gを制御手段19に、所定時間を置いて間歇的に、あるいは、連続的に出力する。
この実施形態では、制御装置15の制御手段19には、カメラ11、フレーミング手段21、演算手段23、移動手段25、駆動手段27が接続されている。
カメラ11は、例えば図3に示すように、カメラ11が現在撮像している画像Gを制御手段19に、所定時間を置いて間歇的に、あるいは、連続的に出力する。
フレーミング手段21は、カメラ11からの画像Gの中から特定の被撮影者Mの顔画像Kを自動的に検出する。そして、カメラ11の画面F内での被撮影者Mの位置状態から撮影状態の良否を判定する。この実施形態では、被撮影者Mの顔画像Kが所定の中央領域E内に位置しているか否かの判断を行う。
フレーミング手段21には、学習型の対象物認識アルゴリズムが用いられている。このような学習型の対象物認識アルゴリズムとしては、SVM(サポートベクターマシン)、カーネル判別分析、ニューラルネット、部分空間法、アンサンブル学習等のパターン認識で知られている手法を利用することができる。
フレーミング手段21には、学習型の対象物認識アルゴリズムが用いられている。このような学習型の対象物認識アルゴリズムとしては、SVM(サポートベクターマシン)、カーネル判別分析、ニューラルネット、部分空間法、アンサンブル学習等のパターン認識で知られている手法を利用することができる。
そして、この実施形態では、学習型の対象物認識アルゴリズムに、予め特定の被撮影者Mの顔写真をパラメータファイルとしてパターン認識手法にあわせた枚数(例えば数十枚から数百枚)を入力することで、特定の被撮影者Mの顔を認識可能な学習ファイルが作成され、この学習ファイルを用いて特定の被撮影者Mの顔の認識が行われる。
演算手段23は、フレーミング手段21が撮影状態が不良であると判定した時に、その不良状態を改善するためにカメラ11が取るべき修正に適した回転方向および回転位置を画像Gから自動的に算出する。
演算手段23は、フレーミング手段21が撮影状態が不良であると判定した時に、その不良状態を改善するためにカメラ11が取るべき修正に適した回転方向および回転位置を画像Gから自動的に算出する。
移動手段25は、演算手段23で演算されたカメラ11の上方への回転角および水平方向への回転角を入力し、この角度だけ駆動手段27がパン/チルト駆動機構14を駆動するように駆動手段27を制御する。
駆動手段27は、パン/チルト駆動機構14の図示しないモータを作動してカメラ11を上下および水平方向に回転駆動する。
駆動手段27は、パン/チルト駆動機構14の図示しないモータを作動してカメラ11を上下および水平方向に回転駆動する。
図4は、この実施形態の撮影装置の動作を示すフローチャートである。
先ず、ステップS1において、制御装置15の図示しないスタートボタンを押すことにより、カメラ11および制御装置15がオンされる。
次に、ステップS2において、カメラ11からの画像Gが制御手段19に取り込まれる。
先ず、ステップS1において、制御装置15の図示しないスタートボタンを押すことにより、カメラ11および制御装置15がオンされる。
次に、ステップS2において、カメラ11からの画像Gが制御手段19に取り込まれる。
次に、ステップS3において、フレーミング手段21により画像G内の被撮影者Mが自動的に認識される。
次に、ステップS4において、フレーミング手段21により画像内の被撮影者Mの位置状態が解析される。この実施形態では、被撮影者Mの顔画像Kが所定の中央領域E内に位置しているか否かの判断を行う。
次に、ステップS4において、フレーミング手段21により画像内の被撮影者Mの位置状態が解析される。この実施形態では、被撮影者Mの顔画像Kが所定の中央領域E内に位置しているか否かの判断を行う。
そして、フレーミング手段21が撮影状態が良好であると判定した時には、ステップS5において、制御手段19内の撮影手段29によりカメラ11が自動的に動作され撮影が行われ撮影が終了される。
一方、フレーミング手段21が撮影状態が不良であると判定した時には、ステップS6において、演算手段23により不良状態を改善するためにカメラ11が取るべき修正に適した回転方向および回転位置が画像Gから自動的に算出される。
一方、フレーミング手段21が撮影状態が不良であると判定した時には、ステップS6において、演算手段23により不良状態を改善するためにカメラ11が取るべき修正に適した回転方向および回転位置が画像Gから自動的に算出される。
次に、ステップS7において、移動手段25は、演算手段23で演算されたカメラ11の上方への回転角および水平方向への回転角を入力し駆動手段27を制御する。これにより、駆動手段27は、パン/チルト駆動機構14の図示しないモータを作動してカメラ11を上下および水平方向に回転駆動する。
これをステップS4における撮影状態が良好になるまで繰り返した後、ステップS5で撮影することにより一連の撮影動作が終了する。
これをステップS4における撮影状態が良好になるまで繰り返した後、ステップS5で撮影することにより一連の撮影動作が終了する。
この実施形態の撮影装置では、フレーミング手段21に入力された画像Gの構図を評価させて画像Gの良否を判断させるようにしたので、構図の良好な画像を容易,確実に得ることができる。
なお、この実施形態では、画面Fの中央に特定の被撮影者Mを配置し、その両側にその人物以外の人間M1,M2を配置した例について説明したが、例えば、特定の被撮影者Mのみを画面F内に配置するようにしても良い。
なお、この実施形態では、画面Fの中央に特定の被撮影者Mを配置し、その両側にその人物以外の人間M1,M2を配置した例について説明したが、例えば、特定の被撮影者Mのみを画面F内に配置するようにしても良い。
例えば人物を中央に配置した写真は記念写真としてよく撮影されるが、このような写真を自動的に取得するシステムを構成する場合は、人物の顔を画像から検出し、その顔が画像中のどの位置にあるかを検出して、顔が画面中央に無い場合には、画面中央のずれ量に応じて撮像装置の位置を顔が画面中央に来るように移動させてから画像を取得するようにすれば良い。
また、この実施形態では、学習型の対象物認識アルゴリズムを用いて人間の顔の位置を評価した例について説明したが、学習型の対象物認識アルゴリズムを用いた場合には、学習サンプルを、例えば飛行機等の対象物に合わせて用意するだけで、顔以外の撮影対象物の位置や大きさを容易に検出できるという利点がある。
そして、顔位置と画面中央のずれ量と撮像装置の移動量もしくはパン、チルト、ズームの変化量に対するキャリブレーションは、顔位置だけでなく顔の大きさを検出しておけば、顔の大きさが撮像装置と撮影対象物との距離の比率(近ければ顔が大きくなり、遠ければ小さくなる)になるので容易に可能である。
そして、顔位置と画面中央のずれ量と撮像装置の移動量もしくはパン、チルト、ズームの変化量に対するキャリブレーションは、顔位置だけでなく顔の大きさを検出しておけば、顔の大きさが撮像装置と撮影対象物との距離の比率(近ければ顔が大きくなり、遠ければ小さくなる)になるので容易に可能である。
また、図5の(a)に示すように、人物の顔K1,K2,K3が画面F中に複数含まれる場合には、検出された顔領域のモーメント特徴量を計算し、その結果求められる重心位置G0が、図5の(b)に示すように、画面F中心に来るように撮影条件を変更するのが望ましい。特に、図6に示すように、所定の点Pを中心とした二次モーメントを用いれば画面F内における対象物の位置のばらつきを評価できるので、必要に応じて、図6の(a)に示すように、画面F内に対象物(例えば顔K1,K2,K3)がばらついているフレーミングや、図6の(b)に示すように、その逆に対象物がばらついていないフレーミングが可能になる。
さらに、この実施形態では、特定の被撮影者Mの顔Kが画面F中心に来るようにしたが、必ずしもその必要はない。例えば図7に示すように、絵葉書用の写真を撮影する場合、文字を入れるスペースSPを考慮したフレーミングは効果的である。この場合、予め対象物Tが写って欲しい位置を装置に設定して同様のことを実施すれば良い。このように目的に応じてフレームすべき位置を決定するのが望ましい。
また、この実施形態では、撮影状態を入力するためのモニターカメラと、フレーミング手段21が撮影状態が良好であると判断した時に撮影を行うカメラを1台のカメラ11で行っているが、撮影光軸がほぼ同じになるように設置した2台のカメラによってこれらを行っても良い。例えば、CCDの素子数が少ない(100万画素程度)が高速での連続撮影が可能なデジタルカメラを撮影状態を入力するためのモニターカメラとし、CCDの素子数が多く(600万画素程度)て高画質の撮影ができるテジタルカメラをフレーミング手段21が撮影状態が良好であると判断した時に撮影を行うカメラとする。
(第2の実施形態)
この実施形態以降の実施形態では、フレーミング手段21によるフレーミングの他の例について述べる。
(第2の実施形態)
この実施形態以降の実施形態では、フレーミング手段21によるフレーミングの他の例について述べる。
一般に、写真構図の基本には黄金分割、串刺し等といった基本が存在する。第1の実施形態では画面Fの中心に被撮影者Mの顔Kが来るようにしたが、図8に示すように、黄金分割に基づくように対象物(例えば人M1,M2の顔K1,K2)が画面に配置されるようにしても良い。
また、画像からエッジを検出することで串刺しを検出し、そうならないように撮像装置を移動しても良い。以下串刺しを検出する際の具体的な処理の一例を挙げる。
また、画像からエッジを検出することで串刺しを検出し、そうならないように撮像装置を移動しても良い。以下串刺しを検出する際の具体的な処理の一例を挙げる。
先ず、図9の(a)に示すように、学習型の対象物認識アルゴリズムにより対象物Mを検出する。そして対象物Mが検出されなかった領域を求める。この領域について、一般的な微分処理と二値化を行った後、クラスタリング処理を適用して背景画像(対象物が存在しない領域)に存在する幾何学的な情報を抽出する。それらの抽出結果と検出された対象物Mとの位置関係を調べて串刺しを検出することができる。
そして、串刺しが検出された場合、対象物Mと串刺しの位置関係からそうならないフレーミングを決定する。例えば図9の(a)に示したように、画面Fの対象物Mの右側に横線の幾何形状(例えば枝T)があり、左にないとすれば、図9の(b)に示すように、対象物Mが左に移るようなフレーミングを行うことで串刺しを解消することができる。
(第3の実施形態)
一般に、フレーミングを行う際に、対象物は人物だけでなく、特徴的な背景、特徴的な建物、人物ではないキャラクター、特定人物を考慮したフレーミングを行うことでよりよい画像を取得することが可能になる。
(第3の実施形態)
一般に、フレーミングを行う際に、対象物は人物だけでなく、特徴的な背景、特徴的な建物、人物ではないキャラクター、特定人物を考慮したフレーミングを行うことでよりよい画像を取得することが可能になる。
対象物を検出する際に、学習型の対象物認識アルゴリズムを用いれば、学習用データを撮影対象物毎に用意することで各撮影対象物を検出することが容易に可能になる。従って、例えば図10に示すように、人物M1,M2と着ぐるみをまとった対象物Aを別々に検出し、着ぐるみをまとった対象物Aを画面F中心に来るようにフレーミングを行うことでより良い画像を取得可能になる。
また、図11に示すように、着ぐるみの代わりに個人識別を行うことで、特定人物M0が常に画面Fの中心に来るようにすることも可能になる。
さらに、図12に示すように、特徴的な建物Bを含んで撮影したい時には、特徴的な建物Bが画面Fの指定位置にあり、かつ、人物Mが画面Fに含まれるようなフレーミングをすることも可能になる。
さらに、図12に示すように、特徴的な建物Bを含んで撮影したい時には、特徴的な建物Bが画面Fの指定位置にあり、かつ、人物Mが画面Fに含まれるようなフレーミングをすることも可能になる。
なお、対象物の検出は必ずしも学習型の対象物認識アルゴリズムである必要は無く、テンプレートマッチング手法やその他の手法を用いても良いし、学習型アルゴリズムとその他の手法を組み合わせて別々に検出や認識を行っても良い。
この実施形態における上記以外の撮影例を以下にあげる。例えば観光名所では写真に収めたいオブジェクトや観光地の名前の入ったプレートがしばしば存在する。この場合には、検出された対象物の大きさと位置情報を用いて、例えば図12に示したように、オブジェクト(例えばB)が画面Fの右半分に大きく撮影されるようにフレーミングする。また、例えば図13に示すように、記念プレートCが画面Fの中央下側に写るように検出対象物の位置関係を考慮してフレーミングするのが効果的である。
(第4の実施形態)
フレーミングを行う際に、画像から得られる対象物情報だけでなく、予め既知の情報や、他のセンサから得られる情報を用いても良い。
この実施形態における上記以外の撮影例を以下にあげる。例えば観光名所では写真に収めたいオブジェクトや観光地の名前の入ったプレートがしばしば存在する。この場合には、検出された対象物の大きさと位置情報を用いて、例えば図12に示したように、オブジェクト(例えばB)が画面Fの右半分に大きく撮影されるようにフレーミングする。また、例えば図13に示すように、記念プレートCが画面Fの中央下側に写るように検出対象物の位置関係を考慮してフレーミングするのが効果的である。
(第4の実施形態)
フレーミングを行う際に、画像から得られる対象物情報だけでなく、予め既知の情報や、他のセンサから得られる情報を用いても良い。
既知の情報とは、方角(東西南北)、時間、天気、太陽の向き等であり、他のセンサからの情報とは明るさを検知するセンサ等である。太陽の向きから逆光の条件を考慮したフレーミングをしたり、室内において明るさの変化から照明条件の変化を求めてフレーミングしたりすることで対象物にとって好適な撮像装置の位置を計算することでより良い画像を取得することが可能になる。
(第5の実施形態)
フレーミングを決定する際に対象物の重心の位置を用いることなく学習型の対象物認識アルゴリズムを用いても良い。最適なフレーミングは各場面、各個人の要求により様々な場合があり、一概にその条件を決定することは困難である。
(第5の実施形態)
フレーミングを決定する際に対象物の重心の位置を用いることなく学習型の対象物認識アルゴリズムを用いても良い。最適なフレーミングは各場面、各個人の要求により様々な場合があり、一概にその条件を決定することは困難である。
そこで、図14に示すように、予め撮影された画像(例えばG1からG5)を、目的に対して最適な画像(良い画像)とそうでない画像(良くない画像)に分類し、それらの画像に対してフレーミングを行うための特徴抽出を行い、その特徴抽出結果を用いて学習ファイルを構築することで、簡単に表現できない条件(非線形となるような条件)に対しても柔軟にフレーミングの評価(画像の良し悪し判別)を行うことが可能となる。これにより、好適なフレーミングの条件を設定する必要が無い、うまく言葉で言えない構図についても自動的に選び出すことが可能になるという効果が得られる。
なお、この場合には、撮像装置の好適な位置を検出する際に、フレーミングの評価に用いる入力画像を擬似的に位置変更を行ってフレーミング評価を行い、最もよいフレーミング結果を出力した時の位置を好適なフレーミング位置とすれば良い。また、特徴量としては入力画像を処理することで得られる撮影対象物(例えばX1からX4)の位置、大きさ、種類(撮影対象物が何であるか)を用いれば良い。
(第6の実施形態)
図15は、この実施形態の撮影装置を示している。
(第6の実施形態)
図15は、この実施形態の撮影装置を示している。
この撮影装置は、自走可能な装置本体31を有している。装置本体31の下端には、車輪等の走行部材33が配置されている。この走行部材33は、装置本体31内に配置される図示しないモータおよび駆動機構により駆動される。モータの駆動は、装置本体31内に配置される図示しないバッテリ等の電源により行われる。また、有線あるいは無線によりモータの駆動が制御される。
装置本体31の上端には、昇降回転部材35が配置されている。この昇降回転部材35は、装置本体31内に配置される図示しない昇降機構により上下方向に昇降可能とされている。また、図示しない回転機構により回転可能とされている。
昇降回転部材35には、広角カメラ37および撮影カメラ39が上下方向に所定間隔を置いて配置されている。広角カメラ37は、撮影対象の検出に使用され、撮影カメラ39は、広角カメラ37で検出された撮影対象の撮影に使用される。広角カメラ37と撮影カメラ39とは、上下方向に可能な限り接近して配置されている。そして、広角カメラ37と撮影カメラ39とは、その光軸が、略平行とされ同一方向に向けられている。
昇降回転部材35には、広角カメラ37および撮影カメラ39が上下方向に所定間隔を置いて配置されている。広角カメラ37は、撮影対象の検出に使用され、撮影カメラ39は、広角カメラ37で検出された撮影対象の撮影に使用される。広角カメラ37と撮影カメラ39とは、上下方向に可能な限り接近して配置されている。そして、広角カメラ37と撮影カメラ39とは、その光軸が、略平行とされ同一方向に向けられている。
広角カメラ37は、昇降回転部材35の上端に固定されている。この広角カメラ37は、例えば画角70度以上の水平視野を有する広角光学系を有している。この広角光学系には、通常の魚眼レンズより周辺部の解像度が高いレンズ(以下中心窩レンズという)が使用されている。すなわち、一般に広角光学系では、周辺部が歪んだ画像が得られるが、中心窩レンズを使用することにより歪みが少なくなり、周辺部においても画質を向上することができる。なお、広角カメラ37で得られる画像は歪んでいるため、歪みを除去する画像処理が行われる。
撮影カメラ39は、昇降回転部材35の広角カメラ37の下方に固定されている。この撮影カメラ39は、例えば400万画素以上のデジタル一眼レフカメラからなり、高精細で像歪み等のない画像を取得可能である。
この実施形態の撮影装置は、自律走行して自動撮影するロボットとして、例えば、パーティー会場等で使用される。
この実施形態の撮影装置は、自律走行して自動撮影するロボットとして、例えば、パーティー会場等で使用される。
パーティー会場には、この撮影装置が置かれ、撮影装置は、予め設定されたプログラムに基づいてパーティー会場内を移動する。
広角カメラ37は、パーティー会場内の人物を常に探索しており、図16に示すように画面F内に人物Mを見つけると顔画像を自動的に検出する。そして、顔画像が予め定められた特定の被撮影者であるか否かを、例えば第1の実施形態と同様にして認証する。特定の被撮影者である場合には、撮影カメラ39により被撮影者の画像を取得する。
広角カメラ37は、パーティー会場内の人物を常に探索しており、図16に示すように画面F内に人物Mを見つけると顔画像を自動的に検出する。そして、顔画像が予め定められた特定の被撮影者であるか否かを、例えば第1の実施形態と同様にして認証する。特定の被撮影者である場合には、撮影カメラ39により被撮影者の画像を取得する。
撮影カメラ39で取得された画像は、例えば第1の実施形態と同様にしてフレーミング手段により評価され、例えば、被撮影者の顔画像が所定の中央領域に位置しているか否かの判定が行われる。中央領域に位置していない場合には、昇降回転部材35を昇降および回転してフレーミングを行う。そして、フレーミングが適切になったところで撮影カメラ39による撮影を行う。
撮影された画像は、例えば、デジタル画像データとして無線で送信され、パソコン等に取り込まれる。そして、必要に応じてプリントされる。なお、その場でプリントしても良い。
この実施形態の撮影装置では、自走可能な装置本体31に、広域から迅速に撮影対象を検出する広角カメラ37を設けたので、撮影対象を迅速かつ確実に検出することができる。そして、広角カメラ37で検出された撮影対象を撮影カメラ39により撮影するようにしたので、高画質の画像を得ることができる。
この実施形態の撮影装置では、自走可能な装置本体31に、広域から迅速に撮影対象を検出する広角カメラ37を設けたので、撮影対象を迅速かつ確実に検出することができる。そして、広角カメラ37で検出された撮影対象を撮影カメラ39により撮影するようにしたので、高画質の画像を得ることができる。
また、装置本体31に昇降回転部材35を設け、広角カメラ37と撮影カメラ39とを連動して移動するようにしたので、広角カメラ37と撮影カメラ39との相対位置関係を常に同一にすることが可能になり、撮影装置の制御を容易なものにすることができる。
さらに、広角カメラ37と撮影カメラ39とを近接して配置したので、撮影対象に対する位置ズレを小さくすることができる。なお、この実施形態では、広角カメラ37と撮影カメラ39との位置ズレを考慮して制御が行われている。
(実施形態の補足事項)
以上、本発明を上述した実施形態によって説明してきたが、本発明の技術的範囲は上述した実施形態に限定されるものではなく、例えば、以下のような形態でも良い。
さらに、広角カメラ37と撮影カメラ39とを近接して配置したので、撮影対象に対する位置ズレを小さくすることができる。なお、この実施形態では、広角カメラ37と撮影カメラ39との位置ズレを考慮して制御が行われている。
(実施形態の補足事項)
以上、本発明を上述した実施形態によって説明してきたが、本発明の技術的範囲は上述した実施形態に限定されるものではなく、例えば、以下のような形態でも良い。
(1)上述した実施形態では、撮影装置に本発明の自動フレーミング装置を適用した例について説明したが、例えば、画像データベースのように画像を保存している装置から好適な画像を自動的に検出する際にも適用することができる。この場合には、画像データベース内の画像が入力手段に入力され、入力された画像がフレーミング手段により評価され画像の良否が判断される。そして、例えば良いと判断された画像のみが選択される。
(2)上述した実施形態では、撮影装置に自動フレーミング装置を設けた例について説明したが、例えば、無線LANや、有線のデータ転送手段(USBやIEEE1394等)を用いてPCに撮影データを転送してPC内の自動フレーミング装置により画像処理およびフレーミング処理を実施するようにしても良い。また、三脚にPCを撮影装置と一緒に載せても良いし、別の場所に設置しておいても良い。
(3)上述した第1の実施形態では、撮影装置の撮影条件をパン/チルト駆動機構14により撮影装置を移動して変化した例について説明したが、例えば、第6の実施形態のように撮影装置に走行部材を設けて撮影装置の全体を移動するようにしても良い。そして、対象物の斜め、横、後ろ側の画像を撮影したい場合には以下のようにすれば良い。
例えば入力画像から対象物正面が正面に写る画像を取得したか否かを調べ、取得している場合にはその時の位置(正面に写る画像を撮影した時の位置)を基準にして撮影装置を移動させればよい。この方法により、人物の顔のように正面以外の部分を検出するのが難しい撮影対象でも所望の角度からの撮影が可能となる。
例えば入力画像から対象物正面が正面に写る画像を取得したか否かを調べ、取得している場合にはその時の位置(正面に写る画像を撮影した時の位置)を基準にして撮影装置を移動させればよい。この方法により、人物の顔のように正面以外の部分を検出するのが難しい撮影対象でも所望の角度からの撮影が可能となる。
(4)上述した実施形態では、撮影手段に撮影カメラを用いた例について説明したが、例えば、撮影手段にビデオカメラを用いても良い。
(5)上述した第6の実施形態では、撮影装置をパーティー会場での撮影に用いた例について説明したが、例えば、セキュリティ等の用途に用いても良い。例えば、移動可能な監視撮影カメラとして、室内や、入退出のシーンに設置し、人物を検知あるいは認証し、必要であれば撮影画像として取得することで、監視用途に広く用いることができる。そして、監視で要望される、監視に必要な検出は広く、撮影画像は細かくという相反する要望を満足することができる。
(5)上述した第6の実施形態では、撮影装置をパーティー会場での撮影に用いた例について説明したが、例えば、セキュリティ等の用途に用いても良い。例えば、移動可能な監視撮影カメラとして、室内や、入退出のシーンに設置し、人物を検知あるいは認証し、必要であれば撮影画像として取得することで、監視用途に広く用いることができる。そして、監視で要望される、監視に必要な検出は広く、撮影画像は細かくという相反する要望を満足することができる。
11 カメラ
14 パン/チルト駆動機構
15 制御装置
19 制御手段
21 フレーミング手段
23 演算手段
25 移動手段
27 駆動手段
29 撮影手段
31 装置本体
37 広角カメラ
39 撮影カメラ
F 画面
14 パン/チルト駆動機構
15 制御装置
19 制御手段
21 フレーミング手段
23 演算手段
25 移動手段
27 駆動手段
29 撮影手段
31 装置本体
37 広角カメラ
39 撮影カメラ
F 画面
Claims (12)
- 画像を入力する入力手段と、
前記入力手段に入力された前記画像の構図を評価し前記画像の良否を判断するフレーミング手段と、
を有することを特徴とする自動フレーミング装置。 - 請求項1記載の自動フレーミング装置において、
前記画像が前記フレーミング手段により良いと判断された時に、前記入力手段に画像を出力している撮影装置による撮影を行う撮影手段を有することを特徴とする自動フレーミング装置。 - 請求項2記載の自動フレーミング装置において、
前記撮影手段は、前記画像が前記フレーミング手段により良くないと判断された時に、前記フレーミング手段からの評価情報に基づいて前記撮影装置の撮影条件を変化させることを特徴とする自動フレーミング装置。 - 請求項3記載の自動フレーミング装置において、
前記撮影装置の撮影条件を、前記撮影装置を移動して変化させることを特徴とする自動フレーミング装置。 - 請求項1記載の自動フレーミング装置において、
前記入力手段に入力される画像は、既に撮影された画像であることを特徴とする自動フレーミング装置。 - 請求項1ないし請求項5のいずれか1項記載の自動フレーミング装置において、
前記フレーミング手段は、学習型の対象物認識アルゴリズムを用いた学習ファイルを用いて前記画像の構図を評価することを特徴とする自動フレーミング装置。 - 請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、
前記フレーミング手段は、複数の撮影対象から特定の撮影対象を選択して前記画像の構図を評価することを特徴とする自動フレーミング装置。 - 請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、
前記フレーミング手段は、複数の撮影対象の画像内における位置、種類および大きさのパターンに基づいて前記画像の構図を評価することを特徴とする自動フレーミング装置。 - 請求項1ないし請求項6のいずれか1項記載の自動フレーミング装置において、
前記フレーミング手段は、撮影対象の重心位置に基づいて前記画像の構図を評価することを特徴とする自動フレーミング装置。 - 自走可能な装置本体と、
前記装置本体に配置され撮影対象を検出する検出手段と、
前記検出手段で検出された前記撮影対象を撮影する撮影手段と、
を有することを特徴とする撮影装置。 - 請求項10記載の撮影装置において、
前記検出手段は広角カメラであり、前記撮影手段は撮影カメラであることを特徴とする撮影装置。 - 請求項11記載の撮影装置において、
前記装置本体は、前記広角カメラと前記撮影カメラとを連動して移動する移動手段を有することを特徴とする撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005189336A JP2006191524A (ja) | 2004-12-09 | 2005-06-29 | 自動フレーミング装置および撮影装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004356830 | 2004-12-09 | ||
JP2005189336A JP2006191524A (ja) | 2004-12-09 | 2005-06-29 | 自動フレーミング装置および撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006191524A true JP2006191524A (ja) | 2006-07-20 |
Family
ID=36798198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005189336A Withdrawn JP2006191524A (ja) | 2004-12-09 | 2005-06-29 | 自動フレーミング装置および撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006191524A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219449A (ja) * | 2007-03-05 | 2008-09-18 | Fujifilm Corp | 撮像装置およびその制御方法 |
JP2009171428A (ja) * | 2008-01-18 | 2009-07-30 | Nec Corp | デジタルカメラ装置および電子ズームの制御方法およびプログラム |
JP2010147769A (ja) * | 2008-12-18 | 2010-07-01 | Sony Corp | 撮像システム、画像提示方法、プログラム |
JP2011139498A (ja) * | 2011-02-14 | 2011-07-14 | Fujifilm Corp | 撮像装置およびその制御方法 |
JP2011139230A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 撮像制御装置、撮像制御方法、プログラム |
JP2011137936A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 撮像制御装置、撮像制御方法、プログラム |
WO2011093287A1 (ja) * | 2010-01-26 | 2011-08-04 | 京セラ株式会社 | 携帯電子機器 |
US7995106B2 (en) | 2007-03-05 | 2011-08-09 | Fujifilm Corporation | Imaging apparatus with human extraction and voice analysis and control method thereof |
JP2011221394A (ja) * | 2010-04-13 | 2011-11-04 | Nec Corp | 画像処理装置及び画像処理方法並びにそのプログラム |
US8994831B2 (en) | 2009-12-28 | 2015-03-31 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
JP2016177739A (ja) * | 2015-03-23 | 2016-10-06 | グローリー株式会社 | 人物認証装置及び人物認証方法 |
JP2016212465A (ja) * | 2015-04-28 | 2016-12-15 | 株式会社ニコン | 電子機器および撮像システム |
JP2017228956A (ja) * | 2016-06-23 | 2017-12-28 | 株式会社つくばマルチメディア | 全天球映像撮影装置、全天球映像撮影システム、全天球映像撮影プログラム、それを記録した記録媒体、及び全天球映像撮影方法 |
JP2018093535A (ja) * | 2018-03-02 | 2018-06-14 | オリンパス株式会社 | 移動撮影装置、撮影機器、撮影方法及び撮影プログラム |
JP6384891B1 (ja) * | 2018-06-13 | 2018-09-05 | オリンパス株式会社 | 情報端末機器、撮影機器、撮影方法及び撮影プログラム |
JP2019154033A (ja) * | 2019-03-06 | 2019-09-12 | オリンパス株式会社 | 移動撮影装置、移動撮影制御装置、移動撮影システム、撮影方法及び撮影プログラム |
WO2021189471A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市大疆创新科技有限公司 | 拍摄方法、装置、设备及计算机可读存储介质 |
JP7449715B2 (ja) | 2020-02-21 | 2024-03-14 | 日本放送協会 | フレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラム |
-
2005
- 2005-06-29 JP JP2005189336A patent/JP2006191524A/ja not_active Withdrawn
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219449A (ja) * | 2007-03-05 | 2008-09-18 | Fujifilm Corp | 撮像装置およびその制御方法 |
US7995106B2 (en) | 2007-03-05 | 2011-08-09 | Fujifilm Corporation | Imaging apparatus with human extraction and voice analysis and control method thereof |
JP2009171428A (ja) * | 2008-01-18 | 2009-07-30 | Nec Corp | デジタルカメラ装置および電子ズームの制御方法およびプログラム |
JP2010147769A (ja) * | 2008-12-18 | 2010-07-01 | Sony Corp | 撮像システム、画像提示方法、プログラム |
US8638372B2 (en) | 2008-12-18 | 2014-01-28 | Sony Corporation | Image capture unit with changeable image capture direction |
JP2011137936A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 撮像制御装置、撮像制御方法、プログラム |
JP2011139230A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 撮像制御装置、撮像制御方法、プログラム |
US8994831B2 (en) | 2009-12-28 | 2015-03-31 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
WO2011093287A1 (ja) * | 2010-01-26 | 2011-08-04 | 京セラ株式会社 | 携帯電子機器 |
JP2011155372A (ja) * | 2010-01-26 | 2011-08-11 | Kyocera Corp | 携帯電子機器 |
US8724021B2 (en) | 2010-01-26 | 2014-05-13 | Kyocera Corporation | Portable electronic device |
JP2011221394A (ja) * | 2010-04-13 | 2011-11-04 | Nec Corp | 画像処理装置及び画像処理方法並びにそのプログラム |
JP2011139498A (ja) * | 2011-02-14 | 2011-07-14 | Fujifilm Corp | 撮像装置およびその制御方法 |
JP2016177739A (ja) * | 2015-03-23 | 2016-10-06 | グローリー株式会社 | 人物認証装置及び人物認証方法 |
JP2016212465A (ja) * | 2015-04-28 | 2016-12-15 | 株式会社ニコン | 電子機器および撮像システム |
JP2017228956A (ja) * | 2016-06-23 | 2017-12-28 | 株式会社つくばマルチメディア | 全天球映像撮影装置、全天球映像撮影システム、全天球映像撮影プログラム、それを記録した記録媒体、及び全天球映像撮影方法 |
JP2018093535A (ja) * | 2018-03-02 | 2018-06-14 | オリンパス株式会社 | 移動撮影装置、撮影機器、撮影方法及び撮影プログラム |
JP6384891B1 (ja) * | 2018-06-13 | 2018-09-05 | オリンパス株式会社 | 情報端末機器、撮影機器、撮影方法及び撮影プログラム |
JP2018182746A (ja) * | 2018-06-13 | 2018-11-15 | オリンパス株式会社 | 情報端末機器、撮影機器、撮影方法及び撮影プログラム |
JP2019154033A (ja) * | 2019-03-06 | 2019-09-12 | オリンパス株式会社 | 移動撮影装置、移動撮影制御装置、移動撮影システム、撮影方法及び撮影プログラム |
JP7449715B2 (ja) | 2020-02-21 | 2024-03-14 | 日本放送協会 | フレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラム |
WO2021189471A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市大疆创新科技有限公司 | 拍摄方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006191524A (ja) | 自動フレーミング装置および撮影装置 | |
JP4333223B2 (ja) | 自動撮影装置 | |
TWI386056B (zh) | A composition determination means, a composition determination method, and a composition determination program | |
JP4894712B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
WO2018228467A1 (zh) | 图像曝光方法、装置、摄像设备及存储介质 | |
JP6532217B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
EP2563009B1 (en) | Method and electric device for taking panoramic photograph | |
JP2006211139A (ja) | 撮像装置 | |
JP6863284B2 (ja) | 検出装置、検出方法、検出プログラムおよび撮像装置 | |
CN107424182B (zh) | 一种热成像现场监控装置及方法 | |
JP2020053774A (ja) | 撮像装置および画像記録方法 | |
JP2005049854A (ja) | 対象決定装置及び撮像装置 | |
CN106791456A (zh) | 一种拍照方法及电子设备 | |
JP6265602B2 (ja) | 監視カメラシステム、撮像装置及び撮像方法 | |
US20070002463A1 (en) | Image capturing apparatus | |
JP2010117663A (ja) | オートフォーカスシステム | |
JP2008301162A (ja) | 撮影装置、及び撮影方法 | |
US20210289119A1 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
TW202011349A (zh) | 全景圖形成方法及系統 | |
JP2009105559A (ja) | 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器 | |
JP2019027882A (ja) | 物体距離検出装置 | |
JP2009239392A (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
JP5440588B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP5293427B2 (ja) | 撮影装置、及び撮影制御プログラム | |
JP2009239391A (ja) | 複眼撮影装置およびその制御方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080902 |