JP2010068180A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】連写により生成した画像データの中から、ユーザが最良の一枚を選択することが容易になるように画像データを抽出する撮像装置及び撮像方法を提供する。
【解決手段】撮像部１が連写機能により生成した画像データ列の各画像データについて、人物検出部３が人物を検出して各関節点を座標データ化する。そして、画像抽出部４が、前後の画像データの各関節点の座標データを基に生成した動き量が所定のしきい値よりも大きい画像を抽出して、その中から時間間隔が等間隔となるように画像データを抽出する。
【選択図】図４

Description

本発明は、連写機能を有する撮像装置及び撮像方法に関する。

連写が可能な撮像装置がある。
このような撮像装置では、例えば、１回シャッターが切られることにより、大量の画像が連続して撮影されることになる。

特に、デジタル画像を撮影する連写可能なデジタル撮像装置では、連写により大量にデジタル画像データが撮像されることになる。
ところでデジタル撮像装置では、撮像した画像データをＬＣＤ(Liquid Crystal Display)などの表示部に表示することが一般的である。連写が可能な撮像装置の場合、連写した枚数が多いと、生成したすべての画像データを表示部に１度に表示することができない場合があり、このような場合は例えば生成した画像データの一部のみが表示部に表示されることになる。
表示部に表示されるべき画像データは、例えば連写によって生成された画像データのうちの最初の数枚、あるいは最後の数枚が考えられる。あるいは、連写により生成された全ての画像データから、例えば撮影間隔が等間隔となるように数枚の画像データを抽出し、これを表示部に表示することも考えられる。

ここで、撮影者が連写により生成された複数の画像データの中から最良の一枚を抽出しようとする場合を考える。
連写時の最初の数枚、あるいは最後の数枚のみが表示部に表示される場合では、表示部に表示されている画像の中に最良の１枚があるとは限らないため、撮影者は結局全ての画像を表示部に表示させる操作を行って最良の一枚を決定するしかなく、非常に手間と時間がかかる。
また、連写された画像データ全体から撮影時間が等間隔となるように抽出された画像データが表示されている場合には、最良の一枚に近い画像データは表示されているかもしれないが、その一枚付近の画像データを比較して参照してみないと、どの画像データが最良であるかは分からないため、結局手間がかかってしまう。
このため、連写により得られた複数の画像データの中から最良の一枚を抽出して表示する技術が所望されている。

本発明はこのような要求に応えるためになされたものであり、連写により生成した画像データの中から、ユーザが最良の一枚を選択することが容易になるように画像データを抽出する撮像装置及び撮像方法を提供することを目的とする。

上記した不利益を解消するために、第１の発明の撮像装置は、連写機能を有する撮像部と、前記撮像部の連写機能により生成された一連の画像データのそれぞれにおける、関節を支点として動作する運動部を有する対象物を検出する対象物検出部と、前記対象物検出部が生成した位置情報を基に、前記画像データの時間による変化を検出し、当該変化が所定の条件を満たす画像を抽出する画像抽出部と、を有し、前記対象物検出部は、検出した前記対象物の関節及び運動部の端部の位置を示す位置情報を生成する。

第２の発明の撮像方法は、撮像部と、対象物検出部と、画像抽出部と、を有する撮像装置が、関節を支点として動作する運動部を有する対象物を撮影する場合に、前記撮像部が、一連の画像データを生成する第１の工程と、前記第１の工程において生成された一連の画像データのそれぞれにおける対象物を前記対象物検出部が検出する第２の工程と、前記第２の工程において検出された前記対象物の関節及び運動部の端部の位置を示す位置情報を前記対象物検出部が生成する第３の工程と、前記第３の工程において検出された人物の関節及び運動部の端部の位置を示す位置情報を前記対象物検出部が生成する第４の工程と、前記第４の工程において生成された位置情報を基に、前記画像データの時間による変化を検出し、当該変化が所定の条件を満たす画像を画像抽出部が抽出する第５の工程と、を有する。

本発明は連写により生成した画像データの中から、ユーザが最良の一枚を選択することが容易になるように画像データを抽出する撮像装置及び撮像方法を提供する。

以下、本発明の実施形態の撮像装置１００について説明する。
図１は、本実施形態の撮像装置１００の構成の一例を示した図である。
図１に示すように、本実施形態の撮像装置１００は、撮像部１、画像バッファ２、人物検出部３、画像抽出部４、操作部５、表示部６、メモリ７を有する。
人物検出部３は本発明の対象物検出部に、画像抽出部４は本発明の画像抽出部にそれぞれ対応している。
撮像部１は、被写体を撮影しデジタル画像データを生成する撮像デバイスである。
撮像部１は、連写機能を有し、短い間隔でシャッターを切り短時間で大量のデジタル画像データを生成することが可能である。撮像部１が連写機能によって生成した一連の画像データを、以下画像データ列と称する。

画像バッファ２は、撮像部１が生成した画像データを一時的に記憶するための記憶装置である。画像バッファ２は、例えばリングバッファにより構成されればよい。
人物検出部３は、画像バッファ２に記憶された画像データの人物検出処理を行う。動き解析部が行う人物検出処理の詳細については後述する。
画像抽出部４は、画像バッファ２に記憶された画像データ列の中から、人物検出部３の生成した動き解析データを基に、所定の条件を満たす所定の枚数の画像データを抽出し、表示部６に表示させるとともに、メモリ７に記憶させる。画像抽出部４の画像抽出処理については、詳細は後述する。
また、画像抽出部４は、操作部５を介したユーザの操作を受け付け、操作に応じた画像データを画像バッファ２に記憶された画像データ列の中から抽出して表示部６に表示させるとともにメモリ７に記憶させる。

操作部５は、例えばキー、ボタン類によって構成される操作デバイスであり、ユーザの操作を受け付ける。操作部５により、ユーザは、例えば画像抽出部４により抽出され表示部６に表示された所定枚数の画像データの中から、所望の一枚を選択して表示部６に表示させたりメモリ７に記憶させたりすることができる。
表示部６は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）といった表示デバイスである。表示部６は、例えば撮像部１が撮影した画像データを即座に表示したり、画像バッファ２に記憶された画像データの一部の画像を画像抽出部４の抽出やユーザによる選択に応じて表示したりする。
メモリ７は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの記憶装置であり、撮像部１により生成された画像データを記憶する。なお、メモリ７が記憶する画像データは、例えば操作部５を介してユーザによって選択された少数の画像データであることを想定しているが、撮像部１が生成した画像データ列全てを記憶するようにしてもよい。

本実施形態の撮像装置は、上述した構成により、連写により生成された画像データ列の中から、所定の条件を満たす画像データを抽出し、表示してユーザに示すことにより、画像データ列の中から最良の一枚をユーザが選択する手助けをするものである。

以下、人物検出部３が実行する人物検出処理について詳細に説明する。
図２は、人物検出部３が人物検出処理を実行するときの動作例を示したフローチャートである。
ステップＳＴ１：
人物検出部３は、画像バッファ２に記憶された画像データ列を読み出し、それぞれの画像データから人物を検出する。画像データから人物を検出する方法は、本発明では特に限定しない。例えば、動きのある物体を検出し、さらに肌色を含む領域を検出することにより、人物が写されている領域を検出するようにすればよい。なお、各画像データ内に２人以上の人物が検出された場合は、人物ごとに所定の個体識別子を与える。
ステップＳＴ２：
人物検出部３は、ステップＳＴ１において、画像データ列に人物が検出された否かを判定する。画像データ内に人物が検出されたと判定した場合はステップＳＴ３に進み、されなかった場合は処理を終了する。なお、複数の画像データを含む画像データ列の全ての画像データに人物が検出されなかった場合には、画像データ列を構成する複数の画像データのうち、例えば所定の割合の画像データに人物検出された場合に、画像データ列に人物が検出された、と判定するようにすればよい。

ステップＳＴ３：
人物検出部３は、ステップＳＴ１において検出された画像データ列内の人物に対して、各関節と各端部の座標値をとり、図３に示すような人体モデルを生成する。
なお、ステップＳＴ１における画像データからの人物検出を含めて、画像データから人体モデルを生成する技術としては、例えば下記文献に記載されたような技術を利用すればよい。
・Agarwal, A. and Triggs, B. : 3D Human Pose from Silhouettes by Relevance Vector Regression, IEEE Conference on Computer Vision and Pattern recognition, Vol. 2, pp. 882-888 (2004)
・Mori, G., Ren, X., Efros, A.A. and Malik, J. : Recovering Human Body Configurations : Combining Segmentation and Recognition, IEEE Conference on Computer Vision and Pattern Recognition, Vol. 2 pp. 326-333 (2004)
・Ramanan, D. and Forsyth, D.A. : Finding and Tracking People from the Bottom Up, IEEE Conference on Computer Vision and Pattern Recognition, Vol.2 p.467 (2003)
図３に示すように、各関節及び端部（以下関節点）には番号Ｓｉ（ｉは関節及び端部の数ｎ以下の整数、図３においてはｎ＝１４）が与えられる。

なお、人物検出部３が各関節及び端部の座標値を取る場合には、座標系を設定する必要がある。座標系の設定方法については本発明では特に限定しないが、例えば以下のような設定方法が考えられる。
すなわち、カメラ上に原点をとるカメラ座標系、周りの環境上（例えば地面）に原点をとる世界座標系、画像データ内の被写体内の特定の点（例えば被写体としての人物の腰など）に原点をとる被写体座標系などである。

ステップＳＴ４：
人物検出部３は、ステップＳＴ３において生成した人物モデルを基に、画像データごとの人物モデルの各関節点の座標データ（本発明の位置情報に対応）を抽出する。座標データは、例えば人物検出部３が画像データ列に所定の座標系を設定し、これに基づいて各関節点の位置を座標化することによって生成される。座標データの一例について図４に示す。図４に示すように、画像データごとに人物の各関節点の座標が抽出されている。そして、人物が複数存在する場合は個体ごとにそれらのデータがまとめられる。

次に、画像抽出部４が画像データ列に含まれる複数の画像データの中から、表示部６に表示させる所定枚数の画像データを抽出する処理について説明する。
図５は、画像データ列に含まれる複数の画像データの中から、表示部６に表示させる所定枚数の画像データを抽出する処理について説明するためのフローチャートである。

ステップＳＴ１１：
画像抽出部４は、人物検出部３が生成した各画像データの人物の関節点の座標データを基に、動き量を生成する。
動き量は、例えば以下の数式１のような計算式を基に生成する。

ここで、ｔは画像データ列内のｔ番目の画像データであることを意味する画像番号である。そして、Ｍｔはその画像データ内の人物の動き量である。
数式１に示すように、画像抽出部４は特定の画像データとその１枚前に撮影された画像データの全関節点の座標値の差分を累積してｔ番目の画像データの動き量Ｍｔを生成する。
ステップＳＴ１２：
画像抽出部４は、ステップＳＴ１１において生成した動き量Ｍｔを基に、表示部６に表示させる所定の枚数の画像データを抽出する。
画像抽出部４は、例えば、まず動き量Ｍｔが所定のしきい値よりも大きい画像データを抽出する。次に、抽出された動き量が所定のしきい値以上の画像データを画像番号順に並べる。そして、その中から、間隔が等間隔になるように所定の枚数の画像データを抽出する。なお、所定のしきい値の決定方法については本発明では限定しない。例えば、画像データをユーザが見た場合に動きが大きいと認識できる画像データの動き量を基に、経験的に決定すればよい。

画像抽出部４により、画像データ列から画像データを抽出する処理の具体例について説明する。
図６に、一例として、所定のスポーツ、例えばゴルフをしている人物を撮影した場合の画像データの抽出例について示す。
図６（ａ）は、撮影した画像データ列を示す概念図である。
図６（ａ）において、画像データ列αには、アドレスの状態の人が写っており、画像データ列βには、スイング中の人が写っているとする。
図６（ａ）において、画像データ列の中から所定の枚数（図６（ａ）では９枚）の画像データを抽出する場合について説明する。
画像データ列全体から等間隔で表示する画像データを抽出した場合には、図６（ａ）に示すように、アドレス状態の時間のほうが長いために、アドレス状態の画像データが多く抽出されることになる。
画像データ列全体から等間隔で表示する画像データを抽出した画像の具体例を図６（ｂ）に示す。
図６（ｂ）に示すように、抽出された９枚の画像のうち６枚がアドレス状態のものである。このため、これらの画像データが表示部６に表示されたとき、画像の変化が少なく、どの画像データが最良の一枚に近い画像データであるかをユーザが判断することは難しい。

ところが、上述した画像抽出部４が実行する抽出方法では、所定のしきい値よりも動き量が大きい画像データを抽出した後、時間間隔が等間隔となるように所定の枚数の画像を抽出するため、撮影された画像データ列内の人物の一連の動きをよく表すことができる画像データが抽出されることになる。このため、ユーザが最良の１枚の画像データを見出しやすくなる。
画像抽出部４が実行する抽出方法により抽出された９枚の画像の具体例を図６（ｃ）に示す。
図６（ｃ）に示すように、スイングに入った状態の人物が撮影された画像データが多く表示されるようになる。よって、表示部６に表示される画像データは動きが大きい画像データであり、かつ動きが小さい画像を除いた画像データの中から抽出されているために、動きの密度が高くなっている。撮影された画像データ列の中で、どの画像データが最良の一枚であるかは、ユーザの価値観や目的によって異なるが、抽出される画像データは動きの密度が高くなっているが故に、画像抽出部４は最良の一枚に近い画像データを抽出することが可能である。

＜変形例＞
以下、上述した実施形態の変形例について説明する。
以下説明する変形例では、画像抽出部４の画像抽出処理の内容が上述した実施形態のものと若干異なっている。したがって、画像抽出部４の画像抽出処理についてのみ説明する。
本変形例における撮像装置１００では、どのような画像を抽出するようにするか、をあらかじめ設定しておくことが可能であり、画像抽出部４はこの設定条件に合わせて画像を抽出することになる。設定条件は、例えばあらかじめユーザの選択などによって決定され、メモリ７に記憶されている。画像抽出部４は画像抽出処理時にはこの設定条件をメモリ７から読み出し、これにしたがって処理を実行する。

以下、設定条件と当該設定条件に基づいた画像抽出部４の画像抽出処理について説明する。
本変形例の撮像装置１００における設定条件は、いくつかのモードの中から選択が可能である。
モードには、例えば以下のようなものがある。すなわち、「スピード」モード、「ジャンプ」モード、「ポスチャー」モードである。
「スピード」モードとは、ユーザが人物を撮影する場合に、その人物の動く速度を重要視する場合のモードである。ユーザは、例えば短距離走やスピードスケートなどの選手を撮影する場合などに、このモードを使用することになる。スピードモードにおいては、画像抽出部４は例えば画像データ列内の人物の体の動きを解析し、体の移動速度を算出して、速度順に画像データを並べたとき、体が最も早く動いている画像データから所定の枚数の画像データを抽出する。
また、「スピード」モードにおいては、体全体だけではなく、関節や端部のみの移動速度に注目し、体の一部のみが高速に動いている画像データを抽出するようにすることも可能である。このようにすれば、例えば野球におけるバッターのスイング動作やサッカーにおけるゴールキック動作・シュート動作、テニスにおけるサーブ動作などの撮影時に「スピード」モードにより効果的な抽出が可能になる。
このように体の全体、あるいは一部など、どの部位のスピードに注目して抽出を行うかについては、あらかじめユーザの操作等に応じて設定が可能である。

「ジャンプ」モードとは、ユーザが人物を撮影する場合に、その人物が高く飛んでいることを重要視する場合のモードである。ユーザは、例えば各種高飛びの選手などを撮影する場合にこのモードを使用することになる。ジャンプモードにおいては、画像抽出部４は例えば、人物検出部３が生成した各画像データの人物の体の各部の座標データを基に、体の高度順に画像データを並べたとき、体の位置が高い画像データから所定の枚数の画像データを抽出する。
ただし、被写体内の特定の点に原点をとる被写体座標系においては、座標データを参照しただけでは実際に人物の体が高いところに位置しているかどうかは分からない。そこで、「ジャンプ」モードの場合には、強制的に世界座標系をとり、人物の体の位置を絶対的に把握すればよい。
或いは、カメラ座標系や被写体座標系をとっている場合でも、例えば画像データ内の背景画像の認識を行い、周りの環境と人物との位置関係により人物の体の高度を算出し、これを基に体の位置が高い画像データを抽出するようにしてもよい。画像データ内の背景画像の認識は、例えばＳＬＡＭ：Simultaneous Localization and Mappingと呼ばれる技術を利用すればよい。
或いは、カメラ座標系や被写体座標系に対して、世界座標系に変換するための変換パラメータを予め付加しておいてもよい。

「ポスチャー」モードとは、ユーザが人物を撮影する場合に、その人物の姿勢を重要視する場合のモードである。姿勢といってもいろいろあるため、例えば「体のラインが滑らか」である場合、「姿勢がよい」状態である場合など、さまざまな姿勢についてサブモードとして設定できるようにしてもよい。ポスチャーモードにおいては、画像抽出部４は、例えば、人物検出部３が生成した各画像データの人物の体の各部の座標データを基に、各関節点の位置関係を参照し、位置関係がサブモードに設定された位置関係を満たしている画像データを抽出する。ユーザは、例えばファッションモデルなどを撮影する場合には、ポスチャーモードに設定し、サブモードとして「姿勢がよい」を選択して、姿勢がよいモデルの写真を撮影することになる。

本変形例の画像抽出部４は、上述したような設定条件（モード）に応じて画像データ列の中から表示部６に表示する画像データを抽出する。

以下、上述した実施形態における、撮像装置１００全体の動作例について説明する。
図７は、撮像装置１００の動作例を示したフローチャートである。
ステップＳＴ２１：
撮像部１は、連写機能により所定の間隔で複数の画像データを含む画像データ列を生成する。
ステップＳＴ２２：
画像バッファ２は、ステップＳＴ２１において生成された画像データ列を一時記憶する。

ステップＳＴ２３：
人物検出部３は、ステップＳＴ２１において生成された画像データ列を基に、画像データ内の人物検出を行い、検出された人物の各関節点の座標データを生成する。
ステップＳＴ２４：
画像抽出部４は、ステップＳＴ２３において生成された座標データを基に、画像抽出部４が画像データ列内の画像データの各動き量を算出する。

ステップＳＴ２５：
画像抽出部４は、ステップＳＴ４において算出した動き量を使用して、表示部６に表示するべき所定枚数の画像データを抽出する。
ステップＳＴ２６：
ステップＳＴ２５において抽出された画像データを表示部６が表示するとともに、メモリ７が記憶する。

以上説明したように、本実施形態の撮像装置１００によれば、撮像部１が連写機能により生成した画像データ列の各画像データについて、人物検出部３が人物を検出して各関節点を座標データ化する。そして、画像抽出部４が、前後の画像データの各関節点の座標データを基に生成した動き量が所定のしきい値よりも大きい画像を抽出して、その中から時間間隔が等間隔となるように画像データを抽出する。このようにすることで、動きが小さい画像を除いた画像データの中から抽出されているために、動きの密度が高く、かつ動きが大きい画像データが表示部６に表示されることになる。このため、ユーザは画像データ列の画像データの中から最良の一枚を容易に探し出すことができるようになる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。
なお、上述した実施形態では、画像抽出部４は体が動いている画像データを抽出したり、任意のモードに応じた画像データを抽出したりしているが、本発明はこれには限定されない。すなわち、例えば人物検出部３が三次元の座標データを生成し、画像抽出部４がこれを基にクラスタリングを行い、画像データ列を所定数のクラスタに分割した後、各クラスタから代表画像データを抽出するようにしてもよい。
また、上述した実施形態では、画像抽出部４は各関節の動き量のみを用いて画像の抽出を行っているが、本発明はこれには限定されない。例えば色ヒストグラムや動きベクトルなどによる情報を併用して画像の抽出を行ってもよい。
また、上述した実施形態では、人物検出部３が人物（人体）を検出する場合について説明したが、本発明はこれには限定されない。すなわち、少なくとも１つの関節を有し、これを支点として動作する運動部を有する全ての物体（対象物）を被写体とする場合に本発明は適用が可能である。したがって、本発明は例えば動物や、複数の関節を有するロボット状の機械などにも適用が可能である。

図１は、本実施形態の撮像装置の構成の一例を示した図である。 図２は、人物検出部が人物検出処理を実行するときの動作例を示したフローチャートである。 図３は、人物検出部が人物検出処理の際に生成する人体モデルの一例を示す図である。 図４は、人物検出部が検出する座標データの一例を示した図である。 図５は、画像データ列に含まれる複数の画像データの中から、表示部に表示させる所定枚数の画像データを抽出する処理について説明するためのフローチャートである。 図６は、ゴルフをしている人物を撮影した場合の画像データの抽出例について示した図である。 図７は、撮像装置の動作例を示したフローチャートである。

符号の説明

１００…撮像装置、１…撮像部、２…画像バッファ、３…人物検出部、４…画像抽出部、５…操作部、６…表示部、７…メモリ

Claims (8)

1. 連写機能を有する撮像部と、
   前記撮像部の連写機能により生成された一連の画像データのそれぞれにおける、関節を支点として動作する運動部を有する対象物を検出する対象物検出部と、
   前記対象物検出部が生成した位置情報を基に、前記画像データの時間による変化を検出し、当該変化が所定の条件を満たす画像を抽出する画像抽出部と、
   を有し、
   前記対象物検出部は、検出した前記対象物の関節及び運動部の端部の位置を示す位置情報を生成する
   撮像装置。
2. 前記対象物検出部が生成する位置情報は、前記画像データに写る対象物の関節及び運動部の端部の位置を画像データ内において座標化した座標データである
   請求項１に記載の撮像装置。
3. 前記画像抽出部は、前記座標データを基に、前記撮像部が生成した全ての画像データに対して、画像データとその１枚前に撮影された画像データにおける対象物の各関節及び運動部の端部の位置を基に、関節及び運動部の端部の移動量である動き量を算出し、動き量が所定のしきい値以上である画像データを抽出する
   請求項２に記載の撮像装置。
4. 前記画像抽出部は、前記抽出した画像データから、撮影された間隔がほぼ等間隔となるように所定の枚数の画像データをさらに抽出する
   請求項３に記載の撮像装置。
5. 前記画像抽出部は、前記座標データを基に、前記関節及び運動部の端部の座標データが所定の条件を満たす画像データを抽出する
   請求項２に記載の撮像装置。
6. 前記画像抽出部が抽出する画像の条件に関する複数の設定条件のうち、あらかじめ選択された設定条件を記憶する記憶部
   を有し、
   前記画像抽出部は、前記あらかじめ選択された設定条件に応じて画像データを抽出する
   請求項５に記載の撮像装置。
7. 前記対象物は、人体或いは動物の体である
   請求項１に記載の撮像装置。
8. 撮像部と、対象物検出部と、画像抽出部と、を有する撮像装置が、関節を支点として動作する運動部を有する対象物を撮影する場合に、
   前記撮像部が、一連の画像データを生成する第１の工程と、
   前記第１の工程において生成された一連の画像データのそれぞれにおける対象物を前記対象物検出部が検出する第２の工程と、
   前記第２の工程において検出された前記対象物の関節及び運動部の端部の位置を示す位置情報を前記対象物検出部が生成する第３の工程と、
   前記第３の工程において検出された人物の関節及び運動部の端部の位置を示す位置情報を前記対象物検出部が生成する第４の工程と、
   前記第４の工程において生成された位置情報を基に、前記画像データの時間による変化を検出し、当該変化が所定の条件を満たす画像を画像抽出部が抽出する第５の工程と、
   を有する撮像方法。

Images