JP2012203657A

JP2012203657A - 電子機器及び取得方法

Info

Publication number: JP2012203657A
Application number: JP2011067757A
Authority: JP
Inventors: Mikiya Tanaka; 幹也田中; Tomomi Takashina; 知巳高階; Yuji Moto; 優司茂藤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-03-25
Filing date: 2011-03-25
Publication date: 2012-10-22

Abstract

【課題】オブジェクト同士を簡便に比較可能な、オブジェクト自体を示す数値を簡便に取得する。
【解決手段】電子機器１は、撮像部１０と、撮像部１０によって撮像された動画像からオブジェクトの領域を示す図形であるオブジェクト図形を抽出する抽出部２０と、抽出部２０によって抽出された一のオブジェクトのオブジェクト図形の面積の変化量、又は、前記面積の変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得する取得部３０とを備える。
【選択図】図１

Description

本発明は、電子機器及び取得方法に関するものである。

従来、動画像からパターンマッチングにより所定のオブジェクト（例えば人の顔）を抽出する技術が開示されている（例えば、特許文献１参照）。特許文献１によれば、表示画面上に所定のオブジェクトの撮像領域を示すことができる。

特開２００９−３１４６９号公報

しかしながら、特許文献１に開示された技術では、オブジェクト自体を数値化（指標化）していないので、オブジェクト同士を比較することができないという問題がある。更に、オブジェクト同士を比較することができないので、オブジェクト同士の比較結果を応用した種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）を実現することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、オブジェクト同士を簡便に比較可能な、オブジェクト自体を示す数値（指標）を簡便に取得する電子機器を提供する。

上記問題を解決するために、本発明の一態様である電子機器は、撮像部と、前記撮像部によって撮像された動画像からオブジェクトの領域を示す図形であるオブジェクト図形を抽出する抽出部と、前記抽出部によって抽出された一のオブジェクトの前記オブジェクト図形の面積の変化量、又は、前記面積の変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得する取得部とを備えることを特徴とする。

上記電子機器において、前記抽出部は、オブジェクトに外接する外接矩形を前記オブジェクト図形として抽出するようにしてもよい。

上記電子機器において、前記取得部は、前記オブジェクト図形として抽出された前記外接矩形の面積の変化量、又は、前記面積の変化の周期に代えて又は加えて、前記外接矩形の縦横比の変化量、又は、前記縦横比の変化の周期を、前記リズム情報として取得するようにしてもよい。

上記問題を解決するために、本発明の他の態様である電子機器は、撮像部と、前記撮像部によって撮像された動画像から、オブジェクトに外接する外接矩形をオブジェクトの領域を示す図形であるオブジェクト図形として抽出する抽出部と、前記抽出部によって一のオブジェクトの前記オブジェクト図形として抽出された前記外接矩形の長辺又は短辺の長さの変化量、又は、前記長さの変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得する取得部とを備えることを特徴とする。

上記電子機器において、前記取得部は、前記外接矩形の長辺又は短辺の長さの変化量、又は、前記長さの変化の周期に代えて又は加えて、前記外接矩形の縦横比の変化量、又は、前記縦横比の変化の周期を前記リズム情報として取得するようにしてもよい。

上記問題を解決するために、本発明の他の態様である取得方法は、動画像から当該動画像内のオブジェクトの時間的な変化を示すリズム情報を取得する電子機器における前記リズム情報の取得方法であって、前記電子機器の抽出手段が、動画像からオブジェクトの領域を示す図形であるオブジェクト図形を抽出し、前記電子機器の取得手段が、前記抽出手段によって抽出された一のオブジェクトの前記オブジェクト図形の面積の変化量、又は、前記面積の変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得することを特徴とする。

本発明によれば、オブジェクト自体を示す数値（リズム情報）を当該オブジェクトから簡便に取得することができる。また、当該数値を用いてオブジェクト同士を簡便に比較することができる。更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。

本発明の一実施形態による電子機器１の一例を示す概略図である。抽出部２０の処理を説明するための説明図である。抽出部２０の処理を説明するための説明図である。抽出部２０の処理を説明するための説明図である。取得部３０の処理を説明するための説明図である。電子機器１の動作の一例を示すフローチャートである。

以下、図面を参照しながら本発明の一実施形態について説明する。図１は、本発明の一実施形態による電子機器１の一例を示す概略図である。図２乃至図４は、抽出部２０の処理を説明するための説明図である。図５は、取得部３０の処理を説明するための説明図である。

電子機器１は、例えば、デジタルカメラであって、図１に示すように、撮像部１０、抽出部２０、取得部３０及び記憶部４０を備える。撮像部１０は、静止画像及び動画像を撮像するカメラである。

抽出部２０は、撮像部１０によって撮像された動画像からオブジェクトを抽出する。例えば、抽出部２０は、図２に示すように、撮像部１０によって撮像された動画像（Ｐ_１、Ｐ_２、Ｐ_３）から、主要な被写体（鞄を持って歩いている人物）のオブジェクト（Ｏ_１−１、Ｏ_２−１、Ｏ_３−１）を抽出する。図２（ａ）に示すＰ_１は、動画像を構成する１コマであって、被写体である人物が両手両足を非常に振っている瞬間に撮像されたものである。図２（ｃ）に示すＰ_３は、動画像を構成する１コマであって、被写体である人物が両手両足を振り下ろしている瞬間に撮像されたものである。図２（ｂ）に示すＰ_２は、Ｐ_１とＰ_３の間の１コマである。なお、オブジェクト（Ｏ_１−２、Ｏ_２−２、Ｏ_３−２）は、主要な被写体と一体的に動く鞄のオブジェクトであるが、鞄のオブジェクトに関しては後述する。

また、抽出部２０は、動画像から抽出したオブジェクトの領域を示す図形（以下、オブジェクト図形という）を抽出する。例えば、抽出部２０は、図３に示すように、動画像（Ｐ_１、Ｐ_２、Ｐ_３）から抽出した、オブジェクト（Ｏ_１−１、Ｏ_２−１、Ｏ_３−１）の領域を示すオブジェクト図形（Ｅ_１、Ｅ_２、Ｅ_３）を抽出する。図３（ａ）に示すＥ_１は、図２（ａ）に示すＰ_１から抽出したオブジェクトＯ_１−１に外接する外接矩形である。図３（ｂ）に示すＥ_２は、図２（ｂ）に示すＰ_２から抽出したオブジェクトＯ_２−１に外接する外接矩形である。図３（ｃ）に示すＥ_３は、図２（ｃ）に示すＰ_３から抽出したオブジェクトＯ_３−１に外接する外接矩形である。なお、図３（ｄ）は、外接矩形Ｅ_１、Ｅ_２、Ｅ_３の各サイズを比較したものである。

図３（ｄ）に示すように、被写体の動きに応じて当該被写体に係るオブジェクトの領域が変化する場合、抽出部２０によって抽出されるオブジェクト図形（外接矩形）の形状は、時間的に変化する。

なお、抽出部２０は、主要な被写体とともに、主要被写体と一体的に動く他の被写体を抽出し、抽出した主要被写体のオブジェクトと他の被写体のオブジェクトとを合わせたオブジェクトの領域を示すオブジェクト図形を抽出してもよい。例えば、抽出部２０は、図２に示す動画像（Ｐ_１、Ｐ_２、Ｐ_３）から、図４に示すように、主要被写体（人物）のオブジェクト（Ｏ_１−１、Ｏ_２−１、Ｏ_３−１）と他の被写体（鞄）のオブジェクト（Ｏ_１−２、Ｏ_２−２、Ｏ_３−２）とを合わせたオブジェクトの領域を示すオブジェクト図形（Ｆ_１、Ｆ_２、Ｆ_３）を抽出してもよい。図４（ａ）に示すＦ_１は、図２（ａ）に示すＰ_１から抽出したオブジェクトＯ_１−１及びオブジェクトＯ_１−２に外接する外接矩形である。図４（ｂ）に示すＦ_２は、図２（ｂ）に示すＰ_２から抽出したオブジェクトＯ_２−１及びオブジェクトＯ_２−２に外接する外接矩形である。図４（ｂ）に示すＦ_３は、図２（ｃ）に示すＰ_３から抽出したオブジェクトＯ_３−１及びオブジェクトＯ_３−２に外接する外接矩形である。なお、図４（ｄ）は、外接矩形Ｆ_１、Ｆ_２、Ｆ_１の各サイズを比較したものである。

また、抽出部２０は、外接矩形に代えて他の図形をオブジェクト図形として抽出してもよい。例えば、抽出部２０は、図４（ｅ）に示すように、オブジェクトの領域に外接する外接円Ｇ₁をオブジェクト図形として抽出してもよい。図４（ｅ）に示すＧ_１は、オブジェクトＯ_１−１に外接する外接円（オブジェクトＯ_２−１に外接する外接円、オブジェクトＯ_３−１に外接する外接円も同様）である。なお、抽出部２０は、図４（ｆ）に示すように、主要被写体のオブジェクトと他の被写体のオブジェクトとを合わせたオブジェクトの領域を示すオブジェクト図形として、外接円などの他の図形を抽出してもよい。図４（ｆ）に示すＨ_１は、オブジェクトＯ_１−１及びオブジェクトＯ_１−２に外接する外接円（オブジェクトＯ_２−１及びオブジェクトＯ_２−２に外接する外接円、オブジェクトＯ_３−１及びオブジェクトＯ_３−２に外接する外接円も同様）である。

取得部３０は、抽出部２０によって抽出された一のオブジェクトのオブジェクト図形の面積の変化量、長辺又は短辺の長さの変化量（外接矩形の場合）、縦横比の変化量（外接矩形の場合）、面積の変化の周期、長さの変化の周期（外接矩形の場合）、又は、縦横比の変化の周期（外接矩形の場合）を、当該オブジェクトの時間的な変化を示すリズム情報として取得する。なお、リズム情報は、オブジェクト個々の時間的な変化を示すものであるから、オブジェクト自体を示す数値（指標）でもある。

取得部３０は、オブジェクト図形が外接矩形の場合、以下に例示するパラメータ１〜１２（以下、ｐｒｍ１〜ｐｒｍ１２と表記）のうち１以上のパラメータの値をリズム情報として取得する。また、取得部３０は、オブジェクト図形が外接矩形以外の図形の場合、以下に例示するｐｒｍ１〜ｐｒｍ６のうち１以上のパラメータをリズム情報として取得する。なお、ｐｒｍ１〜ｐｒｍ１２における所定時間は、例えば、オブジェクト図形の形状の変化の周期を基準とする時間（例えば１周期）である。また、ｐｒｍ７−１〜ｐｒｍ９−２における長辺及び短辺は、ある基準時刻（例えば、１周期の最初）の長さに基づいて決定する。また、単に、便宜上、Ｙ軸方向（若しくはＸ軸方向）を長辺として決めておいてもよい。
（オブジェクト図形＝外接矩形及び外接矩形以外の図形）
ｐｒｍ１：所定時間内における外接矩形の最大面積と最小面積の差
ｐｒｍ２：所定時間内における外接矩形の最大面積と最小面積の面積比
ｐｒｍ３−１：所定時間内における外接矩形の平均面積と最大面積の差
ｐｒｍ３−２：所定時間内における外接矩形の平均面積と最小面積の差
ｐｒｍ４−１：所定時間内における外接矩形の平均面積と最大面積の面積比
ｐｒｍ４−２：所定時間内における外接矩形の平均面積と最小面積の面積比
ｐｒｍ５：所定時間内における外接矩形の面積の分布状況（例：標準偏差）
ｐｒｍ６：所定時間内における外接矩形の面積の変化の周期
ｐｒｍ７−１：所定時間内における外接矩形の長辺の最大変化量
ｐｒｍ７−２：所定時間内における外接矩形の短辺の最大変化量
ｐｒｍ８−１：所定時間内における外接矩形の長辺の分布状況（例：標準偏差）
ｐｒｍ８−２：所定時間内における外接矩形の短辺の分布状況（例：標準偏差）
ｐｒｍ９−１：所定時間内における外接矩形の長辺の変化の周期
ｐｒｍ９−２：所定時間内における外接矩形の短辺の変化の周期
ｐｒｍ１０：所定時間内における外接矩形の縦横比の最大変化量
ｐｒｍ１１：所定時間内における外接矩形の縦横比の分布状況（例：標準偏差）
ｐｒｍ１２：所定時間内における外接矩形の縦横比の変化の周期

以下、取得部３０によるリズム情報の取得について、図５を用いて具体的に説明する。図５（ａ）は、抽出部２０によって逐次抽出された外接矩形の一例である。図５（ａ）に示す外接矩形Ｅ_１、Ｅ_２、Ｅ_３は、図３に示す外接矩形Ｅ_１、外接矩形Ｅ_２、外接矩形Ｅ_３を示している。また、図５（ｂ）は、取得部３０によって測定される外接矩形Ｅ_１、Ｅ_２、Ｅ_３のサイズである。なお、図５（ａ）の「周期」は、被写体（鞄を持って歩いている人物）のオブジェクト図形（Ｏ_１−１、Ｏ_２−１、Ｏ_３−１）の形状の変化の周期を示している。即ち、鞄を持って歩いている人物は、時刻ｔ_１〜時刻ｔ_４（時刻ｔ_５〜時刻ｔ_８、時刻ｔ_９〜時刻ｔ_１３、…）を１周期として周期的な動作をしている。

取得部３０は、図５（ｂ）に示す各値を算出し、予め決めておいた１以上のパラメータを算出し、算出した各パラメータの値を要素とする数値群を、被写体（鞄を持って歩いている人物）のリズム情報として取得する。例えば、取得部３０は、ｐｒｍ２、６、７−１、７−２、１０を算出し、数値群（ｐｒｍ２、ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０）を、被写体（鞄を持って歩いている人物）のリズム情報として取得する。

なお、取得部３０は、後に、オブジェクト同士の比較をし易いように、算出した各パラメータの値を適宜丸めてもよいし、他の値に置き換えてもよい（スコア化してもよい）。

取得部３０は、取得したリズム情報を記憶部４０に記憶する。例えば、取得部３０は、図５（ｃ）に示すように、識別情報に対応付けてリズム情報を記憶する。なお、識別情報は、リズム情報を特定するインデックスであって、例えば、図５（ｃ）に示すように、当該リズム情報に係るオブジェクトを識別する識別情報であってもよい。また、図５（ｃ）における、内容は、当該リズム情報の内容（若しくは、当該オブジェクトの内容）を説明する情報であって、例えば、電子機器１が備える操作部（非図示）を介して、ユーザによって入力されたものである。

以下、フローチャートを用いて、電子機器１の動作を説明する。図６は、電子機器１の動作の一例を示すフローチャートである。
抽出部２０は、動画像からオブジェクトを抽出する（ステップＳ１０）。抽出部２０は、抽出したオブジェクトの領域を示すオブジェクト図形を抽出し（ステップＳ１２）、一時記憶する。

抽出部２０は、１周期分のオブジェクト図形を抽出したか否かを判断する（ステップＳ１４）。抽出部２０は、１周期分のオブジェクト図形を未だ抽出していないと判断した場合（ステップＳ１４：Ｎｏ）、ステップＳ１０に戻る。即ち、抽出部２０は、オブジェクト図形の変化に周期性を見つける迄、ステップＳ１０、Ｓ１２を繰り返す。

一方、抽出部２０は、１周期分のオブジェクト図形を抽出したと判断した場合（ステップＳ１４：Ｙｅｓ）、取得部３０は、一時記憶した１周期分のオブジェクト図形に基づいて、リズム情報を取得し（ステップＳ１６）、取得したリズム情報を記憶部４０に記憶する。そして本フローチャートは終了する。

なお、図６に示すフローチャートは、逐次撮像される動画像から、リズム情報の取得に必要な分（即ち、１周期分）のオブジェクト図形を抽出（記憶）した場合に、抽出したオブジェクト図形を用いてリズム情報を取得するという態様、即ち、撮像中に、リズム情報を取得するという態様における動作を示すものである。但し、リズム情報を取得する態様は、撮像中に取得するという態様に限定されない。例えば、抽出部２０が、逐次撮像される動画像の全体を記憶部に記憶した後に、取得部３０が、動画像の全体の中の１周期分のオブジェクト図形に基づいて、リズム情報を取得するようにしてもよい。

以上、電子機器１によれば、オブジェクト自体を示す数値であるリズム情報を当該オブジェクトから簡便に取得することができる。また、数値によって表されるリズム情報を用いてオブジェクト同士を簡便に比較することができる。更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。

なお、本発明の一実施形態による電子機器１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器１の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…電子機器、１０…撮像部、２０…抽出部、３０…取得部、４０…記憶部

Claims

撮像部と、
前記撮像部によって撮像された動画像からオブジェクトの領域を示す図形であるオブジェクト図形を抽出する抽出部と、
前記抽出部によって抽出された一のオブジェクトの前記オブジェクト図形の面積の変化量、又は、前記面積の変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得する取得部と
を備えることを特徴とする電子機器。
請求項１に記載の電子機器において、
前記抽出部は、
オブジェクトに外接する外接矩形を前記オブジェクト図形として抽出することを特徴とする電子機器。
請求項２に記載の電子機器において、
前記取得部は、
前記オブジェクト図形として抽出された前記外接矩形の面積の変化量、又は、前記面積の変化の周期に代えて又は加えて、前記外接矩形の縦横比の変化量、又は、前記縦横比の変化の周期を、前記リズム情報として取得することを特徴とする電子機器。
撮像部と、
前記撮像部によって撮像された動画像から、オブジェクトに外接する外接矩形をオブジェクトの領域を示す図形であるオブジェクト図形として抽出する抽出部と、
前記抽出部によって一のオブジェクトの前記オブジェクト図形として抽出された前記外接矩形の長辺又は短辺の長さの変化量、又は、前記長さの変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得する取得部と
を備えることを特徴とする電子機器。
請求項４に記載の電子機器において、
前記取得部は、
前記外接矩形の長辺又は短辺の長さの変化量、又は、前記長さの変化の周期に代えて又は加えて、前記外接矩形の縦横比の変化量、又は、前記縦横比の変化の周期を前記リズム情報として取得することを特徴とする電子機器。
動画像から当該動画像内のオブジェクトの時間的な変化を示すリズム情報を取得する電子機器における前記リズム情報の取得方法であって、
前記電子機器の抽出手段が、動画像からオブジェクトの領域を示す図形であるオブジェクト図形を抽出し、
前記電子機器の取得手段が、前記抽出手段によって抽出された一のオブジェクトの前記オブジェクト図形の面積の変化量、又は、前記面積の変化の周期を、当該オブジェクトの時間的な変化を示すリズム情報として取得することを特徴とする取得方法。