JP2006244424A - 映像シーン分類方法及び装置及びプログラム - Google Patents

Abstract

【課題】 被写体などの映像内容に関する事前知識がない場合でも映像シーンを分類できるようにする。
【解決手段】 本発明は、映像をカメラワークが発生した単位で分割し、シーン区間に対応する代表画像を映像を取得して、該シーン区間の代表画像について、被写体各部のカメラとの距離に対応する画像奥行分布を抽出し、画像奥行分布を予め設定された判断閾値を用いて判定することにより映像シーンを分類し、シーンラベル（ロングショット・ミディアムショット・ターゲットショット）を付与して出力する。
【選択図】 図１

Description

本発明は、映像シーン分類方法及び装置及びプログラムに係り、特に、大量の映像コンテンツを効率よく扱えるようにすることを目的に、映像に含まれる特徴量を抽出し、特徴量に応じて映像を分類する映像シーン分類方法及び装置及びプログラムに関する。

映像に含まれる特徴量を抽出し、特徴量に応じて映像を分類する第１の従来技術として、映画を対象に、１カットの時間長の頻度分布及び、画像の濃度や音響の時間変化を特徴量として、映像をコメディ、ホラー、アクションムービー等のジャンルに分類する方法がある（例えば、非特許文献１参照）。

また、第２の従来技術として、スポーツ映像を対象にカメラワークの種別毎の頻度を特徴量として映像を競技種目別に分類する方法がある（例えば、非特許文献２参照）。

また、第３の従来技術として、映像から代表画像を選択し、代表画像のテキスチャー特徴、Gabor係数、オプティカルフローなどの特徴量を統合し、事前に用意した学習データとの類似度に基づいて、海、山、ビル、人を撮影したシーンに映像を分類する方法がある（例えば、非特許文献３参照）。

さらに、第４の従来技術として、画像から抽出した色ヒストグラムやエッジ特徴を抽出し、事前に用意した学習データとの類似度に基づいて、街の画像と風景の画像に分類する方法がある（例えば、非特許文献４参照）。
Zeeshan Rasheed, Mubarak Shah, "Movie genre classification by exploiting audio-visual features of previewers", 16th International Conference on Pattern Recognition (ICPR 2002), pp. 1086-1089,2002 服部、高木、小館、富永、"映像特徴に基づく自動映像分類システムの提案"、情報処理学会オーディオビジュアル複合情報処理研究会資料、Vol. 36-4, 2002 Jingchum Liu, Bir Bhanu, "Learning semantic visual concepts from video", 16th International Conference on Pattern Recognition (ICPR 2002), pp. 1061-1064, 2002 Aditya Vailaya, Anil Jain, Hong Zhang, "On image classification City image VS. Landscapes", Pattern Recognition, Vol. 31, No. 12, pp.1921-1935, 1998

上記第１の従来技術では、スポーツ映像、第２の従来技術では映画映像を分類対象としており、分類対象の映像内容が特定できることが前提となっている。このような場合は対象とする映像の特徴を分析し、それに応じて分類に有効な特徴量と分類するためのルールを作成することができる。

また、第３の従来技術や第４の従来技術では、分類カテゴリに属する画像が入手できることを前提に、事前に用意した学習データに対して適切に分類できる特徴量を抽出しているので、学習データを収集したときと同様の映像が入力されることを前提としている。

このように、従来技術では、分類対象の映像内容が既知であることが前提となっている。

しかし、個人が撮影したホームビデオのような映像を分類対象とする場合には、被写体が特定できないため、事前に有効な特徴量や分類ルールを求めたり、学習データを収集することが困難であるという問題がある。

本発明は、上記の点に鑑みなされたもので、被写体などの映像内容に関する事前知識がない場合でも映像シーンを分類できる映像シーン分類方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、入力された映像を分類する映像シーン分類方法において、
映像をカメラワークが発生した単位で分割するシーン区間検出ステップ（ステップ１）と、
シーン区間に対応する代表画像を映像を格納した記憶手段から取得して、該シーン区間の代表画像について、被写体各部のカメラとの距離に対応する画像奥行分布を抽出する奥行分布検出ステップ（ステップ２）と、
奥行分布検出ステップで検出された画像奥行分布を判定することにより映像シーンを分類し、シーンラベルを付与して記憶手段に格納するシーン分類ステップ（ステップ３）と、を行う。

また、本発明（請求項２）は、シーン分類ステップ（ステップ３）において、
画像奥行分布のパターンに応じた分類カテゴリを予め記憶手段に設定しておき、分類対象の映像シーンの奥行分布がどのカテゴリに類似しているかを判定することで分類する。

また、本発明（請求項３）は、シーン分類ステップ（ステップ３）において、
予め設定しておく分類カテゴリとして、「奥行分布のばらつきが小さい映像シーン」をカテゴリとして設定しておく。

また、本発明（請求項４）は、シーン分類ステップ（ステップ３）において、
予め設定しておく分類カテゴリとして、分類対象の映像シーンの奥行分布に対するクラスタリング処理を行った結果、奥行が最も小さいクラスタのデータ数が所定の閾値以上である」をカテゴリとして設定しておく。

図２は、本発明の原理構成図である。

本発明（請求項５）は、入力された映像を分類する映像シーン分類装置であって、
映像をカメラワークが発生した単位で分割するシーン区間検出手段２と、
シーン区間に対応する代表画像を、映像を格納した記憶手段５から取得して、該シーン区間の代表画像について、被写体各部のカメラとの距離に対応する画像奥行分布を抽出する奥行分布検出手段３と、
奥行分布検出手段３で検出された画像奥行分布を判定することにより映像シーンを分類し、シーンラベルを付与して記憶手段に格納するシーン分類手段４と、を有する。

また、本発明（請求項６）は、シーン分類手段４において、
画像奥行分布のパターンに応じた分類カテゴリが予め設定されたメモリと、
メモリの分類カテゴリを参照して、分類対象の映像シーンの奥行分布がどのカテゴリに類似しているかを判定することで分類する手段を含む。

また、本発明（請求項７）は、メモリにおいて、予め設定しておく分類カテゴリとして、「奥行分布のばらつきが小さい映像シーン」が設定される。

また、本発明（請求項８）は、メモリにおいて、予め設定しておく分類カテゴリとして、「分類対象の映像シーンの奥行分布に対するクラスタリング処理を行った結果、奥行が最も小さいクラスタのデータ数が所定の閾値以上である」が設定される。

本発明（請求項９）は、入力された映像を分類する映像シーン分類プログラムであって、
入力された映像、各手段における動作の出力データを格納する記憶手段と、
予め設定された分類カテゴリを記憶するメモリと、を有するコンピュータに、
請求項１乃至４記載の映像シーン分類方法を実現するための処理を実行させるプログラムである。

上記のように、本発明では、分類のための特徴量として画像の色や濃度情報を直接反映した特徴量ではなく、画像の奥行分布に着目する。奥行分布を特徴量とすることで、被写体によらずに、映像シーンを遠景画像、街や屋内などの遠近のある画像、特定の対象物を撮影した画像などに分類することができる。このような分類を行うことで、例えば、旅行で撮影した大量の映像を、風景などを撮影した遠景シーン、遠近のある街や屋内などのシーン、人物や建物を中心に撮影したシーンなどに分類して表示でき、所望のシーンを容易に検索することができるようになる。

本発明における奥行分布による分類を行うことにより、被写体などの映像内容に関する事前知識がない場合でも、被写体によらずに映像シーンを遠景画像、街や屋内などの遠近のある画像、特定の対象物を撮影した画像などに分類できるようになり、大量の映像から所望のシーンを容易に検索することができ、その実用的な効果は多大である。例えば、分類対象の映像コンテンツの各シーン毎に種類情報（風景、人物のアップ等）を事前にシステムに入力しなくても分類が可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における装置構成図である。

同図に示す装置は、映像読込み部１、シーン区間検出部２、奥行分布検出部３、奥行分布判定部４、データ管理部５、映像情報提示部６から構成される。

映像読込み部１は、入力された映像を読み取り、シーン区間検出部２とデータ管理部５に出力する。

シーン区間検出部２は、映像読込み部１から受け取った映像からシーン区間を検出し、シーン区間情報として区間の最初と最後を示す情報（例えば、映像のフレーム番号）を奥行分布検出部３とデータ管理部５に出力する。また、映像を奥行分布検出部３に出力する。

奥行分布検出部３は、シーンの代表画像として、例えば、シーン区間の中央の時刻における画像を選択し、代表画像における奥行分布を求め、奥行分布判定部４に出力する。

奥行分布判定部４は、奥行分布検出部３で求めた奥行分布からシーンの分類を行う。分類結果をシーンラベルとして、データ管理部５に出力する。なお、当該奥行分布判定部４は、分類カテゴリをメモリ（図示せず）に格納しておき、当該分類カテゴリを参照して、シーンラベルを付与するものとする。

データ管理部５は、映像読込み部１から取得した映像、シーン区間検出部２から取得したシーン区間情報、奥行分布判定部４から取得したシーンラベル、映像情報提示部６から取得した付加情報を格納し、映像情報提示部６からの要求に応じて必要な情報を出力する。

映像情報提示部６は、データ管理部５に格納されている映像をモニタなどに表示する。利用者の要求に応じて、シーンラベル毎に分類して映像を提示する等の処理を行う。また、映像に関するタイトルやコメントなどの付加情報を受け付け、それをデータ管理部５に転送する。

映像情報提示部６での表示の例を図４に示す。同図では、奥行分布判定部４で付与するシーンラベルとして、カテゴリに分類されたものをロングショット、ターゲットショット、ミディアムショット、カメラワークのない映像シーンにはカメラ静止ショットというシーンラベルを付与し、４種類のシーンラベル毎に、分類された映像シーンの代表画像を一覧表示したものである。なお、付加情報としてタイトルや日付は利用者により付与されているものとする。ここで、ロングショットとは、予め設定しておくカテゴリに、奥行分布のばらつきが小さい映像シーンを指す。また、ターゲットショットとは、予め設定しておくカテゴリに、分類対象の映像シーンの奥行分布に対するクラスタリング処理を行った結果、奥行が最も小さいクラスタのデータ数が閾値以上であるものを指す。ミディアムショットとは、ログショット、ターゲットショットのいずれでもないショットを指す。

次に、上記の構成における処理手順と各処理の具体的な方法を説明する。

図５は、本発明の一実施の形態における全体の処理のフローチャートである。

ステップ２０１） 映像読込み部１において、映像を読み込む。

ステップ２０２） シーン区間検出部２において、映像読込み部１から入力された映像について、パンやズームなどのカメラ操作を行った区間を検出し、カメラワークの開始点と終了点を区切りとしてシーン区間を定義する。

ここで、図６に示す映像を例としてシーン定義の方法を説明する。

図６に示す映像では、カメラワーク区間として、Ｃ１ｓからＣ１ｅまで、Ｃ２ｓからＣ２ｅまで、Ｃ３ｓからＣ３ｅまで、の３つの区間が検出される。区切りの時刻Ｃ１ｓ，Ｃ１ｅ，Ｃ２ｓ，Ｃ２ｅ，Ｃ３ｅの中で同じ時刻を削除したものをシーン区間の区切りとして、時間的に連続するようにシーンの開始点と終了点を決めると、シーン１〜シーン４までが定義できる。シーン区間がＮ個の場合に、ｎ番目のシーンをＳｎ，ｎ＝１，２、…Ｎとする。これらのシーン区間をデータ管理部５に登録する。

ステップ２０３） ｎ＝１に設定する。

ステップ２０４） 奥行分布検出部５は、各シーン区間に基づいて、データ管理部５から当該シーン区間に対応する代表画像を選定し、代表画像における奥行分布を算出する。代表画像は例えば、シーン区間の中央の時刻における画像を選定すればよい。

代表画像における奥行分布の算出方法として、カメラを並進移動させた場合には、各フレーム画像から、ＥＰＩ(Epipolar Plane Image)を作成し、ＥＰＩ上に確認される明度勾配の軌跡を抽出して、軌跡の傾きから奥行情報を算出する方法がよく知られている。カメラ移動として並進のみの等速運動であることが前提となっているが、ハンディカメラで普通に撮影された映像に適用できるように補正する方法が開発されており（参考文献：中川、斉藤、小沢、“ハンディカメラを用いて撮影された画像列からのＥＰＩの補正に基づく室内環境３次元再構築”、電子情報通信学会論文誌、Vol. J84-D-II, No.2, pp.266-275, 2001）、この方法で代表画像のエッジ上の各点の奥行分布が算出できる。

ここで、カメラの焦点距離が未知の場合は、代表画像における被写体上の点とカメラまでの絶対的な距離を算出することはできないが、エッジ上の各点の相対的な奥行分布は算出できる。

また、別の方法として、カメラを移動させてｍ枚の画像を取り込んだときに、被写体上のｎ個の各画像に射影される位置と、実際に得られる画像での位置とのユークリッド距離の自乗和を評価関数Ｃとし、この評価関数Ｃが最小となるときのカメラ回転運動量や並進移動量、及び、カメラを中心とした座標系における被写体上の点の位置を，適当な初期値を設定し、最急降下法やニュートン法の反復法で求める方法がある（参考文献：辻三郎、徐剛、“３次元ビジョン”、共立出版、pp.128-130,2001）。

ここで、ｆ^ｊはｊ（ｊ＝１，２，…，ｍ）番目の画像の焦点距離、（ｕ_ｉ ^ｊ，ｖ_ｉ ^ｊ）はｊ番目の画像におけるｉ（ｉ＝１，２，…，ｎ）番目の点の座標、（Ｘ_ｉ ^ｊ，Ｙ_ｉ ^ｊ，Ｚ_ｉ ^ｊ）はｊ番目の画像のカメラ座標系におけるｉ番目の点の３次元位置である。

この方法を用いることでも前者の方法と同様の奥行分布が得られる。

なお、本実施の形態では、カメラワークがないシーン区間に対しては奥行分布を算出しないものとする。

ステップ２０５） 奥行分布判定部４は、奥行分布検出部３から奥行情報を取得すると、代表画像の奥行分布に対して分類処理を行い、予めメモリ（図示せず）に設定された分類カテゴリを参照して、分類結果に応じたシーンラベルを付与する。

奥行分布が算出されていない場合については、本実施の形態では、図４のように、「静止カメラショット」のラベルを付与する。奥行分布を分類するための判定方法については後述する。

ステップ２０６） 全てのシーン区間に対してステップ２０４とステップ２０５の処理を行ったかを判定し、行っている場合には処理を終了し、行っていない場合にはステップ２０７に移行する。

ステップ２０７） シーン番号を更新し、次のシーン区間についてステップ２０４を実行する。

最後に、上記のステップ２０５での奥行分布を分類するための判定方法について説明する。

図７は、本発明の一実施の形態における奥行分布による画像分類の処理手順のフローチャートである。

なお、ステップ３０２は、予めメモリ（図示せず）に設定しておくカテゴリとして、「奥行分布のばらつきが小さい映像シーン」というカテゴリを設定するものであり、請求項３，７に対応する。ステップ３０５は、予めメモリ（図示せず）に設定しておくカテゴリとして、「分類対象の映像シーンの奥行分布に対するクラスタリング処理を行った結果、奥行が最も小さいクラスタのデータ数が閾値以上である」というカテゴリを設定するものであり、請求項４，８に対応する。

ステップ３０１） 奥行分布判定部４は、シーンの代表画像に対して求められた奥行分布を奥行き読み込む分布検出部３から取得する。代表画像上のＭ個の特徴点について求めた奥行をｄｍ，ｍ＝１，２，…，Ｍとする。

ステップ３０２） 奥行分布のばらつきが小さいかを判定する。Ｍ個の奥行ｄｍの変動係数を求め、変動係数が、予めメモリに設定されている閾値より小さいときは、ばらつきが小さいとしてステップ３０３の処理を実行する。閾値以上のときにはステップ３０４の処理を実行する。

ステップ３０３） シーン区間に対して「ロングショット」のシーンラベルを付与する。本処理を実行するときは、ステップ３０２において、奥行分布が均一な映像シーンと判定された場合であり、図８に示す代表画像Ａのような遠景シーンが該当すると考えられる。

ステップ３０４） Ｍ個の奥行ｄｍ，ｍ＝１，２，…，Ｍに対して、距離が近いもの（設定しておいた閾値以下のもの）をグルーピングするクラスタリング処理を行う。

ステップ３０５） ステップ３０４で得られた各クラスタの中でクラスタ中心の奥行最小のクラスタを検出し、このクラスタに属するデータ数と奥行を算出した数Ｍとの比を求め、これがメモリに予め設定されている閾値以上の場合は、ステップ３０６の処理を行い、ない場合は、ステップ３０７の処理を実行する。

ステップ３０６） 「ターゲットショット」のシーンラベルを付与する。本処理を実行するときは、ステップ３０５において、カメラに最も近いところに大きな被写体がある映像シーンと判定された場合であり、図８に示す代表画像Ｂのようなシーンが該当すると考えられる。

ステップ３０７） 「ミディアムショット」のシーンラベルを付与する。本処理を実行するときには、奥行分布が大きいものから小さいものまで含む映像シーンの場合であり、図８に示す代表画像Ｃのようなシーンが該当すると考えられる。

以上述べた処理により、被写体などの映像内容に関する事前知識がない場合でも、大量の映像を効率的に扱うための映像シーン分類を行うことができる。

なお、上記の図５、図７に示す動作をプログラムとして構築し、コンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像シーンの分類技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における装置構成図である。 本発明の一実施の形態における映像情報提示部での表示例である。 本発明の一実施の形態における全体の処理のフローチャートである。 本発明の一実施の形態における映像情報提示部での表示例である。 本発明の一実施の形態における奥行分布による画像分類の処理手順のフローチャートである。 本発明の一実施の形態における代表画像の奥行分布の例である。

符号の説明

１ 映像読込み部
２ シーン区間検出手段、シーン区間検出部
３ 奥行分布検出手段、奥行分布検出部
４ シーン分類手段、奥行分布判定部
５ 記憶手段、データ管理部
６ 映像情報提示部

Claims (9)

1. 入力された映像を分類する映像シーン分類方法において、
   前記映像をカメラワークが発生した単位で分割するシーン区間検出ステップと、
   前記シーン区間に対応する代表画像を映像を格納した記憶手段から取得して、該シーン区間の代表画像について、被写体各部のカメラとの距離に対応する画像奥行分布を抽出する奥行分布検出ステップと、
   前記奥行分布検出ステップで検出された前記画像奥行分布を判定することにより映像シーンを分類し、シーンラベルを付与して記憶手段に格納するシーン分類ステップと、
   を行うことを特徴とする映像シーン分類方法。
2. 前記シーン分類ステップにおいて、
   前記画像奥行分布のパターンに応じた分類カテゴリを予め記憶手段に設定しておき、分類対象の映像シーンの奥行分布がどのカテゴリに類似しているかを判定することで分類する、
   請求項１記載の映像シーン分類方法。
3. 前記シーン分類ステップにおいて、
   予め設定しておく前記分類カテゴリとして、「奥行分布のばらつきが小さい映像シーン」をカテゴリとして設定しておく、
   請求項２記載の映像シーン分類方法。
4. 前記シーン分類ステップにおいて、
   予め設定しておく前記分類カテゴリとして、分類対象の映像シーンの奥行分布に対するクラスタリング処理を行った結果、奥行が最も小さいクラスタのデータ数が所定の閾値以上である」をカテゴリとして設定しておく
   請求項２記載の映像シーン分類方法。
5. 入力された映像を分類する映像シーン分類装置であって、
   前記映像をカメラワークが発生した単位で分割するシーン区間検出手段と、
   前記シーン区間に対応する代表画像を、映像を格納した記憶手段から取得して、該シーン区間の代表画像について、被写体各部のカメラとの距離に対応する画像奥行分布を抽出する奥行分布検出手段と、
   前記奥行分布検出手段で検出された前記画像奥行分布を判定することにより映像シーンを分類し、シーンラベルを付与して記憶手段に格納するシーン分類手段と、
   を有することを特徴とする映像シーン分類装置。
6. 前記シーン分類手段は、
   前記画像奥行分布のパターンに応じた分類カテゴリが予め設定されたメモリと、
   前記メモリの前記分類カテゴリを参照して、分類対象の映像シーンの奥行分布がどのカテゴリに類似しているかを判定することで分類する手段を含む、
   請求項５記載の映像シーン分類装置。
7. 前記メモリは、
   予め設定しておく前記分類カテゴリとして、「奥行分布のばらつきが小さい映像シーン」が設定される
   請求項６記載の映像シーン分類装置。
8. 前記メモリは、
   予め設定しておく前記分類カテゴリとして、「分類対象の映像シーンの奥行分布に対するクラスタリング処理を行った結果、奥行が最も小さいクラスタのデータ数が所定の閾値以上である」が設定される
   請求項６記載の映像シーン分類装置。
9. 入力された映像を分類する映像シーン分類プログラムであって、
   入力された映像、各手段における動作の出力データを格納する記憶手段と、
   予め設定された分類カテゴリを記憶するメモリと、を有するコンピュータに、
   前記請求項１乃至４記載の映像シーン分類方法を実現するための処理を実行させることを特徴とする映像シーン分類プログラム。

Images