JP2019212068A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】動画における物体の登場時刻を示すタグ情報を効率的に作成し、該タグ情報に基づいて動画を管理する。【解決手段】本発明に係る情報処理装置は、動画を取得する取得部と、前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出する画像抽出部と、抽出した前記フレーム画像に含まれる物体を検出する検出部と、検出した前記物体の特徴量を抽出する特徴量抽出部と、抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を動画ごとにデータベースに登録する登録部と、を備えることを特徴とする。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、動画（映像コンテンツ）に登場する人物の顔画像の一覧を表示することで、動画全体の中のどの時間帯にどの人物が登場するのかをユーザに提示する電子機器が開示されている。

特開２０１０−１０３８４３号公報

特許文献１に例示されている電子機器は、動画の中から例えば等間隔でフレーム画像を抽出し、該フレーム画像に含まれる人物を検出する。しかし、動画のジャンルや録画時間の長さ等は様々である。このため、複数の動画に対して同一の条件でフレーム画像を抽出すると、処理効率が悪くなってしまう場合があった。

そこで、本発明は、上述の課題に鑑み、動画における物体の登場時刻を示すタグ情報を効率的に作成し、該タグ情報に基づいて動画を管理できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一つの観点によれば、動画を取得する取得部と、前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出する画像抽出部と、抽出した前記フレーム画像に含まれる物体を検出する検出部と、検出した前記物体の特徴量を抽出する特徴量抽出部と、抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録する登録部と、を備える情報処理装置が提供される。

本発明の他の観点によれば、検索対象物を含む検索用画像の入力を受け付ける受付部と、受け付けた前記検索用画像から前記検索対象物を検出する検出部と、検出した前記検索対象物の第１特徴量を抽出する特徴量抽出部と、動画を構成するフレーム画像に含まれる物体の第２特徴量に対して前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとに予め記憶するデータベースの中から、前記第１特徴量に合致する前記第２特徴量に関連付けされた前記タグ情報を検索する検索部と、を備える情報処理装置が提供される。

本発明の他の観点によれば、動画を取得するステップと、前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出するステップと、抽出した前記フレーム画像に含まれる物体を検出するステップと、検出した前記物体の特徴量を抽出するステップと、抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録するステップと、を備える情報処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、動画を取得するステップと、前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出するステップと、抽出した前記フレーム画像に含まれる物体を検出するステップと、検出した前記物体の特徴量を抽出するステップと、抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録するステップと、を実行させるプログラムが提供される。

本発明によれば、動画における物体の登場時刻を示すタグ情報を効率的に作成し、該タグ情報に基づいて動画を管理できる情報処理装置、情報処理方法及びプログラムを提供することができる。

第１実施形態に係る情報処理システムの全体構成の一例を示す図である。 第１実施形態に係る情報処理システムの機能ブロック図である。 第１実施形態に係る情報処理装置が記憶する画像抽出条件の一例を示す図である。 第１実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る情報処理装置により行われる登録処理の一例を示すフローチャートである。 第１実施形態に係るタグ情報の登録画面の一例を示す図である。 第１実施形態に係る情報処理装置においてフレーム画像から顔領域を検出する一例を示す図である。 第１実施形態に係る情報処理装置において登録されたタグ情報の一例を示す図である。 第１実施形態に係る情報処理装置により行われる検索処理の一例を示すフローチャートである。 第１実施形態に係るタグ情報の検索画面の一例を示す図（１）である。 第１実施形態に係るタグ情報の検索画面の一例を示す図（２）である。 第１実施形態に係るタグ情報の検索結果表示画面の一例を示す図である。 第２実施形態に係る情報処理装置の機能ブロック図である。 第３実施形態に係る情報処理装置の機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
本実施形態に係る情報処理システム１の構成について、図１乃至図４を参照しつつ説明する。本実施形態の情報処理システム１は、動画の編集作業や解析作業の支援に用いられるシステムである。情報処理システム１は、例えば、テレビジョン放送局、番組制作会社等の放送用動画編集を行う機関において編集者の業務支援のために用いられる。編集者は、予め撮影された動画の一部の削除、複数の動画の結合等の編集作業を行い、放送用動画を作成する。

図１は、本実施形態に係る情報処理システム１の全体構成の一例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０及び動画管理サーバ２０から構成されたコンピュータシステムであり、各装置はネットワークＮＷを介してユーザ端末３０に接続されている。情報処理装置１０は、ユーザ端末３０から登録要求が入力されると、動画管理サーバ２０に記憶されている動画を読み込むとともに、該動画における物体（例えば人間等の被写体）の登場時刻等を含むタグ情報を動画に付して後述するデータベース部１７に登録するコンピュータである。

また、情報処理装置１０は、ユーザ端末３０から検索対象物の画像（以下、「検索用画像」という。）を含む検索要求が入力されると、検索対象物から抽出した特徴量をキーとしてデータベース部１７に記憶されたタグ情報を検索する。動画管理サーバ２０は、ユーザ端末３０からネットワークＮＷを介してアップロードされた動画、あるいはディスクやビデオテープ等の記録媒体から読み込まれた動画を保管するアーカイブサーバ等のコンピュータである。

ユーザ端末３０は、例えば、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ等のコンピュータであり、ユーザＰが情報処理装置１０に対して動画のタグ情報の登録及び検索等を要求するために用いられる。

なお、本実施形態においては、情報処理装置１０及び動画管理サーバ２０をそれぞれ独立に設けているが、これらの装置は一体のコンピュータにより実装されてもよい。また、後述する情報処理装置１０及び動画管理サーバ２０の機能の一部は、別のコンピュータにより実装されてもよい。

図２は、情報処理システム１の機能ブロック図である。図２に示すように、情報処理装置１０は、受付部１１と、動画取得部１２と、画像抽出部１３と、顔検出部１４と、顔特徴量抽出部１５と、タグ情報登録部１６と、データベース部１７と、タグ情報検索部１８と、周期設定部１９とを備える。

受付部１１は、ユーザ端末３０から入力された情報を受け付け、該情報に応じた処理を各部に要求する。ユーザ端末３０から入力される情報としては、タグ情報の登録要求及び検索要求に関するコマンドデータ、動画読込条件、ユーザの認証情報（権限情報）、画像抽出条件の設定データ等が挙げられる。

動画取得部１２は、ユーザ端末３０から入力された動画読込条件及びユーザの認証情報（権限情報）に基づいて、動画管理サーバ２０から動画を取得し、該動画を画像抽出部１３へ出力する。

画像抽出部１３は、動画の属性情報に応じて予め設定された周期で、動画からフレーム画像を抽出する。本実施形態における動画の属性情報とは、動画のジャンルや録画時間の長さ等、動画（コンテンツ）の性質を示す情報をいう。なお、本実施形態においては、動画の属性情報は動画管理サーバ２０に動画を保管する際に、動画の所有者や動画管理サーバ２０の管理者等により予め入力されているものとする。

顔検出部１４は、画像抽出部１３で抽出したフレーム画像に含まれる人物の顔領域を検出する。検出方法としては、公知の検出技術を用いることができる。例えば、顔の輪郭、顔の色、顔の部位（目、鼻、口、耳など）の特徴点を抽出して、データベース等に予め格納された特徴点とのマッチングにより検出する手法や、顔画像の特徴を学習させたニューラルネットワークを用いて検出する手法等が知られている。

顔特徴量抽出部１５は、顔検出部１４で検出した人物の顔領域の特徴量（以下、「顔特徴量」という。）を抽出する。顔特徴量とは、例えば、目、鼻、口、耳といった特徴的な部位の位置等の顔の特徴を示す量であり得る。特徴量の抽出方法としては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded up robust features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）等の公知の抽出技術を用いることができる。

タグ情報登録部１６は、顔特徴量抽出部１５で抽出した顔特徴量に対して、人物が検出されたフレーム画像の表示時刻（タイムスタンプ情報）等を関連付けたタグ情報を動画ごとにデータベース部１７に登録する。すなわち、タグ情報は、ある動画内における登場人物の顔特徴量と該人物の登場時刻（動画の先頭フレーム画像を起点として、該当フレーム画像が表示されるまでの時間）との関係を定義する情報である。

データベース部１７は、動画管理サーバ２０から取得した動画をタグ情報とともに記憶する。元の動画とタグ情報は、動画を識別する動画ＩＤによって関連付けされている。また、データベース部１７は、画像抽出部１３において動画からフレーム画像を抽出する周期（抽出時間間隔）を、動画の属性情報（コンテンツの性質）と関連付けて画像抽出条件として記憶している。

図３は、情報処理装置１０（データベース部１７）が記憶する画像抽出条件の一例を示す図である。図３（Ａ）では、動画の属性情報が動画のジャンル情報である場合を示している。ジャンル情報としては、［ニュース／報道、スポーツ、バラエティ、ドラマ／映画、音楽］が例示されている。図３（Ａ）における周期は、想定され得る登場人物の数、撮影場所、更新頻度、画面の切り替え頻度等を総合的に考慮してジャンルごとに予め設定されている。例えば、ジャンル情報が“ニュース／報道”である場合には、動画からフレーム画像を抽出する周期（抽出時間間隔）は１０秒間隔に設定されている。このため、放送される動画のフレームレートが３０フレーム／秒の場合には、３００フレームごとに動画からフレーム画像が抽出されることになる。これに対し、ジャンル情報が“スポーツ”である場合には、“ニュース／報道”の場合よりも動画内での登場人物が頻繁に変わることを考慮して、周期は１秒間隔に短縮して設定されている。このため、放送される動画のフレームレートが３０フレーム／秒の場合には、３０フレームごとに動画からフレーム画像が抽出されることになる。これにより、ジャンル情報に合わせた適切な周期で動画からフレーム画像を抽出できる。

また、図３（Ｂ）では、動画の属性情報が動画の録画時間Ｔ（分）の長さである場合を示している。録画時間Ｔは、長さに応じた分類［Ｔ≦１０、１０＜Ｔ≦２０、２０＜Ｔ≦４０、４０＜Ｔ≦６０、６０＜Ｔ≦８０］が例示されている。図３（Ｂ）における周期は、録画時間が長いほど長く設定されている。例えば、録画時間Ｔが１０分以下の動画の場合には、周期は０．５（秒）に設定されている。しかし、録画時間Ｔが６０分を超え、かつ、８０分以下の動画の場合には、周期は３．０（秒）に延長して設定されている。これにより、録画時間が長い動画に対する抽出処理の負荷を低減できる。なお、動画のタグ情報の登録を要求する際、ユーザが画像抽出条件としてジャンル情報と録画時間の長さのどちらを優先して使用すべきかを指定できると好適である。

タグ情報検索部１８は、顔特徴量抽出部１５において検索用画像に含まれる検索対象人物（検索対象物）の顔領域の顔特徴量（第１特徴量）が抽出されたとき、動画を構成するフレーム画像に含まれる人物の顔領域の顔特徴量（第２特徴量）対して照合を行い検索する。なお、第２特徴量は、動画におけるフレーム画像の表示時刻（すわなち、人物の登場時刻）と関連付けたタグ情報とともに動画ごとに予めデータベース部１７に記憶されている。タグ情報検索部１８は、照合の結果、第１特徴量に合致する第２特徴量に関連付けされたタグ情報を検索する。そして、タグ情報検索部１８は、ネットワークＮＷを介してユーザ端末３０へ検索結果を出力する。さらに、タグ情報検索部１８は、ユーザ端末３０へ出力した検索結果を受けて、ユーザ端末３０側から受付部１１を介してダウンロード要求の入力を受けると、検索対象人物（検索対象物）の登場シーン全体の長さに対応するフレーム区間の長さの編集用動画（元の動画から切り出した動画）をユーザ端末３０へ出力する。なお、タグ情報検索部１８は、ユーザ端末３０において検索対象人物の登場時刻から指定されたフレーム区間の長さの編集用動画をユーザ端末３０へ出力することもできる。

周期設定部１９は、ユーザ端末３０からの入力情報に基づいて抽出周期を任意に設定する。抽出周期は、例えばデータベース部１７に記憶される。周期設定部１９によって抽出周期が設定された場合、画像抽出部１３は、動画の属性情報に応じて予め設定された周期に代えて、ユーザにより設定された抽出周期で動画からフレーム画像を抽出する。これにより、動画の属性情報に応じて設定された周期とは異なる抽出周期をユーザが手動で設定できるため、ユーザの希望条件に適合する抽出処理が可能となる。図３（Ａ）の例では、ジャンル情報が“スポーツ”の場合には、周期は１秒である。しかし、例えば１対１で競うスポーツのように動画における登場人物が限られることが想定できる場合には、ユーザは周期を例えば３秒のように延長して設定できる。同様に、ユーザは周期を短縮して設定することもできる。

また、図２に示すように、動画管理サーバ２０は、データ送受信部２１と、データ読取部２２と、データ登録部２３と、動画保管部２４とを備える。

データ送受信部２１は、情報処理装置１０及びユーザ端末３０との間でデータの送受信を行う。本実施形態において送受信されるデータとしては、動画データ、や動画データのアップロード要求等が挙げられる。

データ読取部２２は、ディスクやビデオテープ等の記録媒体Ｍを読取装置（不図示）によって読み込み、作成した動画データ（デジタルデータ）をデータ登録部２３に出力する。

データ登録部２３は、データ送受信部２１又はデータ読取部２２より取得した動画データに、動画データを識別する動画ＩＤを付して記憶装置である動画保管部２４に記憶する。なお、動画データは、所定のデータ形式でアーカイブされた状態で動画保管部２４に記憶されてもよい。

図４は、情報処理装置１０のハードウェア構成例を示すブロック図である。なお、動画管理サーバ２０のハードウェア構成は、情報処理装置１０と同様であるため、説明を省略する。図４に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信インタフェース（Ｉ／Ｆ（Interface））１０５、入力装置１０６、出力装置１０７、及び表示装置１０８を有している。各機器は、共通のバスライン１０９に接続されている。

ＣＰＵ１０１は、情報処理装置１０の全体の動作を制御する。また、ＣＰＵ１０１は、ＨＤＤ１０４等に記憶されたプログラムをＲＡＭ１０３にロードして実行する。これにより、ＣＰＵ１０１は、上述の受付部１１、動画取得部１２、画像抽出部１３、顔検出部１４、顔特徴量抽出部１５、タグ情報登録部１６、タグ情報検索部１８、周期設定部１９としての機能を実現する。

ＲＯＭ１０２は、ブートプログラム等のプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワーキングエリアとして使用される。

また、ＨＤＤ１０４は、情報処理装置１０における処理結果及びＣＰＵ１０１により実行される各種のプログラムを記憶する記憶装置である。記憶装置は、不揮発性であればＨＤＤ１０４に限定されない。記憶装置は、例えばフラッシュメモリ等であってもよい。ＨＤＤ１０４は、上述のデータベース部１７としての機能を実現する。

通信Ｉ／Ｆ１０５は、ネットワークＮＷに接続された機器との間のデータ通信を制御する。通信Ｉ／Ｆ１０５は、ＣＰＵ１０１とともに、上述の受付部１１としての機能を実現する。

入力装置１０６は、例えば、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム１を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。また、入力装置１０６は、表示装置１０８に組み込まれたタッチパネルであってもよい。情報処理装置１０のユーザは、入力装置１０６を介して、情報処理装置１０の設定の入力、処理の実行指示の入力等を行える。

出力装置１０７は、ＣＰＵ１０１からの制御信号に従って、処理結果等の情報を出力する装置である。出力装置１０７は、例えば、スピーカやプリンタ等を用いることができる。

表示装置１０８は、ＣＰＵ１０１からの制御信号に従って、処理結果等の情報を表示する装置である。表示装置１０８は、例えば、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インタフェース等の表示に用いられる。

なお、図４に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されてもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

続いて、本実施形態に係る情報処理装置１０の作用及び効果について図５乃至１２を参照しつつ説明する。

図５は、情報処理装置１０により行われる登録処理の一例を示すフローチャートである。この処理は、例えばユーザ端末３０からタグ情報の登録要求が入力された場合に開始される。また、図５の説明においては、動画の属性情報としてはジャンル情報のみを使用する場合を例示する。

ステップＳ１０１において、動画取得部１２は、受付部１１において受け付けた登録要求に含まれる動画ＩＤに基づいて動画管理サーバ２０から登録対象の動画を読み込む。

図６は、ユーザ端末３０において表示されるタグ情報の登録画面の一例を示す図である。この登録画面は、例えば情報処理システム１側のＷＥＢサイトにユーザ端末３０がログインすることで表示される。ここでは、画面の上部にユーザを識別するユーザＩＤと、ユーザＩＤに対応するユーザ名が表示されている。また、画面の中央部には、ユーザＩＤとログインパスワード等の認証情報に基づいて動画管理サーバ２０を検索することで取得された動画一覧が表示されている。そして、ユーザが動画一覧の中からタグ情報を登録（タグ付け）したい動画を選択し、登録ボタンを押下すると、タグ情報の登録要求が情報処理装置１０に対して送信される。なお、登録対象として選択できる動画の数は、単数には限られないし、複数でもよい。

ステップＳ１０２において、画像抽出部１３は、動画の属性情報を取得する。本実施形態においては、動画の属性情報は動画管理サーバ２０に動画を保管する際に予め入力されているため、属性情報は、動画とともに取得される。

ステップＳ１０３において、画像抽出部１３は、取得した動画の属性情報に対応する周期でフレーム画像を動画から抽出する。図３（Ａ）の例では、動画のジャンル情報（属性情報）が“ニュース／報道”の場合には、周期は１０秒であるため、１０秒間に相当するフレーム数ごとに動画からフレーム画像を抽出する。なお、図６のようにジャンル情報（ニュース/報道、バラエティ、音楽）は事前に入力されていてもいいし、追加バリエーションとして動画の内容から自動でジャンル情報を分類してもいい。

ステップＳ１０４において、顔検出部１４は、フレーム画像内で人物の顔領域を検出したか否かを判定する。ここで、顔検出部１４が、人物の顔領域を検出したと判定した場合（ステップＳ１０４：ＹＥＳ）には、処理はステップＳ１０５へ移行する。これに対し、顔検出部１４が、人物の顔領域を検出していないと判定した場合（ステップＳ１０４：ＮＯ）には、処理はステップＳ１１１に移行する。

ステップＳ１０５において、顔特徴量抽出部１５は、顔検出部１４が検出した顔領域から顔特徴量を抽出する。図７は、情報処理装置１０においてフレーム画像から顔領域を検出する一例を示す図である。ここでは、動画から抽出したフレーム画像Ｆの中で登場人物Ｐ_０００１の顔領域Ａが検出されている。この場合、顔領域Ａに含まれる目、鼻、口等の部位の特徴点に基づいて顔特徴量が算出される。

ステップＳ１０６において、顔検出部１４は、同一人物を所定のフレーム数以上連続して検出したか否かを判定する。ここで、顔検出部１４が、同一人物を所定のフレーム数以上で連続して検出したと判定した場合（ステップＳ１０６：ＹＥＳ）には、処理はステップＳ１０７に移行する。これに対し、顔検出部１４が、同一人物を所定のフレーム数以上で連続して検出していないと判定した場合（ステップＳ１０６：ＮＯ）には、処理はステップＳ１１１に移行する。

ステップＳ１０７において、顔検出部１４は、フレーム画像において検出された人物が新たな登場人物か否かを判定する。具体的には、顔検出部１４は、ステップＳ１０５において新たに抽出された顔特徴量と先のフレーム画像について抽出済みの顔特徴量とを照合する。そして、顔検出部１４は、顔特徴量の誤差が所定の閾値以下の場合には、同一人物と判定し、閾値未満の場合には別の人物と判定する。

顔検出部１４が、検出した人物が新たな登場人物であると判定した場合（ステップＳ１０７：ＹＥＳ）には、処理はステップＳ１０８に移行する。これに対し、顔検出部１４が、検出した人物が新たな登場人物ではないと判定した場合（ステップＳ１０７：ＮＯ）には、処理はステップＳ１０９に移行する。

ステップＳ１０８において、タグ情報登録部１６は、顔特徴量が抽出された新たな登場人物に対し、登場人物ＩＤを新規に発行する。このとき、タグ情報登録部１６は、顔特徴量と登場人物ＩＤの組み合わせをＲＡＭ１０３等の記憶領域に記憶する。

ステップＳ１０９において、タグ情報登録部１６は、動画における表示時刻が先のフレーム画像の処理において発行済みの登場人物ＩＤを記憶領域の中から取得する。

ステップＳ１１０において、タグ情報登録部１６は、人物の顔特徴量に対して、登場人物ＩＤ、動画における人物の登場時刻、該登場時刻に対応するフレーム番号、動画を識別する動画ＩＤ等を関連付けたタグ情報を登録する。

図８は、情報処理装置１０において登録されたタグ情報の一例を示す図である。ここでは、動画ＩＤ、検出顔画像、顔特徴量、登場人物ＩＤ、フレーム番号、登場時刻等がデータ項目として例示されている。例えば、顔特徴量が“［顔特徴量Ｄ１］”の登場人物の場合には、登場人物ＩＤは“Ｐ＿０００１”、フレーム番号は“Ｆ＿００００１５０”、登場時刻は“［登場時刻ｔ１］”である。

同様に、顔特徴量が“［顔特徴量Ｄ２］”の登場人物の場合には、登場人物ＩＤは“Ｐ＿０００２”、フレーム番号は“Ｆ＿００００１５０”、登場時刻は“［登場時刻ｔ１］”である。すなわち、フレーム番号“Ｆ＿００００１５０”のフレーム画像には、二人の人物（“Ｐ＿０００１”、“Ｐ＿０００２”）が登場していることが分かる。また、登場人物“Ｐ＿０００２”は、フレーム番号“Ｆ＿０００３５６８”においても再度登場している。

なお、図８の例では、同一人物と判定された人物の顔特徴量が同じ値である場合を示しているが、登場シーンによっては同一人物であっても抽出される顔特徴量に若干の誤差が生じる場合が考えられる。誤差が所定の閾値以下であるとき場合には、各顔特徴量に対して共通の登場人物ＩＤが関連付けされる。これにより、同一人物に関するタグ情報を登場人物ＩＤによりグループ化できる。

ステップＳ１１１において、画像抽出部１３は、動画に対するフレーム画像の抽出が終了したか否かを判定する。すなわち、動画の先頭フレームから最終フレームまで登場人物の検索が完了したか否かを判定する。ここで、画像抽出部１３が、フレーム画像の抽出は終了したと判定した場合（ステップＳ１１１：ＹＥＳ）には、処理は終了する。これに対し、画像抽出部１３が、フレーム画像の抽出は終了していないと判定した場合（ステップＳ１１１：ＮＯ）には、処理はステップＳ１０３に移行する。

図９は、情報処理装置１０により行われる検索処理の一例を示すフローチャートである。この処理は、例えばユーザ端末３０からタグ情報の検索要求が入力された場合に開始される。検索要求には、ユーザ端末３０において指定された検索用画像や動画作成日等の検索条件が含まれるものとする。

ステップＳ２０１において、受付部１１は、ユーザ端末３０において指定された検索対象人物の検索用画像等の検索条件を取得する。

図１０及び図１１は、ユーザ端末３０に表示されるタグ情報の検索画面の一例を示す図である。図１０及び図１１の検索画面は、例えば情報処理システム１側のＷＥＢサイトにユーザ端末３０がログインすることで表示される。ここでは、画面の上部にユーザを識別するユーザＩＤと、ユーザＩＤに対応するユーザ名が表示されている。また、画面の中央部には、情報処理装置１０に記憶されているタグ情報を検索するための検索条件の入力欄が表示されている。図１０の例では、検索条件は検索対象人物を含む検索用画像（顔画像）のファイルと、動画作成日の二つを検索条件として指定でき、検索用画像のファイルの指定は必須であることが示されている。

これに対し、図１１の例では、検索条件として複数の人物の検索用画像を指定でき、検索方式としてＡＮＤ条件あるいはＯＲ条件を指定できることが示されている。検索方式としてＡＮＤ条件が指定された場合には、二人の人物が同時に登場するフレーム画像を含む動画を検索できる。検索方式としてＯＲ条件が指定された場合には、二人の人物のうち、少なくとも一人が登場するフレーム画像（登場シーン）を含む動画を検索できる。なお、図１０及び図１１において、検索対象となる動画は複数でいい。また、検索用画像のファイルの指定を必須にはせずに、データベース部１７に含まれている動画の中で、指定された作成日が対象となる動画であれば複数を検索対象としてもいい。

ステップＳ２０２において、顔検出部１４は、ステップＳ２０１で取得された検索用画像の中から検索対象人物の顔領域を検出する。

ステップＳ２０３において、顔特徴量抽出部１５は、ステップＳ２０２で検出された顔領域から顔特徴量を抽出すると、タグ情報検索部１８へ顔特徴量を出力する。

ステップＳ２０４において、タグ情報検索部１８は、顔特徴量と、検索用画像以外で指定された検索条件とに基づいてデータベース部１７のタグ情報を検索する。検索対象となる動画は複数でもいい。また、データベース部１７に含まれている動画の中で、指定された作成日が対象となる動画であれば複数を検索対象としていい。

ステップＳ２０５において、タグ情報検索部１８は、データベース部１７の中に該当するタグ情報が存在するか否かを判定する。すなわち、タグ情報検索部１８は、検索対象人物が登場する動画のタグ情報の有無を判定する。ここで、タグ情報検索部１８が、該当するタグ情報が存在すると判定した場合（ステップＳ２０５：ＹＥＳ）には、処理はステップＳ２０６に移行する。これに対し、タグ情報検索部１８が、該当するタグ情報は存在しないと判定した場合（ステップＳ２０５：ＮＯ）には、処理はステップＳ２０７に移行する。

なお、検索用画像から検索対象人物について抽出された顔特徴量は、データベース部１７において同一人物について記憶されている顔特徴量と完全に一致しない場合も考えられる。このような場合、タグ情報検索部１８は、誤差が所定の閾値の範囲内、すなわち、類似の範囲であれば同一人物に関するタグ情報とみなして検索結果に含めるものとする。

ステップＳ２０６において、タグ情報検索部１８は、検索対象人物が登場する動画のタグ情報のリストをユーザ端末３０へ出力する。

図１２は、タグ情報の検索結果表示画面の一例を示す図である。ここでは、図１０及び図１１に示した検索画面と同様に、画面の上部にユーザＩＤとユーザ名が表示されている。また、画面の中央部には、検索画面において指定された検索条件が表示されている。そして、画面の下部には、検索条件に基づいてデータベース部１７を検索することで取得された動画一覧が検索結果として表示されている。

図１２の動画一覧には、動画ＩＤ、登場時刻、及び動画をダウンロードするための実行ボタンが含まれている。また、検索結果Ｎｏ．１及びＮｏ．２に示すように、顔画像ＩＭＧ＿００１の人物は、保存されている動画（動画ＩＤ：ｖｉｄｅｏ＿００１）とは髪型は異なっているが、顔画像ＩＭＧ＿００１から抽出された顔特徴量に基づいて図８において顔特徴量が［顔特徴量Ｄ２］の人物（登場人物ＩＤ：Ｐ＿０００２）と同一人物であると判定されている。

なお、図１２の例では、検索結果の中に登場時刻、すなわち、人物の登場シーンの先頭フレーム画像の表示時刻に関する項目が記載されている。しかし、ダウンロードの実行ボタンが押下された際には、タグ情報検索部１８により、人物の登場シーンの先頭フレーム画像を起点とした、人物の登場シーン全体の長さに対応するフレーム区間でユーザ端末３０にダウンロード（出力）されると好適である。また、動画の中から抽出するフレーム区間の長さを、人物の登場時刻のフレーム画像を起点として、ユーザが指定できるようにしてもよい。この場合、例えば、人物の登場時刻から１分間のようにフレーム区間の長さを指定することで、タグ情報検索部１８により、編集作業に必要な時間長で動画（編集用動画）を切り出すこともできる。さらに、タグ情報検索部１８により、動画ＩＤ単位で複数の登場シーンを纏めてユーザ端末３０にダウンロード（出力）可能としてもよい。

ステップＳ２０７において、タグ情報検索部１８は、検索対象人物が登場する動画は存在しないメッセージをユーザ端末３０へ出力する。

本実施形態に係る情報処理装置１０によれば、動画における物体の登場時刻を示すタグ情報を効率的に作成し、該タグ情報に基づいて動画を管理できる。これにより、大量の動画データ（動画ファイル）が保存されている場合でも、検索対象人物の顔画像を指定するだけで、検索対象人物が登場する動画の識別情報と、該動画における登場時刻の情報を短時間で取得できる。例えば、番組編集作業の過程で、過去に放送された大量のテレビ番組のデータの中から、ある俳優の登場シーンが必要になったような場合であっても、迅速に検索することが可能になる。

また、本実施形態に係る情報処理装置１０が監視用動画の解析作業に適用される場合には、動画の中に登場する人物の顔特徴量と人物の登場時刻がタグ情報として記録されているため、特定の人物の行動等も容易に把握できる。同様に、社員の顔特徴量を事前にデータベースに登録しておいた場合には、データベースに登録されていない人物のみを監視用動画の中から抽出することもできる。

［第２実施形態］
図１３は、本実施形態に係る情報処理装置４０の機能ブロック図である。図１３に示すように、情報処理装置４０は、取得部４１と、画像抽出部４２と、検出部４３と、特徴量抽出部４４と、登録部４５とを備える。

取得部４１は、動画を取得する。画像抽出部４２は、動画の属性情報に応じて予め設定された周期で、動画からフレーム画像を抽出する。検出部４３は、画像抽出部４２で抽出したフレーム画像に含まれる物体を検出する。特徴量抽出部４４は、検出部４３で検出した物体の特徴量を抽出する。登録部４５は、特徴量抽出部４４で抽出した特徴量に対して、動画におけるフレーム画像の表示時刻を関連付けたタグ情報をデータベースに登録する。

上述のように、本実施形態に係る情報処理装置４０によれば、動画における物体の登場時刻を示すタグ情報を効率的に作成し、該タグ情報に基づいて動画を管理できる。

［第３実施形態］
図１４は、第３実施形態に係る情報処理装置５０の機能ブロック図である。図１４に示すように、情報処理装置５０は、受付部５１と、検出部５２と、特徴量抽出部５３と、検索部５４とを備える。

受付部５１は、検索対象物を含む検索用画像の入力を受け付ける。検出部５２は、受付部５１で受け付けた検索用画像から検索対象物を検出する。特徴量抽出部５３は、検出部５２で検出した検索対象物の第１特徴量を抽出する。検索部５４は、動画を構成するフレーム画像に含まれる物体の第２特徴量に対して動画におけるフレーム画像の表示時刻を動画ごとに関連付けたタグ情報を動画ごとに予め記憶するデータベースの中から、第１特徴量に合致する第２特徴量に関連付けされたタグ情報を検索する。

上述のように、本実施形態に係る情報処理装置５０によれば、大量の動画データ（動画ファイル）が保存されている場合でも、検索対象物の画像を指定するだけで、検索対象物が登場する動画の識別情報と、動画における物体の登場時刻とを短時間で取得できる。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述した第１実施形態においては、検出対象の物体（被写体）が人体の顔部分の場合について説明したが、検出対象は人体の一部には限られない。例えば、人体の全部を対象としてもよい。また、動植物、車両、建築物等の人体以外の物体にも本発明の構成を適用できる。

また、ジャンル情報は、ユーザ端末３０から動画管理サーバ２０へ動画をアップロードする際や、動画管理サーバ２０の管理者が動画を登録する際に手動で入力されているものとした。しかし、ジャンル情報を登録する方法はこれらに限られない。動画からサンプリングしたフレーム画像と所定の分類条件とに基づいて動画のジャンルを自動的に認識して設定する機能を情報処理装置１０が備えてもよい。

また、上述の第１実施形態においては、1つの動画に対しては１つのジャンル情報が設定されている前提で説明した。しかし、１つの動画に対して複数のジャンル情報が時間帯ごとに設定されている場合には、動画の途中で抽出時間間隔（周期）を変更してもよい。すなわち、画像抽出部１３は、動画を構成するフレーム画像の区間にそれぞれ対応するジャンル情報が異なる場合に、フレーム画像の抽出処理の周期を区間ごとに切り換えるように構成してよい。なお、図６のようにジャンル情報（ニュース/報道、バラエティ、音楽）は事前に入力されていてもいいし、追加バリエーションとして動画の内容から自動でジャンル情報を分類してもいい。

また、上述の第１実施形態において示したタグ情報はあくまで一例であり、フレーム画像における顔領域のサイズ、顔領域や目の座標等をタグ情報に含めてもよい。例えば、顔検出部１４がフレーム画像における顔領域のサイズや座標等に基づいて、登場人物として検出すべきか否かを判定できるように構成してもよい。この場合、フレーム画像の中に人物が含まれていても、所定のサイズ以下の人物や後ろを向いている人物等については、タグ情報を作成しないように制御できるため、処理効率が向上する利点がある。

また、上述の実施形態においては、動画が予め動画管理サーバ２０に記憶されている場合に、登録要求に応じて動画を取得してタグ情報を作成するものとした。しかし、タグ情報を登録するタイミングはこれに限られない。例えば、動画を動画管理サーバ２０にアップロードしたタイミングで自動的にタグ情報を作成する処理を開始してもよい。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
動画を取得する取得部と、
前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出する画像抽出部と、
抽出した前記フレーム画像に含まれる物体を検出する検出部と、
検出した前記物体の特徴量を抽出する特徴量抽出部と、
抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録する登録部と、
を備えることを特徴とする情報処理装置。

（付記２）
前記物体は、人体の一部又は全部である
ことを特徴とする付記１に記載の情報処理装置。

（付記３）
前記属性情報は、前記動画のジャンル情報を含み、
前記周期は、前記ジャンル情報ごとに予め設定される
ことを特徴とする付記１又は２に記載の情報処理装置。

（付記４）
前記画像抽出部は、前記動画を構成する前記フレーム画像の区間にそれぞれ対応する前記ジャンル情報が異なる場合に、前記フレーム画像の抽出処理の前記周期を前記区間ごとに切り換える
ことを特徴とする付記３に記載の情報処理装置。

（付記５）
前記属性情報は、前記動画の録画時間の長さを含み、
前記周期は、前記録画時間が長いほど長く設定される
ことを特徴とする付記１又は２に記載の情報処理装置。

（付記６）
検索用画像の入力を受け付ける受付部と、
受け付けた前記検索用画像に含まれる検索対象物について前記特徴量抽出部により抽出された前記特徴量に基づいて、前記データベースの前記タグ情報を検索する検索部と、
をさらに備えることを特徴とする付記１乃至５のいずれかに記載の情報処理装置。

（付記７）
前記検索部は、前記検索対象物の登場シーン全体の長さに対応するフレーム区間の長さの編集用動画を出力する
ことを特徴とする付記６に記載の情報処理装置。

（付記８）
前記検索部は、前記検索対象物の登場時刻から指定されたフレーム区間の長さの編集用動画を出力する
ことを特徴とする付記６に記載の情報処理装置。

（付記９）
抽出周期を設定する周期設定部をさらに備え、
前記画像抽出部は、前記周期に代えて、前記抽出周期で前記動画から前記フレーム画像を抽出する
ことを特徴とする付記１乃至８のいずれかに記載の情報処理装置。

（付記１０）
検索対象物を含む検索用画像の入力を受け付ける受付部と、
受け付けた前記検索用画像から前記検索対象物を検出する検出部と、
検出した前記検索対象物の第１特徴量を抽出する特徴量抽出部と、
動画を構成するフレーム画像に含まれる物体の第２特徴量に対して前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとに予め記憶するデータベースの中から、前記第１特徴量に合致する前記第２特徴量に関連付けされた前記タグ情報を検索する検索部と、
を備えることを特徴とする情報処理装置。

（付記１１）
前記検索部は、前記検索対象物の登場シーン全体の長さに対応するフレーム区間の長さの編集用動画を出力する
ことを特徴とする付記１０に記載の情報処理装置。

（付記１２）
前記検索部は、前記検索対象物の登場時刻から指定されたフレーム区間の長さの編集用動画を出力する
ことを特徴とする付記１０に記載の情報処理装置。

（付記１３）
動画を取得するステップと、
前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出するステップと、
抽出した前記フレーム画像に含まれる物体を検出するステップと、
検出した前記物体の特徴量を抽出するステップと、
抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録するステップと、
を備えることを特徴とする情報処理方法。

（付記１４）
コンピュータに、
動画を取得するステップと、
前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出するステップと、
抽出した前記フレーム画像に含まれる物体を検出するステップと、
検出した前記物体の特徴量を抽出するステップと、
抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録するステップと、
を実行させることを特徴とするプログラム。

１・・・情報処理システム
１０，４０，５０・・・情報処理装置
１１・・・受付部
１２・・・動画取得部（取得部）
１３・・・画像抽出部
１４・・・顔検出部
１５・・・顔特徴量抽出部（特徴量抽出部）
１６・・・タグ情報登録部（登録部）
１７・・・データベース部
１８・・・タグ情報検索部（検索部）
１９・・・周期設定部
２０・・・動画管理サーバ
２１・・・データ送受信部
２２・・・データ読取部
２３・・・データ登録部
２４・・・動画保管部
３０・・・ユーザ端末
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・ＨＤＤ
１０５・・・通信Ｉ／Ｆ
１０６・・・入力装置
１０７・・・出力装置
１０８・・・表示装置
１０９・・・バスライン

Claims (14)

1. 動画を取得する取得部と、
   前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出する画像抽出部と、
   抽出した前記フレーム画像に含まれる物体を検出する検出部と、
   検出した前記物体の特徴量を抽出する特徴量抽出部と、
   抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録する登録部と、
   を備えることを特徴とする情報処理装置。
2. 前記物体は、人体の一部又は全部である
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記属性情報は、前記動画のジャンル情報を含み、
   前記周期は、前記ジャンル情報ごとに予め設定される
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像抽出部は、前記動画を構成する前記フレーム画像の区間にそれぞれ対応する前記ジャンル情報が異なる場合に、前記フレーム画像の抽出処理の前記周期を前記区間ごとに切り換える
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記属性情報は、前記動画の録画時間の長さを含み、
   前記周期は、前記録画時間が長いほど長く設定される
   ことを特徴とする請求項１又は２に記載の情報処理装置。
6. 検索用画像の入力を受け付ける受付部と、
   受け付けた前記検索用画像に含まれる検索対象物について前記特徴量抽出部により抽出された前記特徴量に基づいて、前記データベースの前記タグ情報を検索する検索部と、
   をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記検索部は、前記検索対象物の登場シーン全体の長さに対応するフレーム区間の長さの編集用動画を出力する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記検索部は、前記検索対象物の登場時刻から指定されたフレーム区間の長さの編集用動画を出力する
   ことを特徴とする請求項６に記載の情報処理装置。
9. 抽出周期を設定する周期設定部をさらに備え、
   前記画像抽出部は、前記周期に代えて、前記抽出周期で前記動画から前記フレーム画像を抽出する
   ことを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
10. 検索対象物を含む検索用画像の入力を受け付ける受付部と、
    受け付けた前記検索用画像から前記検索対象物を検出する検出部と、
    検出した前記検索対象物の第１特徴量を抽出する特徴量抽出部と、
    動画を構成するフレーム画像に含まれる物体の第２特徴量に対して前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとに予め記憶するデータベースの中から、前記第１特徴量に合致する前記第２特徴量に関連付けされた前記タグ情報を検索する検索部と、
    を備えることを特徴とする情報処理装置。
11. 前記検索部は、前記検索対象物の登場シーン全体の長さに対応するフレーム区間の長さの編集用動画を出力する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記検索部は、前記検索対象物の登場時刻から指定されたフレーム区間の長さの編集用動画を出力する
    ことを特徴とする請求項１０に記載の情報処理装置。
13. 動画を取得するステップと、
    前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出するステップと、
    抽出した前記フレーム画像に含まれる物体を検出するステップと、
    検出した前記物体の特徴量を抽出するステップと、
    抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録するステップと、
    を備えることを特徴とする情報処理方法。
14. コンピュータに、
    動画を取得するステップと、
    前記動画の属性情報に応じて予め設定された周期で、前記動画からフレーム画像を抽出するステップと、
    抽出した前記フレーム画像に含まれる物体を検出するステップと、
    検出した前記物体の特徴量を抽出するステップと、
    抽出した前記特徴量に対して、前記動画における前記フレーム画像の表示時刻を関連付けたタグ情報を前記動画ごとにデータベースに登録するステップと、
    を実行させることを特徴とするプログラム。

Images