JP2019103042A - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】人物が撮影された動画データと、当該人物との対応付けを容易に行うことが可能な仕組みを提供すること。【解決手段】人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定する。次に、人物がフレームインしたフレームから、人物がフレームアウトしたフレームまでのフレームから、人物を特定するための情報を特定する。そして、特定された情報を用いることで特定される人物と、動画データとを対応付けて登録する。【選択図】図６

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、人物が撮影された動画データと、当該人物との対応付けを容易に行うことが可能な仕組みに関する。

従来、動画の中から一部の動画を切り出すためには、ユーザが、その動画の映像を確認しながら、動画の切り出し位置を手入力して指定し、切り出すということが行われていた。

特許文献１は、ユーザが、一連の動画を確認しながら、切取開始時間、切取終了時間を操作キーから手入力して指定し、動画データからの切取処理を行うことが記載されている。

特開２０１０−１７８０１０号公報

ところで、例えば、学生の卒業アルバムとしての学生毎の動画データを生成するサービスが考えられる。例えば、このようなサービスにおいて、効率的に複数の学生を撮影するために、１つのカメラが撮影を開始し、学生Ａが当該カメラの撮影範囲に入ってきて一言コメントを言い、その後、学生Ａが撮影範囲から出て、撮影を止めることなく、次の学生Ｂが当該カメラの撮影範囲に入ってきて一言コメントを言うようにして、各学生の動画を含む１つの動画ファイルを生成するケースが考えられる。

すなわち、１つのカメラが、複数の学生が入れ替わり撮影範囲に入ってきて一言コメントを言う各学生の撮影を継続して行い、各学生の動画を含む１つの動画ファイルを生成するケースが考えられる。

このようにして撮影して得られた１つの動画ファイルから、従来、ユーザは、当該１つの動画ファイルの映像を確認しながら、切取開始時間、切取終了時間を手入力して指定することで、学生ごとに、当該学生が映っている動画ファイルを作成していた。

そうして作成された各動画ファイルに映っている学生が、それぞれ誰であるかを紐づけるために、ユーザは学生の顔写真付きの学生名簿等に映っている学生の顔を確認しながら、動画ファイルに学生の名前を紐づけて登録する必要があり、作業が煩雑であった。

この作業の煩雑さを軽減するために、撮影を学籍番号順に行い、かつ、学籍番号順に並べられた学生の情報（名前、学籍番号等）を含むＣＳＶ（Ｃｏｍｍａ−Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）を用意した上で、動画ファイルの生成順に、ＣＳＶに含まれる学生の情報を学籍番号順に対応付けるということが考えられる。

しかしながら、上述した対応付けを行うと、撮影当日に欠席者がいた場合に、欠席者分の動画ファイルがないため、欠席者の学籍情報が欠席者の次の学生の動画ファイルに対応づく恐れがあった。

本発明は、人物が撮影された動画データと、当該人物との対応付けを容易に行うことが可能な仕組みを提供することを目的とする。

本発明は、人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段と、前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定手段と、前記情報特定手段により特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録手段とを備えることを特徴とする。

また、本発明は、物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段を備える情報処理装置の制御方法であって、前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定工程と、前記情報特定手段により特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録工程とを備えることを特徴とする。

また、本発明は、人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段を備える情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定手段と、前記情報特定手段により特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録手段として機能させることを特徴とする。

本発明によると、人物が撮影された動画データと、当該人物との対応付けを容易に行うことができる。

本発明の情報処理システムのシステム構成の一例を示すである。 本発明の実施形態におけるＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。 動画の各フレームと、ファイルの始点３０２、ファイルの終点３０３、ＩＮ点３０４、ＯＵＴ点３０５との位置（時間）の関係を示す図の一例である。 動画編集画面の一例を示す図である。 本実施形態の動画編集に係る処理を示すフローチャートの一例である。 本実施形態の動画編集に係る処理を示すフローチャートの一例を示す図である。 各種リストの一例を示す図である。 氏名入力画面の一例を示す図である。 複数のユーザ（例えば、学生）が入れ替わり撮影され得られた、複数の学生の動画を含む１つの動画ファイル９０１の概念図の一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

図１は、本発明の情報処理システムのシステム構成の一例を示すである。

ＰＣ１０１は、本発明の情報処理装置の適用例であり、デスクトップパソコン、ノートパソコン、タブレットＰＣ等のＰＣである。

また、カメラ１０４は、動画及び写真を含む静止画を撮影することが可能なデジタルカメラ、又はデジタルビデオカメラである。カメラ１０４は、ＰＣ１０１と、有線又は無線通信により相互にデータを送受信する機能を備えている。そのため、カメラ１０４は、カメラ１０４で撮影された動画の動画ファイル（動画データとも呼ぶ）を、ＰＣ１０１に、当該有線又は無線通信により送信して、ＰＣ１０１のメモリ等の記憶手段に記録することができる。

また、カメラ１０４は、ＳＤカード等の可搬型メモリ（携帯記録媒体）を装着可能であり、カメラ１０４で撮影された動画の動画ファイルを当該可搬型メモリに記録する機能を備えている。

カメラ１０４の撮像範囲（撮影範囲）は、椅子１０５に座った被写体（人物１０３）を撮影することができる撮像範囲である。

カメラ１０４は、ユーザによる撮影指示を受け付けると、カメラ１０４は、動画（映像）の撮影を開始する。また、カメラ１０４は、当該撮影された動画、及び静止画を、通信を介してＰＣ１０１の記憶手段に記憶するか、当該可搬型メモリに記録する。可搬型メモリに記憶した場合には、カメラ１０４から当該可搬型メモリを取り出して、ＰＣ１０１に当該取り出した可搬型メモリを装着して、当該可搬型メモリに記憶された動画、及び静止画を、ＰＣ１０１のメモリにコピー（展開）する。

このようにして、ＰＣ１０１は、カメラ１０４で撮影された動画、及び静止画を取得することができる。

カメラ１０４が動画の撮影を開始した後に、カメラ１０４の撮像範囲に人物（ユーザ）が入ってきて人物が椅子１０５に座る。そして、人物が、一言コメントを言う。

そして、椅子１０５に座っていた人物（ユーザ）が立ち、カメラ１０４の撮像範囲外に移動しフレームアウトすることとなる。

そして、撮影を止めることなく、次の異なる人物が、カメラ１０４の撮像範囲に入ってきて椅子１０５に座り、同様の動作を行うこととなる。このように、複数の学生が入れ替わり撮影範囲に入ってきて一言コメントを言うことで、カメラ１０４は、複数の学生の動画を含む１つの動画ファイルを生成し、当該生成された動画ファイルをＰＣ１０１の記憶手段が記憶することとなる。

図９は、複数のユーザ（例えば、学生）が入れ替わり撮影され得られた、複数の学生の動画を含む１つの動画ファイル９０１（動画データ）の概念図の一例を示す図である。

図９に示すように、複数の学生の動画を含む１つの動画ファイル９０１には、木屋野太郎さんの一言コメント付きの動画９０２が含まれており、そのあとに、木屋野次郎さんの一言コメント付きの動画９０３が含まれており、そのあとに、木屋野三郎さんの一言コメント付きの動画９０４が含まれており、そのあとに、木屋野四朗さんの一言コメント付きの動画９０５が含まれていることを示している。

また、ＰＣ１０１の記憶手段（メモリ）には、予め、被写体の人物リスト７０１（図７）が記憶されており、この人物リスト７０１に示される順番で、撮影が行われる。

人物リスト７０１に示すように、１番目には、木屋野太郎さんが示されており、２番目には、木屋野次郎さんが示されており、３番目には、木屋野三郎さんが示されており、４番目には、木屋野四朗さんが示されており、５番目には、木屋野五朗さんが示されている。

次に、図３を用いて、本発明の情報処理システムの基本的な動作について説明する。図３は、動画の各フレームと、ファイルの始点３０２、ファイルの終点３０３、ＩＮ点３０４、ＯＵＴ点３０５との位置（時間）の関係を示す図の一例である。

説明を簡単にするために、図３に示すファイルの始点３０２とＩＮ点３０４との間のフレーム３０８は１つのみを示しているが、複数のフレームが含まれていてもよい。また、同様に、ＯＵＴ点３０５とファイルの終点３０３との間にはフレーム３０７だけではなく複数のフレームが含まれていてもよい。

ファイルの始点３０２は、人物を検出できなかったフレーム３０８と、人物を検出できたと判定されたフレーム３０６との間の位置（時間）に設定される。

ファイルの終点３０３は、最後に人物を検出できたと判定されたフレーム３０７と、人物を検出できなくなったフレーム３０９との間の位置（時間）に設定される。

ＩＮ点３０４は、人物の音声を検知し、その音声のボリュームが所定の値に到達する所定時間前（例えば１秒前）に設定される。

ＯＵＴ点３０５は、人物の音声のボリュームが所定の値より小さくなった所定時間後（例えば１秒後）に設定される。

そして動画ファイル生成時には、ＩＮ点３０４、ＯＵＴ点３０５の位置で動画を切り取り、氏名（ユーザ）ごとの動画ファイルを生成する。

これにより、ユーザが動画の映像を確認しながら、動画の切り出し位置を手入力して指定し、切り出し処理を行う手間を削減することが可能となる。

図３の動作によって動画ファイルが生成されると、次に、各動画ファイルに映っている学生が誰であるかを登録する必要があるが、従来、ユーザが学生の顔写真付きの学生名簿等に映っている学生の顔を確認しながら、動画ファイルに学生の名前を紐づけて登録する必要があり、作業が煩雑であった。

この作業の煩雑さを軽減するために、例えば、撮影を学籍番号順に行い、かつ、学籍番号順に並べられた学生の情報（名前、学籍番号等）を含むＣＳＶ（Ｃｏｍｍａ−Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）を用意した上で、動画ファイルの生成順に、ＣＳＶに含まれる学生の情報を学籍番号順に対応付けるということが考えられる。

しかしながら、上述した対応付けを行うと、撮影当日に欠席者がいた場合に、欠席者分の動画ファイルがないため、欠席者の学籍情報が欠席者の次の学生の動画ファイルに対応づく恐れがあった。

そこで、本発明では、例えば、図３の動作で生成された動画ファイルから人物を識別するための情報（例えば学籍番号）を特定し、特定した情報と、ＣＳＶに含まれる情報（学籍番号）とが一致した人物を動画ファイルと対応付けて登録することで、上述した課題を解決する。

では、以下本発明における処理について説明するが、まず図２を用いて、ＰＣ１０１のハードウェア構成について説明する。

図２は、本発明の実施形態におけるＰＣ１０１に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。各装置ともに、同様な構成を備えるため、同一の符号を用いて説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。

次に、図５のフローチャートを用いて、本発明の実施形態におけるＰＣ１０１が実行する処理について説明する。

図５は、本実施形態の動画編集に係る処理を示すフローチャートの一例である。

ＰＣ１０１は、まず、所定の制御プログラムを起動すると、動画編集画面をディスプレイ２１０等の表示部に表示する。

そして、ステップＳ５０１において、ＰＣ１０１は、処理対象となる図７に示す人物リスト７０１の選択をユーザにより受け付けて読み取る。

ステップＳ５０２において、ＰＣ１０１は、ステップＳ５０１で選択を受け付けた人物リストに対応し、処理対象とする１つの動画ファイルの読み取り指示をユーザから受け付け、当該動画ファイルの読み取りを開始する。

例えば、クラスごとの動画ファイルを生成し、例えば、人物リスト７０１（図７）に示すような被写体の人物リストが、学生のクラスごとに記憶されており、どのクラスの学生の動画を処理するかを選択し、そのクラスの動画ファイルを処理対象として読み込むことができる。

ステップＳ５０２における動画ファイルの読み取り処理の開始は、動画の最初のフレームから順に読み取り開始することを意味する。

なお、ステップＳ５０２で取得した動画ファイルでは、各人物が、撮影中のどこかのタイミング（話し始めるタイミング等）で、各人物の学籍番号を、言葉で発する、ジェスチャーで示す、学籍番号や氏名が書かれた紙を掲げる等により示しているものとする。

ステップＳ５０３において、ＰＣ１０１は、動画編集に係る処理を実行する。図５の処理の詳細は、図６を用いて説明する。

ステップＳ５０４において、ＰＣ１０１は、ユーザにより、図４の動画編集画面にリスト表示された各氏名の各動画のうち１つの動画が選択され、ユーザにより、再生ボタン４１３の押下を受け付けたか否かを判定することにより、当該動画の再生指示を受け付けたか否かを判定する。

ステップＳ５０５において、ＰＣ１０１は、動画の再生指示を受け付けたと判定された場合には、ステップＳ５０３の処理で生成後の動画の動画ファイルの読み込みを行い、当該動画の再生を行う。

ステップＳ５０６において、ＰＣ１０１は、当該動画の再生が終了した場合には（ステップＳ５０６：ＹＥＳ）、本処理を終了し、動画の再生が終了していない場合には、引き続き、当該動画の再生を行う。以上で、図５の説明を終了する。

次に、図６のフローチャートを用いて、本実施形態におけるＰＣ１０１が実行する処理について説明する。

図６は、本実施形態の動画編集に係る処理を示すフローチャートの一例である。

図６は、ＰＣ１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、図５のステップＳ５０３の詳細処理である。

ステップＳ６０１において、ＰＣ１０１は、動画（フレーム）を読み込み、当該読み込んだ動画（フレーム）を解析して、当該フレームの中に人物が含まれているか、すなわち、当該フレーム中の人物を検出できたか否かを判定する。

そして、ＰＣ１０１は、当該フレームの中に人物が含まれていない、すなわち、当該フレーム中の人物を検出できなかったと判定された場合には（ステップＳ６０１：ＮＯ）、次のフレームを読み取り、当該読み取ったフレームに対して、ステップＳ６０１の処理を実行する。

ステップＳ６０１と、後述するステップＳ６０８は、本発明における、人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段の一例である。

ＰＣ１０１は、当該フレームの中に人物が含まれている、すなわち、当該フレーム中の人物を検出できたと判定された場合には（ステップＳ６０１：ＹＥＳ）、人物を検出できなかったフレームと、人物を検出できたと判定されたフレームとの間の位置（時間）に、動画ファイル始点（図３のファイルの始点３０２）を設定する（ステップＳ６０２）。

ステップＳ６０３において、ＰＣ１０１は、ＰＣ１０１は、人物が発する音声を検出し、かつ、その音声のレベル（ボリューム）が所定の値に達したか否かを判定する。そして、ＰＣ１０１は、音声のレベルが所定の値に達したと判定されると（ステップＳ６０３：ＹＥＳ）、ステップＳ６０４において、音声のレベルが所定の値に達したと判定されたときのフレームよりも所定時間前（例えば１秒前）のフレームにＩＮ点（図３のＩＮ点３０４）を設定する。

ステップＳ６０５において、ＰＣ１０１は、人物が発する音声のレベル（ボリューム）が所定の値まで低下したか否かを判定する。そして、ＰＣ１０１は、音声のレベルが所定の値まで低下したと判定されると（ステップＳ６０５：ＹＥＳ）、ステップＳ６０６において、音声のレベルが所定の値まで低下したと判定されてから所定時間（例えば１秒前）経過したかを判定し、所定時間が経過したと判定されると（ステップＳ６０６：ＹＥＳ）、所定時間経過後のフレームにＯＵＴ点（図３のＯＵＴ点３０５）を設定する（ステップＳ６０７）。

ステップＳ６０８において、ＰＣ１０１は、現在処理対象のフレームの中に人物が含まれていないか否か、すなわち、当該フレーム中の人物を検出できなかったか否かを判定する。

ＰＣ１０１は、フレームの中に人物が含まれている、すなわち、当該フレーム中の人物を検出できたと判定された場合には（ステップＳ６０８：ＮＯ）、次のフレームを処理対象にして、再度、Ｓ６０８の処理を行う。

ＰＣ１０１は、ステップＳ６０８でフレーム中に人物が含まれていない、すなわち、当該フレーム中の人物を検出できないと判定された場合には（ステップＳ６０８：ＹＥＳ）、ステップＳ６０９において、人物が含まれていないと判定されたフレームと、その直前のフレーム（人物が検出されたフレーム）との間の位置（時間）に動画ファイル終点（図３のファイルの終点３０３）を設定する。

ステップＳ６１０において、ＰＣ１０１は、ステップＳ５０２で読み込んだ動画ファイルのうち、ステップＳ６０２でファイル始点が設定された位置（時間）と、ステップＳ６０９でファイル終点が設定された位置（時間）の間のフレームを解析し、人物を識別するための情報（例えば学籍番号や氏名等）を特定する。

解析の方法としては、人物を識別するための情報を示す言葉（例えば学籍番号の数字である「４」という言葉など）を各人物が発する場合には、音声を解析することにより、人物を識別するための情報（「４」という言葉）を特定する方法が考えられる。また各人物の学籍番号（数字）を、ジェスチャーで示す、学籍番号や氏名が書いた紙を掲げる等、フレームの画像上の変化により特定する必要がある場合には、既知の画像解析技術を用いて人物を識別するための情報を特定する方法が考えられる。より具体的には、学籍番号や氏名が書いた紙を掲げる場合には、画像に対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を実行することにより人物を識別するための情報を特定し、ジェスチャーで示す（例えば学籍番号が「４」である場合には指を４本立てるジェスチャーを行う）場合には、あらかじめ、各学籍番号を示したときのジェスチャーの画像（教師データ）をＰＣ１０１に取り込むことで当該教師データを用いて各ジェスチャーが示す数字をＰＣ１０１が学習し、画像から、学籍番号を特定する。

なお、ステップＳ６１０で顔認識技術を用いて人物を特定しない理由は、顔認識技術を用いる場合、撮影場所（学校）が変わるたびに、撮影する人物全員の顔画像を事前に登録する必要があるからである。それに対し、本発明は、学籍番号をジェスチャーで示す場合、一旦学籍番号を示すジェスチャーさえ学習すれば、撮影場所が変わっても、流用することが可能である。また、ＯＣＲにより学籍番号や名前を特定する場合には、ＯＣＲを行うアプリケーションさえＰＣ１０１にインストールすればよい。

ステップＳ６１０では、上述した解析方法のすべてを実行しても良いが、ステップＳ５０２で動画ファイルを読み込むタイミングで、いずれの方法により人物を識別するための情報を示したかの指定をユーザから受け付けることで、それに応じた解析手法を用いることができ、そうすることですべての解析方法を用いるよりもＰＣ１０１の処理負荷を軽減することが可能となる。

なおステップＳ６１０で人物を識別するための情報を特定できなかった場合には、その旨を識別可能な情報を動画ファイルに付加し、後述するステップＳ６１７でユーザから人物を識別するための情報の入力を受け付ける。

ステップＳ６１０は、本発明における、前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定手段の一例である。

ステップＳ６１１において、ＰＣ１０１は、ステップＳ５０２で読み込んだ動画ファイルを、ステップＳ６０２でファイル始点が設定された位置（時間）と、ステップＳ６０９でファイル終点が設定された位置（時間）とで切り出すことにより生成される動画ファイルと、現在の処理対象の動画ファイルにおいて、ステップＳ６１０の処理により特定された人物を識別するための情報と、ステップＳ６１０で学籍番号を特定した場合には、人物リスト７０１を参照することにより特定される、当該学籍番号（人物リスト７０１中の「順番（番号）」に対応）に対応する氏名とを、外部メモリ２１１で記憶する関連付けリスト７０２に登録する。

その際、ステップＳ６１０で人物を識別するための情報を特定できなかった場合には、「不明」という情報を記憶する。

関連付けリスト７０２は、動画ファイルと、当該動画ファイルに映る人物を識別するための情報とを関連付けたリストの一例である。「特定した番号」や、「氏名」には、ステップＳ６１０の処理により特定される番号（学籍番号）や氏名が記憶される。「動画ファイルパス」には、ステップＳ６０２でファイル始点が設定された位置（時間）と、ステップＳ６０９でファイル終点が設定された位置（時間）とで切り出すことにより生成される動画ファイルのパスが記憶される。

なお動画ファイルの生成は、ステップＳ６１６で実行されるため、ステップＳ６１０では、ステップＳ６０２でファイル始点が設定された位置（時間）、およびステップＳ６０９でファイル終点が設定された位置（時間）の情報を記憶する。

ステップＳ６１１は、本発明における、前記情報特定手段により特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録手段の一例である。

ステップＳ６１２において、ＰＣ１０１は、ステップＳ５０２で読み込んだ動画ファイルのすべてに対して、ステップＳ６０１からステップＳ６１１までの処理の処理対象にしたか否かを判定することにより、ステップＳ５０２で読み込んだ動画ファイルの切り出し、ＩＮ点、ＯＵＴ点の設定の処理を終了するか否かを判定する。

ＰＣ１０１は、ステップＳ６１２において、ステップＳ５０２で読み込んだ動画ファイルのすべてに対して、ステップＳ６０１からステップＳ６１１までの処理の処理対象にしたと判定された場合には、ステップＳ５０２で読み込んだ動画ファイルの切り出し、ＩＮ点、ＯＵＴ点の設定の処理を終了すると判定し（ステップＳ６１２：ＹＥＳ）、処理をステップＳ６１３に移行する。

また、ＰＣ１０１は、ステップＳ６１２において、ステップＳ５０２で読み込んだ動画ファイルのすべてに対して、ステップＳ６０１からステップＳ６１１までの処理の処理対象にしていないと判定された場合には、ステップＳ５０２で読み込んだ動画ファイルの切り出し、ＩＮ点、ＯＵＴ点の設定の処理を終了しないと判定し（ステップＳ６１２：ＮＯ）、引き続き、ステップＳ５０２で読み込んだ動画ファイルの次のフレームを処理対象にして、処理をステップＳ６０１に移行する。

ステップＳ６１３において、ＰＣ１０１は、ステップＳ５０２で読み込んだ動画ファイルと、当該動画ファイルと対応付けて登録された氏名との一覧（リスト）を、動画編集画面（図４）に表示する。

ここで、図４について説明する。図４は、動画編集画面の一例を示す図である。

４０１は、氏名を示している。これらの被写体を識別する情報と対応付けてステップＳ６１１で記憶した動画ファイルが、４０３、４０４に動画のタイムラインとして示されている。４０３は、ＩＮ点（図３のＩＮ点３０４）とＯＵＴ点（図３のＯＵＴ点３０５）との間の動画のライムラインを示しており、４０４は、ＯＵＴ点とファイル終点（図３のファイルの終点３０３）との間の動画のタイムラインが示されている。また、４１１は、ファイル終点以降の動画を示している。

また、４０２は、ＩＮ点とＯＵＴ点との間の動画、又はＩＮ点とＯＵＴ点との間の動画の各フレームのうち先頭のフレームの縮小画像（例えばサムネイル画像）である。

また、４１２は、ファイル始点（図３のファイルの始点３０２）とＩＮ点との間の動画のタイムラインとして示されている。

４０５は、切り出された動画ファイルに含まれる音の波形が表示される領域である。

４０６は、ステップＳ６１１で記憶した動画ファイルを処理対象として選択するためのボタン（指示受付部）である。すなわち、誰の動画を処理対象にするにするかを選択するためのボタンである。

図４に示すように、上述の４０１〜４０６、４１１、４１２は、氏名ごと（ステップＳ６１１で切り出された動画ファイルごと）にそれぞれリスト表示されている。

識別表示４０８は、ステップＳ６１０の処理の結果、人物を識別するための情報を特定できなかった動画ファイルをユーザが認識可能となるように囲っている。

なお、識別情報が付加された動画ファイルをユーザが識別できれば良いため、当該動画ファイルの欄を点滅させたり、当該動画ファイルの欄の色を変えることで識別させたりしても良い。

識別表示４０８を行うことにより、人物を識別するための情報を特定できなかった動画ファイルをユーザが容易に特定することができ、当該動画ファイルの編集（人物名の入力）をスムーズに実行することが可能となる。

４０９は編集ボタンであり、識別表示４０８がされた動画ファイルの選択ボタン４０６が選択され、編集ボタン４０９が選択されると、４０６が選択された動画ファイルに映る人物の氏名を入力するための氏名入力画面（図８）が表示される。４１０は、ファイル生成ボタンである。

図４に示すように、上述の４０１〜４０６、４１１、４１２は、氏名ごと（ステップＳ６１１で切り出された動画ファイルごと）にそれぞれリスト表示されているが、いずれかの動画又は氏名（被写体を識別する情報）の選択ボタン４０６が選択されると、当該動画のプレビュー表示を行う表示領域４０７を動画編集画面（図４）は備えている。また、４１３は、再生ボタンであり、当該いずれかの動画又は氏名（被写体を識別する情報）が選択され、再生ボタン４１３がユーザにより押下されると、当該動画のプレビューを表示領域４０７に表示する。

以上で図４の説明を終了し、図６の説明に戻る。

ステップＳ６１４において、ＰＣ１０１は、動画編集画面（図４）を介して、ユーザによる操作指示を受け付ける。

ステップＳ６１５において、ＰＣ１０１は、ステップＳ６１４で受け付けた操作が、編集指示（編集ボタン４０９が選択された）か、ファイル生成指示か（ファイル生成ボタン４１０が選択された）を判定する。ＰＣ１０１は、ファイル生成指示であれば、ステップＳ６１６に処理を移行し、編集指示であればステップＳ６１７に処理を移行する。

ステップＳ６１６において、ＰＣ１０１は、動画のファイルの生成を行う。具体的には、現在、ステップＳ６１１で登録されている各ＩＮ点（ステップＳ６０４で設定したＩＮ点）、及び各ＯＵＴ点（ステップＳ６０７で設定したＯＵＴ点）の位置で、動画を切り取り、氏名（ユーザ）ごとの動画ファイルを、それぞれ生成する。

ステップＳ６１７において、ＰＣ１０１は、編集処理を実行する。具体的には、例えば、識別表示４０８がされた動画ファイルの選択ボタン４０６が選択され、編集ボタン４０９が選択されると、４０６が選択された動画ファイルに映る人物の氏名を入力するための氏名入力画面（図８）を表示し、ユーザから氏名の入力を受け付ける。以上で、図６の説明を終了する。

次に、図８の氏名入力画面について、説明する。図８は、本実施形態における氏名入力画面の一例を示す図である。

８０１には、選択ボタン４０６が選択された動画ファイル（具体的には、ステップＳ６１０で人物を識別するための情報を特定できなかった動画ファイル）がプレビュー表示される。

未割当ユーザ８０２には、人物リスト７０１に含まれる人物のうち、関連付けリスト７０２に動画ファイルパスと対応付けて登録されていない人物の氏名が表示される。

割り当てボタン８０３は、未割当ユーザ８０２に表示される人物の中から、８０１にプレビュー表示されている人物の名前の選択をユーザから受け付け（図８では８０４が選択状態）、当該選択を受け付けた人物を、８０１にプレビュー表示されている動画ファイルの人物として対応付け、関連付けリスト７０２に登録する。

そうすることで、たとえ、ステップＳ６１０で人物を識別するための情報を特定できなかったとしても、容易に動画ファイルと人物とを対応付けて登録することが可能となる。

以上で、図８の説明を終了する。

以上、本発明によると、人物が撮影された動画データと、当該人物との対応付けを容易に行うことができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ ＰＣ

Claims (8)

1. 人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段と、
   前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定手段と、
   前記情報特定手段により特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録手段と
   を備えることを特徴とする情報処理装置。
2. 前記情報特定手段により前記人物を特定するための情報を特定できないことを条件に、前記動画データと対応付けて登録する人物名の入力を受け付ける受付画面を表示するように制御する表示制御手段と
   を備えることを特徴とする請求項１に記載の情報処理装置。
3. 撮影対象の人物の情報を管理する管理手段を備え、
   前記表示制御手段は、前記管理手段で管理する人物のうち、前記登録手段により、前記動画データと対応付けて登録されていない人物の情報を前記受付画面に表示するように制御することを特徴とする請求項２に記載の情報処理装置。
4. 前記管理手段は、撮影対象の人物を特定するための情報と、当該人物の情報とを対応付けて管理し、
   前記登録手段は、前記情報特定手段により特定された前記人物を特定するための情報と、情報が一致する前記管理手段で管理する撮影対象の人物を特定するための情報と対応付く人物を前記動画データと対応付けて登録することを特徴とする請求項３に記載の情報処理装置。
5. 前記人物を特定するための情報とは、前記人物の学籍番号を示す数字であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記人物の声のボリュームの値が所定の値よりも大きくなったフレームに基づき特定される位置に、動画データを編集するためのイン点を設定し、前記人物の声のボリュームの値が所定の値よりも小さくなったフレームに基づき特定される位置に、動画データを編集するためのアウト点を設定する設定手段と、
   前記登録手段は、前記設定手段により設定されたイン点、およびアウト点に基づき特定される分割位置で分割した前記動画データと、前記人物とを対応付けて登録することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段を備える情報処理装置の制御方法であって、
   前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定工程と、
   前記情報特定工程で特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録工程と
   を備えることを特徴とする情報処理装置の制御方法。
8. 人物が撮影された動画データの中から前記人物がフレームインしたフレームと、前記人物がフレームアウトしたフレームを特定するフレーム特定手段を備える情報処理装置で読み取り実行可能なプログラムであって、
   前記情報処理装置を、
   前記フレーム特定手段で特定された、前記人物がフレームインしたフレームから、前記人物がフレームアウトしたフレームまでのフレームから、前記人物を特定するための情報を特定する情報特定手段と、
   前記情報特定手段により特定された情報を用いることで特定される人物と、前記動画データとを対応付けて登録する登録手段として機能させることを特徴とするプログラム。

Images