JP5354401B2 - 動画再生装置、動画再生方法及びプログラム - Google Patents

Description

本発明は、動画再生装置、動画再生方法及びプログラムに関し、詳細には、動画再生時に注目シーンを素早く見つけ出すことができる動画再生装置、動画再生方法及びプログラムに関する。

スポーツの練習に動画撮影を取り入れることがよく行われている。たとえば、ゴルフのスイングを動画で撮影し、その場で映像を再生して確認することが行われている。スイングの善し悪しを自分の目で見て判断し、効果的な練習を行うことができる。

ところで、被写体自らが撮影を行う場合は、まず、（ｉ）カメラのそばで撮影の開始操作を行い、（ｉｉ）撮影ポジションに戻って所要の動き（ゴルフであればスイング）を行った後、（ｉｉｉ）再びカメラのそばで撮影の停止操作を行う必要がある。この場合、動画の前後に無駄な撮影シーン・・・・（ｉ）〜（ｉｉ）のシーンと（ｉｉ）〜（ｉｉｉ）のシーン・・・・が入ってしまうという不都合がある。

かかる不都合を回避するために、たとえば、下記の特許文献１には、撮影中の映像の所定の領域に所定の被写体が含まれているか否かを判定し、その判定結果が肯定の場合に、映像の記録を行うという技術が開示されている。

これによれば、たとえば、先のゴルフ練習を例にすれば、撮影範囲にゴルフスイングを行う被写体が入ったときに映像の記録が開始されるから、無駄なシーンを極力含まないゴルフ練習の動画記録を行うことができる。

特開２０１０−２５２１４１号公報

しかしながら、特許文献１の技術は動画の「撮影時」のものであって、動画の「再生時」を考慮したものではない。このため、たとえば、動画の注目シーンを再生したい場合には、早送りなどの面倒な操作を行わなければならないという問題点がある。

そこで、本発明は、動画再生時に注目シーンを素早く見つけ出せるようにすることを目的とする。

本発明は、動画を再生する再生手段と、前記再生手段で再生中の動画フレーム内に所定の領域を設定する領域設定手段と、ユーザが前記動画フレーム内に存在する任意の被写体を指定するための指定手段と、前記指定手段により指定された前記任意の被写体を追尾する追尾手段と、前記領域設定手段により設定された前記任意の領域内に前記任意の被写体が含まれているか否かを、前記追尾手段による追尾により検出する検出手段と、前記検出手段による検出タイミングを特定する特定手段と、前記特定手段により特定された検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択手段と、前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段とを備えたことを特徴とする。

本発明によれば、動画再生時に、所定の被写体が指定位置に検出されたタイミングをより見やすい状態で確認しながら注目シーンを素早く見つけ出すことができる。

実施形態に係る動画再生装置の構成図である。 動画再生装置１の機能模式図である。 動画再生装置１の動作フローを示す図である。 動画再生装置１の作用説明図である。 実用上好ましい実施形態の説明図である。 注目領域１７と被写体指定枠１８の設定機能を加えた動画再生装置１の機能模式図である。 実施形態の他の例を示す図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態に係る動画再生装置の構成図である。この図において、動画再生装置１は、動画データ２を取り込む動画入力部３と、動画再生時に必要な各種操作を行うための操作部４と、コンピュータで構成された制御部５と、液晶ディスプレイ等の表示部６と、その表示部６の画面を覆って取り付けられたタッチパネル７とを有する。なお、表示部６とタッチパネル７は、動画再生装置１の外部に位置する外付けであってもよい。

制御部５は、ＣＰＵ５ａやＲＯＭ５ｂ及びＲＡＭ５ｃ並びに不図示の周辺回路からなり、ＲＯＭ５ｂに格納されている制御プログラム等のソフトウェアをＲＡＭ５ｃにロードしてＣＰＵ５ａで実行することによって、この動画再生装置１の各部の動作を統括制御するプログラム制御方式の制御要素である。

なお、図示の動画再生装置１は、ビデオプレイヤーのように単体で動作するもの（以下、単体型）であってもよく、または、任意の電子機器に組み込まれたもの（以下、組み込み型）であってもよい。任意の電子機器としては、たとえば、デジタルビデオカメラ、あるいは、動画撮影機能付きのデジタルカメラや携帯電話機などが考えられるが、これらに限定されない。動画データを再生表示できるものであればよく、たとえば、パーソナルコンピュータ（据え置き型や携帯型を問わない）などであってもよい。

図２は、動画再生装置１の機能模式図である。この図において、動画再生装置１は、制御部５のＲＯＭ５ｂに格納されたソフトウェアと、ＣＰＵ５ａ等のハードウェアとの有機的結合によって実現されるいくつかの機能を有する。
一の機能は、任意の動画データ（図１の動画データ２参照）を入力する「動画入力」（図１の動画入力部３に相当）である。以下、この機能を動画入力部８ということにすると、この動画入力部８は、予め他の機器で撮影された動画データ（動画ファイルともいう）を媒体受け渡しまたはケーブルや無線で取り込んで入力し（単体型の場合）、あるいは、不図示のカメラ部で撮影・記録した動画データを入力する（組み込み型の場合）。

二の機能は、動画データの中から所定の被写体を検出する機能である。この機能を被写体検出部９ということにする。被写体検出部９は、主に制御部５においてソフトウェアで実現される機能である。所定の被写体は、たとえば、人物の顔であってもよい。人物の顔とする場合は公知の顔認識技術を応用することができる。

三の機能は、動画再生時の再生速度を変更する機能である。この機能を再生速度変更部１０ということにする。被写体検出部９と同様に、この再生速度変更部１０も主に制御部５においてソフトウェアで実現される機能である。
再生速度とは、動画を構成する単位画像（フレーム又はコマという）を単位時間（一般的には１秒）あたり何枚再生するかをいう。標準の再生速度を「等速」といい、等速再生は動画の記録速度（一般的には１秒当たり３０フレーム）と同じ速度で再生することをいう。また、等速のｎ倍（ただし、ｎ＞１）の速度で再生することを「早送り」といい、その逆に、等速のｎ倍（ただし、ｎ＜１）の速度で再生することを「スロー」という。あるいは、任意のシーンで再生速度を０にすることを「一時停止」という。
再生速度変更部１０は、このように、「等速」、「早送り」、「スロー」または「一時停止」の各々の再生速度に変更可能であるが、ここでは、説明を簡単にするために、「等速」と「早送り」の二つの再生速度に変更可能であって、且つ、被写体検出部９で所定の被写体が検出されない場合には「早送り」の再生速度に、また、被写体検出部９で所定の被写体が検出された場合には「等速」の再生速度に変更するものとする。
つまり、所定の被写体が検出されない→「早送り」、所定の被写体が検出された→「等速」に設定するものとする。

四の機能は、動画入力部８に入力された動画データを所定の再生速度（早送り又は等速）で再生する機能であり、以下、この機能を動画再生部１１ということにすると、この動画再生部１１は、再生速度変更部１０の出力（早送り又は等速）に応じた再生速度で動画データを再生表示する。

図３は、動画再生装置１の動作フローを示す図である。このフローにおいて、動画再生装置１は、まず、動画データを取り込み（ステップＳ１）、動画再生をスタートし（ステップＳ２）、その動画中に所定の被写体が含まれているか否かを再生フレームごとに判定する（ステップＳ３）。

そして、動画中に所定の被写体が含まれていなければ（ステップＳ３の“ＮＯ”判定）、前記の「早送り」に相当する第１の再生速度に変更（ステップＳ４）して、再びステップＳ３に戻り、一方、動画中に所定の被写体が含まれていれば（ステップＳ３の“ＹＥＳ”判定）、前記の「等速」に相当する第２の再生速度に変更（ステップＳ５）して、動画の終わり（終端）であるか否かを判定する（ステップＳ６）。

次いで、動画の終わりでなければ、再びステップＳ３に戻り、終わりであれば、動画再生をストップ（ステップＳ７）してから、フローを終了する。

図４は、動画再生装置１の作用説明図である。この図において、横軸の左端から右端に向かって一人の人物１２が歩いている情景を考え、その情景を動画撮影することにする。ただし、動画の撮影範囲１３は、横軸の中央付近に描かれている点線の横長矩形枠内とする。動画の撮影開始は横軸の左端付近、撮影終了は横軸の右端付近である。
このような場合において、動画の撮影範囲１３は横軸の中央付近であるから、動画データの前１／３部分（ア部）と後１／３部分（ウ部）に人物１２は写っていない。つまり、人物１２は中央の１／３部分（イ部）にしか写っていないから、かかる動画データを再生した場合に、（ア部）と（ウ部）の再生は無駄である。このような場合、一般的には早送りなどの操作を行うが、手間が掛かって面倒である。

そこで、実施形態の動画再生装置１では、動画データに所定の被写体（図４の人物１２）が含まれていない場合には再生速度を第１の再生速度とし、被写体が含まれている場合には再生速度を第２の再生速度とし、各々の再生速度を「第１の再生速度→早送り、第２の再生速度→等速」としたものであり、これにより、無駄な再生に要する時間を少なくして、注目シーン（イ部）を素早く見つけ出すことができるようにしたものである。

以上のとおり、実施形態における技術思想の原理は、動画データの再生時に、その動画データに所定の被写体が含まれていなければ第１の再生速度とする一方、その動画データに所定の被写体が含まれていれば第２の再生速度とすることを基本とし、好ましくは、第１の速度を早送りに相当する再生速度、第２の再生速度を等速に相当する再生速度としたものであり、これにより、前記の課題、すなわち、無駄な再生に要する時間を少なくして、注目シーンを素早く見つけ出すことができるようにしたものであるが、これに限らず、実用性の観点からは、たとえば、以下のようにしてもよい。

図５は、実用上好ましい実施形態の説明図である。たとえば、ゴルフ練習において、クラブヘッド１４にボール１５が当たる瞬間（インパクトの瞬間）はスイング確認の重要な一つのポイントである。一般的にはスイング全体の動画を再生中にインパクトの瞬間でスローや一時停止の操作を行っているが、操作が面倒で使い勝手が悪い。
そこで、インパクトの瞬間を自動的に検出して所望の再生速度に変更できる仕組みを提案する。まず、ユーザはタッチパネル７を操作して表示部６の画面１６の任意位置に注目領域１７を設定する。注目領域１７とは、その領域に被写体が入ったときに再生速度を所定の速度に変更するための検出窓である。
今、被写体をクラブヘッド１４とし、そのクラブヘッド１４が注目領域１７に入るまでの再生速度を第１の再生速度、そのクラブヘッド１４が注目領域１７に入った後の再生速度を第２の再生速度とするとともに、「第１の再生速度→早送り、第２の再生速度→等速」とする。
このようにすると、（ａ）のトップスイングから（ｂ）のインパクトまでが早送り再生となり、（ｂ）のインパクトから（ｃ）のフォロースルーまでが等速再生となるので、（ａ）〜（ｂ）の無駄な再生に要する時間を少なくし、且つ、（ｂ）の注目シーンを素早く頭出しして、（ｂ）〜（ｃ）のスイング確認を行うことができる。

なお、以上の説明では、所定の被写体をクラブヘッド１４としているため、このクラブヘッド１４を画像認識して検出するための仕組みが必要である。そのような仕組みとしては、たとえば、（ａ）に示すように、クラブヘッド（この図ではクラブヘッドとしているが、これは一例に過ぎない。任意の被写体部分であればよい。）を指定するための被写体指定枠１８を設定することが考えられる。被写体指定枠１８に含まれる画像（ここではクラブヘッド１４）を基準画像として登録し、その基準画像に対応する画像をフレームごとに検出して追尾していけばよい。このようにすれば、（ａ）のトップスイングから（ｃ）のフォロースルーにかけて被写体であるクラブヘッド１４を検出・追尾することができ、クラブヘッド１４が注目領域１７に入った後は所定の再生速度に変更することができる。
また、クラブヘッド以外の任意の被写体部分に被写体指定枠１８を設定することで任意の被写体部分を追尾対象とすることが可能となる。
また、ゴルフスイングの場合には、インパクトの後だけでなくインパクトの前後の所定時間が重要であり、このような場合に対応するため、動画再生中に被写体部分の検出を行うタイミングと再生された画像を表示するタイミングとをずらし、検出タイミングの前後の所定時間だけ再生速度を変更する（検出タイミングから過去に遡って再生速度を変更する）ようにしてもよい。
この場合、前の所定時間と後の所定時間とをユーザーが個別に設定してもよい。
また、クラブヘッド１４の検出・追尾および注目領域１７に入ったか否かを検出するための処理は、クラブヘッド１４の位置座標を逐次検出し、逐次検出される位置座標の変化を追尾し、追尾中の位置座標が注目領域１７の領域座標内に入ったか否かを検出するが、次のように追尾動作を含まなくてもよい。
つまり、注目領域１７の領域座標内だけを逐次画像認識して、クラブヘッド１４が注目領域１７の領域座標内に入ったか否かを検出するようにしてもよい。

図６は、注目領域１７と被写体指定枠１８の設定機能を加えた動画再生装置１の機能模式図である。この図において、前出の図２との相違は、いずれも、主に制御部５においてソフトウェアで実現される注目領域の設定機能（以下、注目領域設定部１９という）と、被写体指定枠の設定機能（以下、被写体指定枠設定部２０という）とを加えた点にある。注目領域設定部１９は、タッチパネル７に対して行われるユーザのタッチ操作を検出して表示部６の画面１６のタッチ位置に注目領域１７（図５参照）を設定し、また、被写体指定枠設定部２０は、同様にしてユーザのタッチ操作を検出して表示部６の画面１６のタッチ位置に被写体指定枠１８（図５参照）を設定する。被写体検出部９は、注目領域１７に所定の被写体が含まれているか否かを検出し、または、被写体指定枠１８で被写体が指定されている場合は、その被写体を所定の被写体として検出し追尾する。

また、以上の実施形態では、注目領域１７と被写体指定枠１８とを別々に設定しているが、以下のようにしてもよい。
図７は、実施形態の他の例を示す図である。この図において、ボール１５の近くにクラブヘッド１４を構えるスタンス状態では、注目領域１７の領域内にクラブヘッド１４が位置しているので、注目領域１７の設定と同時に、その注目領域１７の領域内に位置しているクラブヘッド１４に対する被写体指定枠１８を設定するようにしてもよい。このようにすれば、注目領域１７の設定と同時に被写体指定枠１８を設定でき、設定操作を簡素化できるので好ましい。

また、以上の説明では、所定の被写体が注目領域１７に入るまでの間、再生速度を第１の再生速度に変更するとし、その第１の再生速度を早送りに相当する“一定の再生速度”としているが、これに限らず、たとえば、所定の被写体の動き速度に合わせて第１の再生速度を“可変設定”するようにしてもよい。つまり、第１の再生速度の目的は、無駄な再生に要する時間を少なくすることにあるので、所定の被写体の動き速度が遅いほど、第１の再生速度を速くする（スキップするフレーム数が多くなるようにする）ようにしてもよい。
また、注目シーンをスロー再生したい場合においては、第１の再生速度を等速とし、指定した被写体部分が注目領域１７に入った後にスローに変更するようにしてもよい。

なお、以上の説明では、「所定の被写体が注目領域１７に入ったときに再生速度を変更する」としているが、これに限定されない。動画再生の開始時に、すでに注目領域１７に所定の被写体が入っている場合には当該被写体が注目領域１７から外れるのを待ってから、前記の再生速度の変更、つまり、「所定の被写体が注目領域１７に入ったときに再生速度を変更する」という動作を行うようにしてもよい。

以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。

（付記１）
請求項１に記載の発明は、
動画を再生する再生手段と、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段と、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段と、
前記検出手段による検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択手段と、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段と
を備えたことを特徴とする動画再生装置である。

（付記２）
請求項２に記載の発明は、
前記第１の再生速度は早送りに相当する再生速度であり、前記第２の再生速度は等速再生またはスロー再生もしくは一時停止に相当する再生速度であることを特徴とする請求項１に記載の動画再生装置である。

（付記３）
請求項３に記載の発明は、
前記選択手段は、前記検出手段による検出タイミングを含む所定期間は前記第２の再生速度を選択し、それ以外の期間は前記第１の再生速度を選択することを特徴とする請求項２に記載の動画再生装置である。

（付記４）
請求項４に記載の発明は、
さらに、前記被写体を指定するための指定手段を備えたことを特徴とする請求項１乃至３のいずれかに記載の動画再生装置である。

（付記５）
請求項５に記載の発明は、
さらに、前記被写体を追尾する追尾手段を備えたことを特徴とする請求項１乃至４のいずれかに記載の動画再生装置である。

（付記６）
請求項６に記載の発明は、
前記追尾手段によって追尾されている被写体の動き速度に合わせて前記第１の再生速度を可変設定する可変手段を備えたことを特徴とする請求項５に記載の動画再生装置である。

（付記７）
請求項７に記載の発明は、
前記検出手段は、前記再生手段による動画再生の開始時に、前記領域内に所定の被写体が含まれている場合には当該被写体が前記領域から外れるのを待ってから、前記領域内に所定の被写体が含まれているか否かを検出する検出動作を実行することを特徴とする請求項１乃至６のいずれかに記載の動画再生装置である。

（付記８）
請求項８に記載の発明は、
動画を再生する再生工程と、
前記再生工程で再生中の動画フレーム内に所定の領域を設定する設定工程と、
前記領域内に所定の被写体が含まれているか否かを検出する検出工程と、
前記検出工程による検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択工程と、
前記選択工程の選択結果に従って前記再生工程の再生速度を制御する制御工程と
を含むことを特徴とする動画再生方法である。

（付記９）
請求項９に記載の発明は、
動画再生装置のコンピュータを、
動画を再生する再生手段、
前記再生手段で再生中の動画フレーム内に所定の領域を設定する設定手段、
前記領域内に所定の被写体が含まれているか否かを検出する検出手段、
前記検出手段による検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択手段、
前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段
として機能させることを特徴とするプログラムである。

１ 動画再生装置
９ 被写体検出部（検出手段）
１０ 再生速度変更部（選択手段、制御手段、可変手段）
１１ 動画再生部（再生手段）
１９ 注目領域設定部（設定手段）
２０ 被写体指定枠設定部（指定手段）

Claims (12)

1. 動画を再生する再生手段と、
   前記再生手段で再生中の動画フレーム内に所定の領域を設定する領域設定手段と、
   ユーザが前記動画フレーム内に存在する任意の被写体を指定するための指定手段と、
   前記指定手段により指定された前記任意の被写体を追尾する追尾手段と、
   前記領域設定手段により設定された前記任意の領域内に前記任意の被写体が含まれているか否かを、前記追尾手段による追尾により検出する検出手段と、
   前記検出手段による検出タイミングを特定する特定手段と、
   前記特定手段により特定された検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択手段と、
   前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段と
   を備えたことを特徴とする動画再生装置。
2. 前記特定手段は、前記検出手段による検出タイミングを含む所定の時間範囲を特定し、
   前記選択手段は、前記範囲特定手段により特定された時間範囲の中と外とで、第１の再生速度と第２の再生速度を切り換え選択することを特徴とする請求項１に記載の動画再生装置。
3. 前記領域設定手段は、ユーザが前記動画フレーム内の任意の位置に前記所定の領域を設定することを特徴とする請求項１または２に記載の動画再生装置。
4. 前記指定手段は、前記任意の被写体として前記動画フレーム内の任意の位置を指定し、
   前記追尾手段は、前記指定手段により指定された前記位置に含まれる画像を追尾することを特徴とする請求項１乃至３のいずれかに記載の動画再生装置。
5. 前記指定手段による前記任意の被写体の指定と前記領域設定手段による前記所定の領域の設定は、ユーザによる一の操作によって同時に行われることを特徴とする請求項３又は４に記載の動画再生装置。
6. 前記検出手段による検出タイミングの前後の所定時間をユーザが任意に設定する時間設定手段を更に備え、
   前記特定手段は、前記検出手段による検出タイミングを含み、前記時間設定手段により設定された所定時間だけ前後に拡張した期間を前記所定の時間範囲として特定することを特徴とする請求項１乃至５のいずれかに記載の動画再生装置。
7. 前記第１の再生速度は早送りに相当する再生速度であり、前記第２の再生速度は等速再生またはスロー再生もしくは一時停止に相当する再生速度であることを特徴とする請求項１乃至６のいずれかに記載の動画再生装置。
8. 前記選択手段は、前記検出手段による検出タイミングを含む所定期間は前記第２の再生速度を選択し、それ以外の期間は前記第１の再生速度を選択することを特徴とする請求項１乃至７のいずれかに記載の動画再生装置。
9. 前記追尾手段によって追尾されている被写体の動き速度に合わせて前記第１の再生速度を可変設定する可変手段を備えたことを特徴とする請求項１に記載の動画再生装置。
10. 前記検出手段は、前記再生手段による動画再生の開始時に、前記領域内に所定の被写体が含まれている場合には当該被写体が前記領域から外れるのを待ってから、前記領域内に所定の被写体が含まれているか否かを検出する検出動作を実行することを特徴とする請求項１乃至９のいずれかに記載の動画再生装置。
11. 動画を再生する再生工程と、
    前記再生工程で再生中の動画フレーム内に所定の領域を設定する領域設定工程と、
    ユーザが前記動画フレーム内に存在する任意の被写体を指定するための指定工程と、
    前記指定工程により指定された前記任意の被写体を追尾する追尾工程と、
    前記領域設定工程により設定された前記任意の領域内に前記任意の被写体が含まれているか否かを、前記追尾工程による追尾により検出する検出工程と、
    前記検出工程による検出タイミングを特定する特定工程と、
    前記特定工程により特定された検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択工程と、
    前記選択工程の選択結果に従って前記再生工程の再生速度を制御する制御工程と
    を含むことを特徴とする動画再生方法。
12. 動画再生装置のコンピュータを、
    動画を再生する再生手段、
    前記再生手段で再生中の動画フレーム内に所定の領域を設定する領域設定手段、
    ユーザが前記動画フレーム内に存在する任意の被写体を指定するための指定手段、
    前記指定手段により指定された前記任意の被写体を追尾する追尾手段、
    前記領域設定手段により設定された前記任意の領域内に前記任意の被写体が含まれているか否かを、前記追尾手段による追尾により検出する検出手段、
    前記検出手段による検出タイミングを特定する特定手段と、
    前記特定手段により特定された検出タイミングに応じて第１の再生速度と第２の再生速度を切り換え選択する選択手段、
    前記選択手段の選択結果に従って前記再生手段の再生速度を制御する制御手段
    として機能させることを特徴とするプログラム。

Images