JP2021124748A - 映像変換方法、装置およびプログラム - Google Patents

Abstract

【課題】動画映像を高品質での解析が望ましい解析区間とそれ以外の非解析区間とに識別し、識別結果に応じてビットレートを変換することでデータ量を削減する。【解決手段】映像取得部１０１は、ユーザのカメラ映像をフレーム単位で取得する。人物領域抽出部１０２は、カメラ映像の各フレーム画像から人物領域を抽出する。骨格情報抽出部１０３は、フレーム画像の人物領域から骨格情報を抽出する。位置推定部１０４は、ユーザが指定した評価部位を評価部位指定受付部１０４ａで受け付け、評価部位に対応した骨格の位置を推定する。解析区間決定部１０５は、評価部位の位置と所定の基準部位の位置との相対的な位置関係を計算し、この位置関係に基づいて解析区間および非解析区間を決定する。映像変換部１０６は、非解析区間のビットレートが解析区間のビットレートよりも相対的に低下するようにカメラ映像のビットレートを低下させる。【選択図】図２

Description

本発明は、動画の映像を解析する映像変換方法、装置およびプログラムに係り、特に、動画映像を高品質での解析が望ましい解析区間とそれ以外の非解析区間とに分類し、分類結果に応じてビットレートを変換する映像変換方法、装置およびプログラムに関する。

野球、ラグビーあるいはゴルフのように骨格の動きが上達を左右するスポーツでは、体全体の動きのみならず骨格の位置や動きが重要となる。したがって、その上達には専門化の指導が有効となることが多い。しかしながら、スタジオやスクールに出向いて専門家から指導を受けるためには、相応のコスト負担を強いられ、また時間的かつ場所的な拘束も増すことになる。

特許文献１には、入力画像に映る人物の運動を認識する認識部と、認識された運動の有効性に応じて異なる仮想オブジェクトを入力画像に重畳する表示制御部とを備え、認識部により認識される運動の有効性を示すスコアを算出し、算出結果を入力画像に重畳することで、運動の有効性に関するフィードバックを目に見える形でユーザに呈示する画像処理装置が提案されている。

しかしながら、特許文献１では、ユーザのトレーニング映像をユーザ自身が確認し、更には重畳表示される仮想オブジェクトの動きと比較することでトレーニングを主観的に評価することが可能になるものの、専門家の具体的な指導を受けることはできない。したがって、ユーザ自身が専門知識を有していない限り有効はトレーニングを実現できない。

このような技術課題に対して、本発明の発明者等は、複数のトレーニングメニューを記憶するデータベースからトレーニングメニューを選択し、選択されたトレーニングメニューをユーザ端末へ配信し、トレーニングメニューを実施するユーザを撮影したトレーニング映像をユーザ端末から取得し、トレーニング映像からユーザの骨格情報を抽出し、骨格情報に基づいてユーザのトレーニングを評価し、トレーニングの評価をユーザ端末へ配信するトレーニング支援方法および装置を発明し、特許出願した（特許文献２）。

特許文献３には、車両に搭載される映像記録装置において、駐車中に車両周囲を撮影するカメラからの映像信号に基づいて記録用の映像データを生成する一方、カメラによる撮影映像を解析し、その映像変化に基づき映像データの映像品質を制御することにより、記憶ユニットに格納する映像データの量を制御する技術が開示されている。

特許文献４には、情報処理装置と接続可能な電子黒板において、ユーザからの画面に対する入力を受け付け、情報処理装置から映像信号を取得して画像データを生成し、ユーザからの入力を受け付けた場合に画像データのフレームレートを入力受け付け前よりも低い値に変更する技術が開示されている。

特開2013-103010号公報 特願2018-181304号 特開2019-161350号公報 特開2019-159261号公報

Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

特許文献２によれば、ユーザは、配信されたトレーニングメニューを実施する自身のトレーニング映像をユーザ端末で撮影、送信するだけで、専門家が常駐するトレーニングジム等の施設に出向くことなく、自宅などで専門的なトレーニングを手軽に受けられるようになる。

一方、特許文献２ではトレーニング映像をユーザ端末で撮影して送信する必要があるが、動画はデータ量が大きいのでトラヒック量が増加する。また、評価側でも多数のユーザから同時刻に動画を配信されるとネットワークに輻輳が生じ、サーバの負荷が増大する。

特許文献３，４によれば動画映像のデータ量が削減できるので、映像の伝送によるネットワークの輻輳やサーバの負荷増大を軽減できる。しかしながら、データ量を削減すると映像品質が低下するため、その解析に支障をきたす可能性があった。

本発明の目的は、上記の技術課題を解決し、動画映像の解析に支障をきたさない様に、そのビットレートを低下させてデータ量を削減できる映像変換方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、人物を被写体とする動画映像のデータ量を変換する映像変換装置において、以下の構成を具備した点に特徴がある。

(1) 各フレームから人物の骨格情報を抽出する抽出手段と、骨格情報に基づいて所定の評価部位の位置を推定する位置推定手段と、前記評価部位の位置に基づいて解析区間を決定する決定手段と、非解析区間のビットレートを解析区間のビットレートよりも低いビットレートに変換してデータ量を減じる変換手段とを具備した。

(2) 位置推定手段は、骨格情報に基づいて所定の基準部位の位置を更に推定し、前記決定手段は、評価部位と基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。

(3) 前記位置推定手段は、骨格情報に基づいて複数の評価部位および対応する複数の基準部位の各位置を推定し、前記決定手段は、各評価部位と対応する各基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから、各評価部位と対応する各基準部位との相対的な位置関係が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。

(4) 前記位置推定手段は、骨格情報に基づいて複数の評価部位および対応する複数の基準部位の各位置を推定し、前記決定手段は、一の評価部位と対応する一の基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから、他の一の評価部位と対応する他の一の基準部位との相対的な位置関係が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。

(5) 前記決定手段は、評価部位の移動軌跡が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。

(6) 前記決定手段は、評価部位と基準部位との相対的な位置関係および評価部位の移動軌跡の、一方が所定の開始要件を充足する開始タイミングから他方が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。

(7) 評価部位の指定を受け付ける手段を具備し、前記位置推定手段は、指定された評価部位の位置を推定するようにした。

(8) 前記動画映像に基づいて人物の動きの種別を判定する手段と、前記動きの判定結果に基づいて評価部位を決定する手段とを具備し、前記位置推定手段は、決定された評価部位の位置を推定するようにした。

(9) 前記決定手段は、前記評価部位の位置に基づいて決定した解析区間よりも所定の時間だけ前のタイミングを解析区間の開始タイミングとみなすようにした。

本発明によれば、以下のような効果が達成される。

(1) 人物を被写体とする動画映像のデータ量を変換する映像変換装置において、各フレームから抽出した骨格情報に基づいて所定の評価部位の位置を推定する位置推定手段と、評価部位の位置に基づいて解析区間を決定する決定手段と、非解析区間のビットレートを解析区間のビットレートよりも低いビットレートに変換してデータ量を減じる変換手段とを具備したので、高品質映像を用いた解析が望ましい解析区間を正確に決定できる。したがって、動画映像の解析に支障をきたすことなく動画映像のデータ量やトラヒック量を削減できるようになる。

(2) 位置推定手段は、骨格情報に基づいて所定の基準部位の位置を更に推定し、決定手段は、評価部位と基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。したがって、解析区間が評価部位と基準部位との相対的な位置関係に依存する場合に解析区間を正確に決定できるようになる。

(3) 位置推定手段は、骨格情報に基づいて複数の評価部位および対応する複数の基準部位の各位置を推定し、決定手段は、各評価部位と対応する各基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。したがって、解析区間が複数の評価部位とその対応する基準部位との相対的な位置関係に依存する場合でも解析区間を正確に決定できるようになる。

(4) 位置推定手段は、骨格情報に基づいて複数の評価部位および対応する複数の基準部位の各位置を推定し、決定手段は、一の評価部位と対応する一の基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから、他の一の評価部位と対応する他の一の基準部位との相対的な位置関係が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにした。したがって、解析区間の開始タイミングおよび終了タイミングが、複数の異なる評価部位とその対応する各基準部位との相対的な位置関係にそれぞれ依存する場合も解析区間を正確に決定できるようになる。

(5) 決定手段は、評価部位の移動軌跡が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するようにしたので、解析区間の開始タイミングおよび終了タイミングが評価部位の移動軌跡に依存する場合に解析区間を正確に決定できるようになる。

(6) 決定手段は、評価部位と基準部位との相対的な位置関係および評価部位の移動軌跡の、一方が所定の開始要件を充足する開始タイミングから他方が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定するので、解析区間の開始タイミングおよび終了タイミングの一方が評価部位と基準部位との相対的な位置関係に依存し、他方が評価部位の移動軌跡に依存する場合でも解析区間を正確に決定できるようになる。

(7) 評価部位の指定を受け付ける手段を具備し、指定された評価部位の位置を推定するようにしたので、評価部位をユーザの意志で設定できるようになる。

(8) 動画映像に基づいて人物の動きの種別を判定する手段と、種別の判定結果に基づいて評価部位を決定する手段とを具備し、位置推定手段は、決定された評価部位の位置を推定するようにしたので、ユーザに専門知識や負担を強いることなく最適な評価部位を自動的に設定することができ、最適な解析区間を決定できるようになる。

(9) 評価部位の位置に基づいて決定した解析区間よりも所定の時間だけ前のタイミングを解析区間の開始タイミングとみなすようにしたので、映像解析に重要となる解析区間の開始タイミングの抽出漏れを防ぐことができるようになる。

本発明が適用される映像分析システムの構成を示したブロック図である。 ローカル端末の第１実施形態の構成を示した機能ブロック図である。 抽出対象の骨格を示した図である。 第１実施形態による解析区間の決定方法を示した図（その１）である。 第１実施形態による解析区間の決定方法を示した図（その２）である。 ローカル端末の第２実施形態の構成を示した機能ブロック図である。 ローカル端末の第３実施形態の構成を示した機能ブロック図である。 第３実施形態による解析区間の決定方法を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用される映像分析システムの構成を示したブロック図であり、カメラおよび通信機能に加えて本発明に係る動画変換機能を備えたローカル端末１と、ローカル端末１が撮影したカメラ映像を、例えばWi-Fi、無線基地局BSおよびネットワークNW経由で取得し、分析する映像分析サーバ２とを主要な構成としている。ただし、ローカル端末１の処理能力が十分に高ければ、ローカル端末１のみで映像分析システムを構成することもできる。

ローカル端末１は、運動、演舞あるいはトレーニング等するユーザのカメラ映像を骨格レベルで解析し、ユーザの動きを詳細に分析すべき解析区間とそれ以外の非解析区間とに分類する。ローカル端末１は更に、非解析区間のビットレートが解析区間のビットレートよりも低下するようにカメラ映像を変換し、変換後カメラ映像を蓄積し、更には映像分析サーバ２へ配信する。

本実施形態では、非解析区間のビットレートが減ぜられた結果、変換後のカメラ映像のデータ量は変換前のカメラ映像のデータ量よりも減ぜられるので、ローカル端末１がカメラ映像の保存に要する記憶容量を減じ、またローカル端末１から映像分析サーバ２への映像配信に係るトラヒック量を減じることができる。

前記映像分析サーバ２では、受信した変換後カメラ映像を専門家等がモニター上で確認する。このとき、分析区間の映像はビットレートが低下していないので十分な映像品質を維持している。したがって、専門家等は高品位の映像を参照しながらユーザの動きを細かく分析し、正確なアドバイスやコーチングをユーザに提供できるようになる。

図２は、前記ローカル端末１の第１実施形態の機能ブロック図であり、映像取得部１０１、人物領域抽出部１０２、骨格情報抽出部１０３、位置推定部１０４、解析区間決定部１０５および映像変換部１０６を主要な構成としている。

このようなローカル端末１は、汎用のコンピュータやモバイル端末に、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。本実施形態では、ローカル端末１をスマートフォンやタブレット端末で代用する場合を例にして説明する。

前記映像取得部１０１は、ローカル端末１のカメラ機能が撮影したユーザのカメラ映像（動画像）をフレーム単位で取得する。人物領域抽出部１０２は、カメラ映像の各フレーム画像から人物領域を抽出する。人物領域の抽出には、例えばSSD (Single Shot Multibox Detector) を用いることができる。

骨格情報抽出部１０３は、フレーム画像の人物領域から、予め抽出対象として登録されている骨格を抽出し、その位置情報や他の骨格との連結状態を骨格情報として登録する。骨格情報の抽出には、既存の骨格抽出技術 (Cascaded Pyramid Network) を用いることができる。

図３は、前記骨格情報抽出部１０３が抽出対象とする骨格を示した図であり、左右の肘関節P3，P6、左右の手首関節P4，P7、左右の膝関節P9，P12および左右の足首関節P10，P13ならびにこれらの関節を連結する骨などが抽出される。

なお、骨格の抽出手法は、上記のように予め抽出した人物領域を対象とする方法に限定されない。例えば、非特許文献１に開示されるように、フレーム画像から抽出した特徴マップに対して、身体パーツの位置をエンコードするConfidence Mapおよび身体パーツ間の連結性をエンコードするPart Affinity Fields（PAFs）を用いた二つの逐次予測プロセスを順次に適用し、フレーム画像から抽出した人物オブジェクト（ユーザ）の身体パーツの位置および連結性をボトムアップ的アプローチにより一回の推論で推定することでスケルトンモデルを構築してもよい。

このとき、異なる部分領域から抽出した身体パーツの連結性を推定対象外とする処理を実装することで、身体パーツの位置および連結性を部分領域ごとに、すなわちユーザごとにオブジェクトのスケルトンモデルを推定できるようになる。

位置推定部１０４は、ユーザが指定した評価部位を評価部位指定受付部１０４ａで受け付け、指定された評価部位に対応した骨格の位置Pを推定する。

解析区間決定部１０５は、前記位置推定部１０４が推定した評価部位の位置Pと所定の基準部位との相対的な位置関係を計算し、この位置関係が所定の開始要件を充足したタイミングを解析区間の始点として登録し、所定の終了要件を充足したタイミングを解析区間の終点として登録する。基準部位は評価部位以外のいずれかの骨格位置に設定することができる。

図４は、ユーザのゴルフスイング映像を対象に解析区間を決定する方法を示した図である。ゴルフスイングの評価では左手の動きが重要となるので左手首関節P7が評価部位に指定され、基準部位として例えば頭部Hが設定される。なお、図３のように頭部を骨格情報として直接抽出できない場合は、鼻骨格P0の位置あるいは両目P14，P15の中心位置等で頭部Hの位置を代表できる。

そして、ゴルフスイングを評価する際は、バックスイングからダウンスイングに切り替わり、その後、フォロースイングに至るまでを解析区間とすることが望ましい。一般的に、右利きユーザのスイングがバックスイングからダウンスイングに切り替わるタイミングでは、左手首関節P7が頭部Hの右側に位置し、フォロースイングの終了タイミングでは、左手首関節P7が頭部Hの左下方に位置することが経験的に認められる。

そこで、本実施形態ではスイングがバックスイングからダウンスイングに切り替わる時刻t1からフォロースイングが終了する時刻t2までが解析区間に決定されるように、左手首関節P7が頭部Hの右側に移動している位置関係を解析区間の開始要件として登録し、その後、左手首関節P7が頭部Hの左下方位置まで移動した位置関係を解析区間の終了要件として規定する。これにより、バックスイングからダウンスイングに切り替わり、その後、フォロースイングに至るまでの映像区間を解析区間とすることができる。

本実施形態によれば、解析区間が評価部位と基準部位との相対的な位置関係に依存する場合に解析区間を正確に決定できるようになる。

なお、解析区間の抽出においては、特に開始タイミングに遅れが生じないようにすることが望ましい。そこで、図５に示したように、評価部位と基準部位との相対的な位置関係に基づいて開始タイミングt1が検知されると、解析区間が当該タイミングt1よりも所定時間αだけ遡るようにしても良い。

このようにすれば、映像解析に重要となる解析区間の開始タイミングの抽出漏れを防ぐことができるようになる。

映像変換部１０６は、非解析区間のビットレートが解析区間のビットレートよりも相対的に低下するようにカメラ映像のビットレートを低下させる。このとき、映像変換部１０６は解析区間のビットレートを撮影時のビットレートに維持したまま、非解析区間のビットレートのみを選択的に低下させることができる。あるいは解析区間および非解析区間のビットレートをいずれも低下させ、その際、非解析区間のビットレートが解析区間のビットレートよりも相対的に低くなるようにしても良い。

前記映像変換部１０６はビットレートの変換にあたり、非解析区間のフレームレートを解析区間のフレームレートよりも低下させることができる。例えば、カメラ映像が30fpsのフレームレートで撮影されていれば、解析区間は30fpsのフレームレートを維持したまま非解析区間のフレームレートのみを、例えば10fpsまで低下させるようにしても良い。

あるいは、解析区間のフレームレートは20fpsまで低下させる一方、非解析区間のフレームレートは10fpsまで低下させるというように、フレームレートの低下率を異ならせるようにしても良い。

さらに、カメラ映像がカラー画像であれば非解析区間のみをモノクロ映像に変換することでビットレートを変換しても下げても良いし、あるいは非解析区間の解像度を解析区間よりも低解像に変換することでビットレートを下げても良い。

本実施形態によれば、高品質映像を用いた解析が望ましい解析区間を正確に決定できるのみならず、高品質映像による分析が要請されない非解析区間のビットレートを、高品質映像による分析が要請される解析区間のビットレートよりも低下させるので、映像分析の精度や確度に影響を与えることなくカメラ映像の転送データ量や記憶容量を削減できるようになる。

図６は、ローカル端末１の第２実施形態の機能ブロック図であり、図２と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は、位置推定部１０４が動き種別判別部１０４ｂおよび評価部位決定部１０４ｃを具備し、評価部位がカメラ映像に基づいて自動的に設定されるようにした点に特徴がある。

動き種別判別部１０４ｂは、カメラ映像を予め学習した推定モデルに適用することでユーザの動き種別を判別する。例えば、前記図４，５を参照して説明したゴルフスイングのカメラ映像が入力されるとユーザの動き種別を「ゴルフスイング」と判別する。

評価部位決定部１０４ｃは、ユーザの動き種別の判別結果に基づいて、当該動き種別に対する解析区間の決定指標となる評価部位、基準部位ならびに前記解析区間の開始要件および終了要件を、予め登録されている動き種別との対応関係に基づいて決定する。

例えば、ユーザの動き種別が「ゴルフスイング」と判別されると、評価部位が「左手首関節」、基準部位が「頭部」、開始要件が「左手首関節が頭部の右側」、終了要件として「左手首関節が頭部の左下側」に決定される。

本実施形態によれば、カメラ映像に基づいて、解析区間の決定指標となる評価部位、開始要件、終了要件が自動的に決定されるので、ユーザに専門知識や負担を強いることなく、ユーザの動き種別や最適な解析区間を自動的に決定できるようになる。

図７は、本発明の第３実施形態に係る映像変換機能を備えたローカル端末１の主要部の構成を示した機能ブロック図であり、図２と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は、評価部位の移動の軌跡に基づいて解析区間を決定するために、解析区間決定部１０５が軌跡登録部１０５ａを具備した点に特徴がある。

図８は、第３実施形態における解析区間の決定方法を説明するための図であり、ここではゴルフスイング中の左手首関節P7の位置を例にして、その軌跡TRに基づいて解析区間を決定する方法を説明する。

ゴルフスイングのように、手や足に規則的、画一的な動きを要求されるシーンでは、各関節が所定の規則通りに動いているか否かが分析指標となり得る。そこで、本実施形態では位置推定部１０４が推定した左手首関節P7の軌跡TRを軌跡登録部１０５ａに登録し、軌跡上で左手首関節P7の位置が所定の開始要件を充足する開始タイミングから終了要件を充足する終了タイミングまでを解析区間に決定する。

本実施形態では、バックスイングからダウンスイングに切り替わり、その後、フォロースウイングが終了するまでの区間を解析区間に決定すべく、バックスイングからダウンスイングに切り替わる際に左手首関節P7の位置がUターンすることに着目し、左手首関節P7の軌跡TRがUターンしたことが開始要件として登録される。

さらに、ダウンスイングからフォロースイングに切り替わる際に軌跡TRが下向きの円弧に沿って降下し、インパクト後に上昇に転じることに着目し、軌跡TRが下向きの円弧に沿って降下から上昇に転じ、更に所定の時間が経過したことが終了要件として登録される。これにより、バックスイングがダウンスイングに切り替わる時刻t1からフォロースイングに至る時刻t2までを解析区間とすることができる。

本実施形態によれば、解析区間の開始タイミングおよび終了タイミングが評価部位の移動軌跡に依存する場合に解析区間を正確に決定できるようになる。

なお、上記の第１，第３実施形態では一つの評価部位に注目し、対応する基準部位との相対的な位置関係（第１実施形態）、あるいは移動軌跡（第３実施形態）に基づいてユーザの動きを評価するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、第１、第３実施形態を組み合わせ、注目した評価部位と基準部位との相対的な位置関係が対応する開始要件を充足し、かつ当該評価部位の移動軌跡が対応する開始要件を充足したときに開始タイミングと判断するようにしても良い。終了タイミングについても同様である。

さらに、上記の第１，第３実施形態では注目する評価部位が一つであったが、本発明はこれのみに限定されるものではなく、複数の評価部位に注目し、全ての評価部位が前記相対位置や移動軌跡に関して所定の開始要件を同時又は所定の順序で充足したときに開始タイミングと判断するようにしても良い。

例えば、第１実施形態のゴルフスイングにおいて、左右の肘関節P3，P6の一方を評価部位、他方を基準部位として定義し、左手首関節P7が頭部Hの右側に位置し、これと同時または前後して、更に左右の肘関節P3，P6の間隔が基準距離を下回ったことを開始要件と定義するようにしても良い。終了タイミングについても同様である。

第３実施形態であれば、左手首関節P7の軌跡TRがUターンしたことが認められ、これと同時または前後して、右膝関節の正面右方向への移動が認められたときに開始タイミングと判断するようにしても良い。終了タイミングについても同様である。

このようにすれば、解析区間が複数の評価部位とその基準部位との相対的な位置関係に依存する場合、解析区間が複数の評価部位の移動軌跡に依存する場合、あるいは解析区間が一の評価部位とその基準部位との相対的な位置関係および当該一の又は他の一の評価部位の移動軌跡の双方に依存する場合でも、解析区間を正確に決定できるようになる。

さらに、上記の各実施形態では開始要件や終了要件が充足されたか否かを同一の一つの評価部位に注目して判断するものとして説明したが、本発明はこれのみに限定されるものではなく、異なる評価部位に注目して判断するようにしても良い。

例えば、第１実施形態のゴルフスイングにおいて、左右の肘関節P3，P6の一方を評価部位、他方を基準部位と定義し、左右の肘関節P3，P6の間隔が基準距離を下回ったことを開始要件とし、その後、左手首関節P7が頭部Hの左下方位置まで移動したことを終了要件としても良い。

第３実施形態であれば、右膝関節の正面右方向への移動が認められたことを開始要件とし、その後、左手首関節P7の軌跡が下向きの円弧に沿って降下から上昇に転じ、更に所定の時間が経過したことを終了要件としても良い。

さらに、第１，第３実施形態を組み合わせ、評価部位と基準部位との相対的な位置関係および評価部位の移動軌跡のうち、一方が所定の開始要件を充足したときに開始タイミングと判断し、他方が所定の終了要件を充足したときに終了タイミングと判断するようにしても良い。

このようにすれば、解析区間の開始タイミングおよび終了タイミングが、複数の異なる評価部位の位置や軌跡に依存する場合も解析区間を正確に決定できるようになる。

さらに、データの変換対象となるカメラ映像はカメラからリアルタイムで出力される動映像に限定されるものではなく、予めカメラで撮影し、一時的に記憶解体等に記憶されていた動画映像であっても良い。

１…ローカル端末，２…映像分析サーバ，１０１…映像取得部，１０２…人物領域抽出部，１０３…骨格情報抽出部，１０４…位置推定部，１０４ａ…評価部位指定受付部，１０４ｂ…動き種別判別部，１０４ｃ…評価部位決定部，１０５…解析区間決定部，１０５ａ…軌跡登録部，１０６…映像変換部

Claims (14)

1. 人物を被写体とする動画映像のデータ量を変換する映像変換装置において、
   各フレームから人物の骨格情報を抽出する抽出手段と、
   骨格情報に基づいて所定の評価部位の位置を推定する位置推定手段と、
   前記評価部位の位置に基づいて解析区間を決定する決定手段と、
   非解析区間のビットレートを解析区間のビットレートよりも低いビットレートに変換してデータ量を減じる変換手段とを具備したことを特徴とする映像変換装置。
2. 前記位置推定手段は、骨格情報に基づいて所定の基準部位の位置を更に推定し、
   前記決定手段は、評価部位と基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定することを特徴とする請求項１に記載の映像変換装置。
3. 前記位置推定手段は、骨格情報に基づいて複数の評価部位および対応する複数の基準部位の各位置を推定し、
   前記決定手段は、各評価部位と対応する各基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから、各評価部位と対応する各基準部位との相対的な位置関係が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定することを特徴とする請求項１に記載の映像変換装置。
4. 前記位置推定手段は、骨格情報に基づいて複数の評価部位および対応する複数の基準部位の各位置を推定し、
   前記決定手段は、一の評価部位と対応する一の基準部位との相対的な位置関係が所定の開始要件を充足する開始タイミングから、他の一の評価部位と対応する他の一の基準部位との相対的な位置関係が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定することを特徴とする請求項１に記載の映像変換装置。
5. 前記決定手段は、評価部位の移動軌跡が所定の開始要件を充足する開始タイミングから所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定することを特徴とする請求項１に記載の映像変換装置。
   
6. 前記位置推定手段は、骨格情報に基づいて所定の基準部位の位置を更に推定し、
   前記決定手段は、評価部位と基準部位との相対的な位置関係および評価部位の移動軌跡の、一方が所定の開始要件を充足する開始タイミングから他方が所定の終了要件を充足する終了タイミングまでの映像を解析区間に決定することを特徴とする請求項１に記載の映像変換装置。
7. 前記変換手段は、前記解析区間のビットレートを維持したまま非解析区間のビットレートを低下させることを特徴とする請求項１ないし６のいずれかに記載の映像変換装置。
8. 前記変換手段は、前記解析区間および非解析区間の各ビットレートを、非解析区間のビットレートが解析区間のビットレートよりも低くなるように、いずれも低下させることを特徴とする請求項１ないし６のいずれかに記載の映像変換装置。
9. 前記変換手段は、非解析区間のフレームレートを解析区間のフレームレートよりも低いフレームレートに変換することを特徴とする請求項１ないし８のいずれかに記載の映像変換装置。
10. 評価部位の指定を受け付ける手段を具備し、
    前記位置推定手段は、指定された評価部位の位置を推定することを特徴とする請求項１ないし９のいずれかに記載の映像変換装置。
11. 前記動画映像に基づいて人物の動きの種別を判定する手段と、
    前記動種別の判定結果に基づいて評価部位を決定する手段とを具備し、
    前記位置推定手段は、決定された評価部位の位置を推定することを特徴とする請求項１ないし１０のいずれかに記載の映像変換装置。
12. 前記決定手段は、前記評価部位の位置に基づいて決定した解析区間よりも所定の時間だけ前のタイミングを解析区間の開始タイミングとみなすことを特徴とする請求項１ないし１１のいずれかに記載の映像変換装置。
13. コンピュータが、人物を被写体とする動画映像のデータ量を変換する映像変換方法において、
    各フレームから人物の骨格情報を抽出し、
    骨格情報に基づいて所定の評価部位の位置を推定し、
    前記評価部位の位置に基づいて解析区間を決定し、
    非解析区間のビットレートを解析区間のビットレートよりも低いビットレートに変換することを特徴とする映像変換方法。
14. 人物を被写体とする動画映像のデータ量を変換する映像変換プログラムにおいて、
    各フレームから人物の骨格情報を抽出する手順と、
    骨格情報に基づいて所定の評価部位の位置を推定する手順と、
    前記評価部位の位置に基づいて解析区間を決定する手順と、
    非解析区間のビットレートを解析区間のビットレートよりも低いビットレートに変換する手順と、をコンピュータに実行させる映像変換プログラム。

Images