JP2013021482A - 映像アノテーション付与装置およびその動作方法 - Google Patents
映像アノテーション付与装置およびその動作方法 Download PDFInfo
- Publication number
- JP2013021482A JP2013021482A JP2011152899A JP2011152899A JP2013021482A JP 2013021482 A JP2013021482 A JP 2013021482A JP 2011152899 A JP2011152899 A JP 2011152899A JP 2011152899 A JP2011152899 A JP 2011152899A JP 2013021482 A JP2013021482 A JP 2013021482A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- annotation
- graphic
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】生成済みのアノテーションから別のアノテーションを自動的に生成し提示する。
【解決手段】アノテーション生成部7は、ユーザの端末からアノテーションを受信したなら、データ蓄積管理部3に要求を送信し、データ記憶部4から読み出されたオブジェクトデータ、関連づけデータと、アノテーションとを基に、アノテーションを生成し、データ蓄積管理部3に送信する。データ蓄積管理部3は、アノテーションをデータ記憶部4に記憶させる。映像情報提示部5は、データ蓄積管理部3に要求を送信し、データ記憶部4から読み出されたアノテーションをユーザの端末に送信し提示する。
【選択図】図1
【解決手段】アノテーション生成部7は、ユーザの端末からアノテーションを受信したなら、データ蓄積管理部3に要求を送信し、データ記憶部4から読み出されたオブジェクトデータ、関連づけデータと、アノテーションとを基に、アノテーションを生成し、データ蓄積管理部3に送信する。データ蓄積管理部3は、アノテーションをデータ記憶部4に記憶させる。映像情報提示部5は、データ蓄積管理部3に要求を送信し、データ記憶部4から読み出されたアノテーションをユーザの端末に送信し提示する。
【選択図】図1
Description
本発明は、映像アノテーション付与装置およびその動作方法に関するものである。
映像の任意の時刻に対して、テキストデータ、映像への描画などの図形データによるアノテーションやビデオ関連画像を受け付ける従来技術として非特許文献1がある。この文献での映像掲示板について図2を参考に説明する。
映像掲示板では、映像再生部21に再生されている映像の任意の時刻に対し、テキストデータ受付部22や関連画像登録部23からテキストデータや関連画像を登録することができる。登録されたテキストデータや関連画像は、映像の再生中の当該時刻に、アノテーション提示部24や関連画像提示部25に提示される。
このような映像連動型掲示板により、映像内容の補足説明の追加や、映像内容に基づいて議論することができるのでノウハウを発見・共有する用途に活用できる。
図2では、サッカーの映像からパスの候補領域を推定する非特許文献2の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である関連画像Aと、サッカーフィールドを俯瞰した画像に分析結果を図示したコンピュータグラフィックスの分析画像である関連画像Bと、分析結果を参考に戦術について専門家が登録したテキストデータとが提示された様子を示している。
関連画像Aでは、成功する確率の高いパスコースを符号A1で、関連画像Bでは符号B1でそれぞれ示している。図2の映像連動型掲示板の状態から、映像や関連画像に対し、描画した図形データやテキストデータによるアノテーションを追加することで、アノテーション付与者の主張をより具体的に表現したり、議論を効率よく行ったりできるようになる。
嶌田聡,東正造,寺中晶郁,小島明:映像シーン連動型コミュニケーションからのノウハウ百科事典の生成,電子情報通信学会 AI研究会 , pp.35-40 ,2009.
高橋翔,今宏史,長谷山美紀:アクティブネットを用いたサッカー映像におけるパス可能領域の推定, 電子情報通信学会論文誌, J92-D, 4, pp.501-510, 2009.
従来技術において、映像や映像に関連する関連画像にテキストデータや図形データのアノテーションを付与することにより、画像の視覚的特徴を活用したノウハウ発見・共有が行うことができた。
しかしながら、従来技術では、同じ内容のアノテーションをテキストデータと図形データの各アノテーション種別で付与したい場合にはそれぞれの方法でアノテーション付与を行う必要があり手間がかかることが問題であった。たとえば、図2において、「ボールを保持している選手の右前方にパスを出した方がよい」というテキストデータを登録するときに、映像への描画、関連画像Aへの描画、関連画像Bへの描画、テキストデータの投入の4回の登録作業を行う必要がある。4回の登録を行わずに代表的なアノテーションのみ付与する運用方法もあるが、映像や各関連画像に直接描画されている方がより理解しやすいこと、テキストデータが登録されていれば返信コメントがつけやすい、キーワード検索に利用できる、合成音声による読み上げが可能になることから、1回の登録処理で同じ内容のアノテーションを自動付与することが求められている。
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、生成済みのアノテーションから別のアノテーションを自動的に生成し提示できる映像アノテーション付与装置およびその動作方法を提供することにある。
上記の課題を解決するために、第1の本発明は、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させるアノテーション取得手段と、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段と、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段と、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段とを備えることを特徴とする映像アノテーション付与装置をもって解決手段とする。
第1の本発明において、例えば、映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する。
第2の本発明は、映像アノテーション付与装置の動作方法であって、前記映像アノテーション付与装置のアノテーション取得手段が、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させ、前記映像アノテーション付与装置のオブジェクト領域検出手段が、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記映像アノテーション付与装置のアノテーション付与手段が、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記映像アノテーション付与装置の情報提示手段が、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示することを特徴とする映像アノテーション付与装置の動作方法をもって解決手段とする。
第2の本発明において、例えば、前記映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、前記動作方法は、前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する。
本発明によれば、生成済みのアノテーションから別のアノテーションを自動的に生成し提示することができる。
以下、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
図1は、第1の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。図2は、アノテーション付与装置に通信回線を介して接続され、ユーザに使用される端末の画面構成の一例を示す図である。
図1は、第1の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。図2は、アノテーション付与装置に通信回線を介して接続され、ユーザに使用される端末の画面構成の一例を示す図である。
図1に示すように、映像アノテーション付与装置は、映像登録部1、オブジェクト領域検出部2、データ蓄積管理部3、データ記憶部4、映像情報提示部5、アノテーション受付部6、アノテーション生成部7を備える。
図2に示すように、端末の画面は、映像再生部21、テキストデータ受付部22、関連画像登録部23、アノテーション提示部24、関連画像提示部25を備える。
図1に戻り、映像登録部1は、映像ファイル(以下、映像)を読み取り、オブジェクト領域検出部2に転送する。
オブジェクト領域検出部2は、映像を構成する各シーンの画像(以下、対象画像という)に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域(位置、大きさ、色など)を示すオブジェクトデータを作成し、データ蓄積管理部3に送信する。
また、オブジェクト領域検出部2は、対象画像を分析し、分析結果を示す画像つまり対象画像に関連する画像(以下、関連画像という)を生成し、データ蓄積管理部3に送信する。なお、関連画像は分析画像に限られない。
また、オブジェクト領域検出部2は、関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域(位置、大きさ、色など)を示すオブジェクトデータを作成し、関連画像とオブジェクトデータをデータ蓄積管理部3に送信する。
また、オブジェクト領域検出部2は、対象画像のオブジェクトの領域と関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、データ蓄積管理部3に送信する。
データ蓄積管理部3は、オブジェクト領域検出部2から送信された映像、対象画像のオブジェクトデータ、関連画像、関連画像のオブジェクトデータ、関連づけデータをデータ記憶部4に記憶させる。
また、データ蓄積管理部3は、映像情報提示部5からの要求に応じて、データ記憶部4から映像、関連画像を読み出し、映像情報提示部5に送信する。
また、データ蓄積管理部3は、アノテーション生成部7からの要求に応じて、データ記憶部4からオブジェクトデータ、関連づけデータを読み出し、アノテーション生成部7に送信する。
また、データ蓄積管理部3は、アノテーション生成部7から送信されたアノテーションとしてのテキストデータや図形データをデータ記憶部4に記憶させる。
また、データ蓄積管理部3は、映像情報提示部5からの要求に応じて、データ記憶部4からアノテーション(テキストデータや図形データ)を読み出し、映像情報提示部5に送信する。
映像情報提示部5は、データ蓄積管理部3に要求を送信し、データ記憶部4から読み出されたた映像、関連画像、アノテーションを端末に送信し、ユーザに提示する。
アノテーション受付部6は、ユーザの端末から、アノテーション(テキストデータや図形データ)を受信し、これをアノテーション生成部7に転送する。
アノテーション生成部7は、アノテーションを受信したなら、データ蓄積管理部3に要求を送信し、データ記憶部4から読み出されたオブジェクトデータ、関連づけデータと、アノテーション受付部6から送信されたアノテーションとを基に、アノテーションを生成し、全てのアノテーションをデータ蓄積管理部3に送信する。
(第1の実施の形態における動作)
次に、映像アノテーション付与装置の動作を説明する。
ここでは、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
次に、映像アノテーション付与装置の動作を説明する。
ここでは、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
図1において、映像登録部1は、例えば、サッカーの映像を読み取り、オブジェクト領域検出部2に転送する。
オブジェクト領域検出部2は、映像を構成する各対象画像(以下、対象画像Sという)を分析し、分析結果を示す、例えば、2つの関連画像(以下、関連画像A、Bという)を生成する。なお、関連画像の数は各対象画像Sで等しくなくてもよい。
また、オブジェクト領域検出部2は、対象画像Sに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部2は、関連画像Aに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部2は、関連画像Bに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部2は、関連画像Aに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部2は、関連画像Bに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
図3は、オブジェクトデータの構成の一例を示す図である。
映像の1分10秒経過時の対象画像Sに含まれるオブジェクトの識別情報(以下、識別情報を「ID」という)「1」のオブジェクト(例えば、サッカーボール)の領域を示すオブジェクトデータは、対象画像SのID、オブジェクトID、オブジェクトの位置を示す座標(x11、y11)、領域の大きさを示すデータS11、領域の色の特徴ベクトルv11を含む。
映像の1分10秒経過時の対象画像Sに含まれるオブジェクトの識別情報(以下、識別情報を「ID」という)「1」のオブジェクト(例えば、サッカーボール)の領域を示すオブジェクトデータは、対象画像SのID、オブジェクトID、オブジェクトの位置を示す座標(x11、y11)、領域の大きさを示すデータS11、領域の色の特徴ベクトルv11を含む。
対象画像Sに含まれるオブジェクトID「2」のオブジェクト(例えば、サッカーボールの近傍の1選手)の領域を示すオブジェクトデータは、対象画像SのID、オブジェクトID、オブジェクトの位置を示す座標(x12、y12)、領域の大きさを示すデータS12、領域の色の特徴ベクトルv12を含む。
対象画像Sに含まれるオブジェクトID「3」のオブジェクト(例えば、サッカーボールから離れている1選手)の領域を示すオブジェクトデータは、対象画像SのID、オブジェクトID、オブジェクトの位置を示す座標(x13、y13)、領域の大きさを示すデータS13、領域の色の特徴ベクトルv13を含む。
関連画像Aに含まれるオブジェクトID「1」のオブジェクト(例えば、サッカーボール)の領域を示すオブジェクトデータは、関連画像AのID、オブジェクトID、オブジェクトの位置を示す座標(x21、y21)、領域の大きさを示すデータS21、領域の色の特徴ベクトルv21を含む。
関連画像Aに含まれるオブジェクトID「2」のオブジェクト(例えば、サッカーボールの近傍の1選手)の領域を示すオブジェクトデータは、関連画像AのIDオブジェクトID、オブジェクトの位置を示す座標(x22、y22)、領域の大きさを示すデータS22、領域の色の特徴ベクトルv22を含む。
関連画像Aに含まれるオブジェクトID「3」のオブジェクト(例えば、サッカーボールから離れている1選手)の領域を示すオブジェクトデータは、関連画像AのID、オブジェクトID、オブジェクトの位置を示す座標(x23、y23)、領域の大きさを示すデータS23、領域の色の特徴ベクトルv23を含む。
関連画像Bに含まれるオブジェクトID「1」のオブジェクト(例えば、サッカーボール)の領域を示すオブジェクトデータは、関連画像BのID、オブジェクトID、オブジェクトの位置を示す座標(x31、y31)、領域の大きさを示すデータS31、領域の色の特徴ベクトルv31を含む。
関連画像Bに含まれるオブジェクトID「2」のオブジェクト(例えば、サッカーボールの近傍の1選手)の領域を示すオブジェクトデータは、関連画像BのID、オブジェクトID、オブジェクトの位置を示す座標(x32、y32)、領域の大きさを示すデータS32、領域の色の特徴ベクトルv32を含む。
関連画像Bに含まれるオブジェクトID「3」のオブジェクト(例えば、サッカーボールから離れている1選手)の領域を示すオブジェクトデータは、関連画像BのID、オブジェクトID、オブジェクトの位置を示す座標(x33、y33)、領域の大きさを示すデータS33、領域の色の特徴ベクトルv33を含む。
また、オブジェクト領域検出部2は、対象画像Sのオブジェクトの領域と関連画像Aのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部2は、対象画像Sのオブジェクトの領域と関連画像Bのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部2は、関連画像Aのオブジェクトの領域と関連画像Bのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部2は、対象画像Sのオブジェクトの領域と関連画像Bのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部2は、関連画像Aのオブジェクトの領域と関連画像Bのオブジェクトの領域を関連づける関連づけデータを作成する。
図4は、関連づけデータの構成の一例を示す図である。
対象画像Sのオブジェクト(例えば、サッカーボール)の領域と関連画像Aのオブジェクト(同じくサッカーボール)の領域を関連づける関連づけデータは、対象画像SのID、関連画像AのID、対象画像Sに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」、関連画像Aに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」を含む。
対象画像Sのオブジェクト(例えば、サッカーボール)の領域と関連画像Aのオブジェクト(同じくサッカーボール)の領域を関連づける関連づけデータは、対象画像SのID、関連画像AのID、対象画像Sに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」、関連画像Aに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」を含む。
また、対象画像Sのオブジェクト(例えば、サッカーボールの近傍の1選手)の領域と関連画像Aのオブジェクト(同じ選手)の領域を関連づける関連づけデータは、対象画像SのID、関連画像AのID、対象画像Sに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「2」、関連画像Aに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「2」を含む。
また、対象画像Sのオブジェクト(例えば、サッカーボールから離れている1選手)の領域と関連画像Aのオブジェクト(同じ選手)の領域を関連づける関連づけデータは、対象画像SのID、関連画像AのID、対象画像Sに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「3」、関連画像Aに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「3」を含む。
対象画像Sのオブジェクト(例えば、サッカーボール)の領域と関連画像Bのオブジェクト(同じくサッカーボール)の領域を関連づける関連づけデータは、対象画像SのID、関連画像BのID、対象画像Sに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」、関連画像Bに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」を含む。
また、対象画像Sのオブジェクト(例えば、サッカーボールの近傍の1選手)の領域と関連画像Bのオブジェクト(同じ選手)の領域を関連づける関連づけデータは、対象画像SのID、関連画像BのID、対象画像Sに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「2」、関連画像Bに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「2」を含む。
また、対象画像Sのオブジェクト(例えば、サッカーボールから離れている1選手)の領域と関連画像Bのオブジェクト(同じ選手)の領域を関連づける関連づけデータは、対象画像SのID、関連画像BのID、対象画像Sに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「3」、関連画像Bに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「3」を含む。
関連画像Aのオブジェクト(例えば、サッカーボール)の領域と関連画像Bのオブジェクト(同じくサッカーボール)の領域を関連づける関連づけデータは、関連画像AのID、関連画像BのID、関連画像Aに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」、関連画像Bに含まれるオブジェクト(同じくサッカーボール)のオブジェクトデータに含まれるオブジェクトID「1」を含む。
また、関連画像Aのオブジェクト(例えば、サッカーボールの近傍の1選手)の領域と関連画像Bのオブジェクト(同じ選手)の領域を関連づける関連づけデータは、関連画像AのID、関連画像BのID、関連画像Aに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「2」、関連画像Bに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「2」を含む。
また、関連画像Aのオブジェクト(例えば、サッカーボールから離れている1選手)の領域と関連画像Bのオブジェクト(同じ選手)の領域を関連づける関連づけデータは、関連画像AのID、関連画像BのID、関連画像Aに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「3」、関連画像Bに含まれるオブジェクト(同じ選手)のオブジェクトデータに含まれるオブジェクトID「3」を含む。
図1に戻り、オブジェクト領域検出部2は、サッカーの映像(つまり各対象画像S)、関連画像A、B、各オブジェクトデータ、各関連づけデータをデータ蓄積管理部3に送信する。データ蓄積管理部3は、これらを関連づけてデータ記憶部4に記憶させる。
映像情報提示部5は、ユーザの端末からの要求に基づき、データ蓄積管理部3に要求を送信し、これによりデータ蓄積管理部3がデータ記憶部4から読み出したサッカーの映像を受信し、映像を端末に送信し、図2の映像再生部21に提示する。
また、映像情報提示部5は、データ蓄積管理部3に要求を送信し、これによりデータ蓄積管理部3が読み出した関連画像A、B、アノテーションを受信し、これらを端末に送信し、図2の関連画像提示部25に関連画像A、Bを提示し、アノテーション提示部24にアノテーション(テキストデータ)を提示し、映像再生部21に提示された対象画像Sや関連画像提示部25に提示された関連画像に重ねてアノテーション(図形データによる図形)を提示する。
図5は、アノテーション生成部7がアノテーション受付部6からアノテーションとしての図形データを受信した場合の処理の流れを示すフローチャートである。
図6は、図形データの基になる図形が端末にて描画された様子を示す図である。
図6は、図形データの基になる図形が端末にて描画された様子を示す図である。
例えば、関連画像提示部25には、対象画像Sに対応する関連画像A、Bが提示されている。
関連画像Aは、ここでは、サッカーの映像からパスの候補領域を推定する非特許文献2の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である。符号A1は、パスが成功する確率が高いコースを示す。
関連画像Aは、ここでは、サッカーの映像からパスの候補領域を推定する非特許文献2の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である。符号A1は、パスが成功する確率が高いコースを示す。
関連画像Bは、サッカーフィールドを俯瞰した図に分析結果を図示したコンピュータグラフィックスの分析画像である。符号B1は、パスが成功する確率が高いコースを示す。
ここで、ユーザは、マウス(入力装置)などを使用して、映像再生部21に表示された映像の1分10秒経過時の画像(対象画像S)の上でポインタを動かし矢印AR1、AR2を描画する。端末は、各矢印の図形データをアノテーション受付部6に送信する。アノテーション受付部6は、図形データが送信されたことを映像情報提示部5に通知し、図形データをアノテーション生成部7に転送する。
アノテーション生成部7は、アノテーション受付部6から当該図形データを受信すると、データ蓄積管理部3に要求し、データ蓄積管理部3がデータ記憶部4から読み出した、対象画像S、関連画像A、Bについて生成されたオブジェクトデータを取得する(S1)。例えば、対象画像S、関連画像A、Bのそれぞれについて、複数のオブジェクトデータが取得される。
次に、アノテーション生成部7は、データ蓄積管理部3に要求し、データ蓄積管理部3がデータ記憶部4から読み出した、対象画像Sから生成された関連画像A、Bの合計数N(この場合N=2)を計算する(S3)。
次に、アノテーション生成部7は、関連画像の数について使用される変数nを1に初期化する(S5)。
次に、アノテーション生成部7は、データ蓄積管理部3に要求し、データ蓄積管理部3がデータ記憶部4から読み出した、対象画像Sのオブジェクトの領域とn番目の関連画像(ここでは関連画像Aとする)のオブジェクトの領域を関連づける関連づけデータを取得する(S7)。例えば、関連画像Aについて、複数の関連づけデータが取得される。
次に、アノテーション生成部7は、受信した図形データにより対象画像Sに提示される図形(例えば、矢印AR1)の位置と当該オブジェクトデータと当該関連づけデータに基づいて、n番目の関連画像Aのアノテーションである図形データを生成する(S9)。
ここでは、例えば、アノテーション生成部7は、図形データから矢印AR1の始点、終点、または、その一方の位置を求め、ステップS1で取得したオブジェクトデータから、対象画像SのIDならびに当該位置または近傍の座標を含むものを選択し、選択したオブジェクトデータからオブジェクトIDを読み出し、ステップS7で取得した関連づけデータから、対象画像SのIDと対象画像SのオブジェクトIDとして当該オブジェクトIDを含むものを選択し、ステップS1で取得したオブジェクトデータから、当該関連画像AのIDと当該関連画像AでのオブジェクトIDを含むものを選択し、当該オブジェクトデータから座標を読み出し、当該座標を使用して、関連画像Aにアノテーションとして提示される図形についての図形データを生成する(S9)。アノテーション生成部7は、矢印AR2についても同様の方法で図形データを生成する(S9)。
次に、アノテーション生成部7は、変数nが合計数Nに一致するか否かを判定し(S11)、一致しなければ、変数nに1を加え(S13)、ステップS7に戻る。これにより、関連画像Bに提示される図形(2つの矢印)についての図形データが生成される(S9)。
一方、変数nが合計数Nに一致したなら、アノテーション生成部7は、アノテーションとしてのテキストデータを生成する(S15)。
テキストデータは、例えば、以下のように生成される。
ここでは、ユーザによる対象画像S上での矢印などの図形の描画に関するルールを予め設定しておく方法を説明する。
ここでは、ユーザによる対象画像S上での矢印などの図形の描画に関するルールを予め設定しておく方法を説明する。
以下、ルール1、2を設けた場合について説明する。
ルール1:ボール保持者を始点とする矢印はパスを出す方向を示し、終点はパスを受ける選手を示す。
ルール2:ボール保持者でない選手を始点とする矢印は選手の移動方向を示す。
ルール1:ボール保持者を始点とする矢印はパスを出す方向を示し、終点はパスを受ける選手を示す。
ルール2:ボール保持者でない選手を始点とする矢印は選手の移動方向を示す。
矢印AR1の始点に近いオブジェクトは、オブジェクトデータ内の座標、大きさ、色の特徴ベクトルによれば、画面の右下にいる選手であると特定できる。
さらに、その近傍にボールの大きさに相当するオブジェクトがあることから、始点のオブジェクトはボール保持者であることがわかる。
矢印AR1の終端の近傍には、始点と同じチームの選手がいて、それは始点の選手から見て右前方に位置していることがわかる。
以上の判定結果から、ルール1を適用して、矢印AR1に対応するアノテーションとしてのテキストデータ「ボール保持者の画面の右下にいる選手から右前方に位置している選出にパスを出す」が生成される。
矢印AR2については、矢印AR2の方向は画面上で右下であること、矢印AR2の始点の近くには、画面中央に位置する選手がいることが特定でき、周辺にはボールに相当するオブジェクトが存在しないことから、ルール2を適用して、アノテーションとしてのテキストデータ「画面中央にいる選出は画面上で右下に移動する」が生成される。
このように、登録する映像の種別に応じて、アノテーションとしての図形の描画に関するルールを設定しておくことで、アノテーションとしてのテキストデータを自動的に生成することができる。
図5に戻り、アノテーション生成部7は、全てのアノテーション(図形データ、テキストデータの全て)をデータ蓄積管理部3に送信する(S17)。
データ蓄積管理部3は、矢印AR1、AR2などの図形の図形データならびに生成されたテキストデータを対象画像Sに対応づけて、データ記憶部4に記憶させる。つまり、データ蓄積管理部3は、これらのアノテーションを対象画像Sに付与する(S19)。
また、データ蓄積管理部3は、関連画像A、Bについて生成された図形データをそれぞれの関連画像に対応づけて、データ記憶部4に記憶させる。つまり、データ蓄積管理部3は、これらのアノテーションを関連画像A、Bに付与する(S19)。
映像情報提示部5は、アノテーション受付部6からの通知により、データ蓄積管理部3に要求を送信し、これによりデータ蓄積管理部3は、対象画像Sに付与されたテキストデータ、関連画像A、Bに付与された図形データをデータ記憶部4から読み出し、映像情報提示部5に送信する。映像情報提示部5は、これらのテキストデータおよび図形データを端末に送信して提示し(S21)、処理が終わる。
これにより、図6のアノテーション提示部24には、その後、生成されたテキストデータ(アノテーション)が提示され、関連画像提示部25には、その後、生成された図形データに基づく図形(アノテーション)が提示される。
図7は、アノテーション生成部7がアノテーション受付部6からアノテーションとしてのテキストデータを受信した場合の処理の流れを示すフローチャートである。
例えば、ユーザは、映像再生部21に映像の1分10秒経過時の画像である対象画像S(単に対象画像Sという)が提示されているときに、テキストデータ受付部22にテキストデータ「右下にいる選手から右前方にいる選手にパスを出すとよい。このとき、画面中央にいる選手はパスを受けやすいようにパスを出す選手の方向に移動する。」を入力する。端末は、このテキストデータをアノテーション受付部6に送信する。アノテーション受付部6は、テキストデータが送信されたことを映像情報提示部5に通知し、テキストデータをアノテーション生成部7に転送する。
アノテーション生成部7は、アノテーション受付部6から当該テキストデータを受信すると、データ蓄積管理部3に要求し、データ蓄積管理部3がデータ記憶部4から読み出した、対象画像Sのオブジェクトデータを取得する(S1a)。例えば、複数のオブジェクトデータが取得される。
次に、アノテーション生成部7は、当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、対象画像Sのアノテーションである図形データを生成する(S2)。
図形データは、例えば、以下のように生成される。
ここでは、テキストデータに形態素解析を行い、動詞句に対応する図形データをルール化しておく方法を説明する。
以下、ルール11〜14を設けた場合について説明する。
ここでは、テキストデータに形態素解析を行い、動詞句に対応する図形データをルール化しておく方法を説明する。
以下、ルール11〜14を設けた場合について説明する。
ルール11:「パスを出す」の図形表現は矢印とし、テキストデータ中に「名詞1から名詞2に」の記述があったときには、矢印の始点を「名詞1」に、終点を「名詞2に」とする。
ルール12:「パスを出す」の矢印を描画するときに、始点の選手はボール保持者とする。また、前方、後方、右側などの方向を示す表現があった場合には、その方向に矢印を描画する。
ルール13:「移動する」の図形表現は矢印とし、テキストデータ中に「名詞1は」、「名詞2に」の記述があったときには、矢印の始点を「名詞1」に、終点を「名詞2」にする。
ルール14:「移動する」の矢印を描画するときに、前方、後方、右側などの方向を示す表現があった場合には、その方向に矢印を描画する。
テキストデータの「右下にいる選手から右前方にいる選手にパスを出すとよい。」については、ルール11により、「右下にいる選手」を始点、「右前方にいる選手」を終点とするパスを表す矢印の図形データが作成される。
ルール12により、始点はボール保持者であることから、ステップS1aで取得したオブジェクトデータを用いて、画像の右下に選手に相当するオブジェクトの領域があり、その周辺にボールに相当するオブジェクトの領域があることを条件に矢印の始点を決定する。終点は右前方にいる選手に相当するオブジェクトの領域を特定することで決定する。
テキストデータの「画面中央にいる選手はパスを受けやすいようにパスを出す選手の方向に移動する」については、ルール13により「画面中央にいる選手」を始点、ルール14により「パスを出す選手の方向に」を方向とする移動を表す矢印の図形データを作成する。
ステップS1aで取得したオブジェクトデータを用いて、矢印の始点は画面中央に位置する選手に相当するオブジェクトの領域を特定することで決定する。
テキストデータの「パスを出す選手の方向に」については、前の文の分析で、パスを出す選手のオブジェクトの領域が特定されているので、その方向に矢印を描画する。
矢印の形状や色は事前に設定しておく条件に従い作成すればよい。
矢印の形状や色は事前に設定しておく条件に従い作成すればよい。
これ以降は、図5に示す処理とほぼ同様の処理がなされる。
ここでは、ステップS2で生成された図形データつまり対象画像Sのアノテーションとしての図形データは、図5に示す処理においてアノテーション生成部7が取得した図形データと同様に扱われる。
ここでは、ステップS2で生成された図形データつまり対象画像Sのアノテーションとしての図形データは、図5に示す処理においてアノテーション生成部7が取得した図形データと同様に扱われる。
また、アノテーション生成部7が取得したテキストデータは、アノテーション生成部7がステップS15で生成したテキストデータと同様に扱われ、データ記憶部4に記憶される。ステップS15は省略される。
図8は、対象画像S、関連画像A、Bのアノテーションとしての図形データにより提示される図形の提示例を示す図である。
矢印AR11、AR21、AR31が、例えば「パスする」ことを意味する場合、例えば、事前の設定に従い、「太い矢印」として表示される。
矢印AR12、AR22、AR32が、例えば、「移動する」ことを意味する場合、例えば、事前の設定に従い、「細い矢印」として表示される。
したがって、第1の実施の形態に係る映像アノテーション付与装置によれば、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し記憶手段(データ記憶部4)に記憶させるアノテーション取得手段(データ蓄積管理部3、アノテーション受付部6、アノテーション生成部7。以下、符号のみで示す)と、映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段(3、2)と、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段(3、7)と、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段(3、5)とを備えるので、アノテーションとしてのテキストデータからアノテーションとしての図形データによる図形を自動的に提示でき、または、アノテーションとしての図形データからアノテーションとしてのテキストデータを自動的に提示でき、利便性を向上させることができる。
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。第2の実施の形態では、第1の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第1の実施の形態で使用した符号を使用して重複説明を略し、第1の実施の形態とは異なる事項を中心に説明を行う。
次に、本発明の第2の実施の形態について説明する。第2の実施の形態では、第1の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第1の実施の形態で使用した符号を使用して重複説明を略し、第1の実施の形態とは異なる事項を中心に説明を行う。
図9は、第2の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
映像アノテーション付与装置は、第1の実施の形態と同様に、映像登録部1、オブジェクト領域検出部2、データ蓄積管理部3、データ記憶部4、映像情報提示部5、アノテーション受付部6、アノテーション生成部7を備える。
第2の実施の形態では、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
映像登録部1は、例えば、サッカーの映像を読み取り、データ蓄積管理部3に転送し、データ蓄積管理部3は、映像をデータ記憶部4に記憶させる。
映像情報提示部5は、ユーザの端末からの要求に基づき、データ蓄積管理部3に要求を送信し、これにより読み出されたサッカーの映像を、映像再生部21に提示する。
また、第1の実施の形態と同様に、映像の1分10秒経過時の画像である対象画像S(単に対象画像Sという)が表示されているときに登録されたアノテーション(テキストデータや図形データ)が端末から送信されたなら、アノテーション受付部6は、アノテーションをデータ蓄積管理部3に送信する。データ蓄積管理部3は、アノテーションを対象画像Sに対応づけてデータ記憶部4に記憶させる。
また、第2の実施の形態では、例えば、端末の関連画像登録部23から、対象画像Sに関連する関連画像がユーザにより登録され、端末から関連画像が送信されたなら、アノテーション受付部6は、関連画像をデータ蓄積管理部3に送信する。データ蓄積管理部3は、関連画像を対象画像Sに対応づけてデータ記憶部4に記憶させる。
また、アノテーション受付部6は、アノテーションを自動的に生成する要求を端末から受信したなら、端末から受信したアノテーションをアノテーション生成部7に転送し、端末から受信した関連画像をオブジェクト領域検出部2に転送する。
オブジェクト領域検出部2は、データ蓄積管理部3に要求し、データ蓄積管理部3から対象画像Sを取得し、第1の実施の形態と同様に、オブジェクトデータおよび関連づけデータを生成し、データ蓄積管理部3およびアノテーション生成部7に送信する。
アノテーション生成部7は、アノテーション受付部6からアノテーションを受信し、オブジェクト領域検出部2からオブジェクトデータおよび関連づけデータを受信し、第1の実施の形態と同様に、アノテーションを生成し、オブジェクトデータ、関連づけデータおよび当該生成したアノテーションをデータ蓄積管理部3に送信する。データ蓄積管理部3は、第1の実施の形態と同様に、オブジェクトデータ、関連づけデータおよびアノテーションをデータ記憶部4に記憶させる。
映像情報提示部5は、第1の実施の形態と同様に、データ蓄積管理部3に要求を送信し、これによりデータ蓄積管理部3は、対象画像Sに付与されたテキストデータ、関連画像A、Bに付与された図形データをデータ記憶部4から読み出し、映像情報提示部5に送信し、映像情報提示部5は、これらのテキストデータおよび図形データを端末に送信し、ユーザに提示する。
したがって、第2の実施の形態に係る映像アノテーション付与装置によれば、第1の実施の形態に係る映像アノテーション付与装置の構成要素に加え、前記対象画像に関連する関連画像を取得し前記記憶手段(4)に記憶させる関連画像取得手段(3、5)を備え、前記オブジェクト領域検出手段(3、2)は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段(3、6、7)は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段(3、7)は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段(3、5)は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示するので、対象画像へのアノテーションとしての図形データから関連画像へのアノテーションとしての図形データによる図形を自動的に提示でき、また、関連画像へのアノテーションとしての図形データから対象画像へのアノテーションとしての図形データによる図形を自動的に提示でき、利便性を向上させることができる。
なお、各実施の形態に係る映像アノテーション付与装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
1…映像登録部
2…オブジェクト領域検出部
3…データ蓄積管理部
4…データ記憶部
5…映像情報提示部
6…アノテーション受付部
7…アノテーション生成部
21…映像再生部
22…テキストデータ受付部
23…関連画像登録部
24…アノテーション提示部
25…関連画像提示部
2…オブジェクト領域検出部
3…データ蓄積管理部
4…データ記憶部
5…映像情報提示部
6…アノテーション受付部
7…アノテーション生成部
21…映像再生部
22…テキストデータ受付部
23…関連画像登録部
24…アノテーション提示部
25…関連画像提示部
Claims (5)
- 映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させるアノテーション取得手段と、
前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段と、
前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段と、
前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段と
を備えることを特徴とする映像アノテーション付与装置。 - 前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、
前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、
前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、
前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、
前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する
ことを特徴とする請求項1記載の映像アノテーション付与装置。 - 映像アノテーション付与装置の動作方法であって、
前記映像アノテーション付与装置のアノテーション取得手段が、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させ、
前記映像アノテーション付与装置のオブジェクト領域検出手段が、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、
前記映像アノテーション付与装置のアノテーション付与手段が、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させ、
前記映像アノテーション付与装置の情報提示手段が、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する
ことを特徴とする映像アノテーション付与装置の動作方法。 - 前記映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、
前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、
前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、
前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、
前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する
ことを特徴とする請求項3記載の映像アノテーション付与装置の動作方法。 - 請求項1または2記載の映像アノテーション付与装置としてコンピュータを機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152899A JP2013021482A (ja) | 2011-07-11 | 2011-07-11 | 映像アノテーション付与装置およびその動作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152899A JP2013021482A (ja) | 2011-07-11 | 2011-07-11 | 映像アノテーション付与装置およびその動作方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013021482A true JP2013021482A (ja) | 2013-01-31 |
Family
ID=47692490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011152899A Withdrawn JP2013021482A (ja) | 2011-07-11 | 2011-07-11 | 映像アノテーション付与装置およびその動作方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013021482A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022530785A (ja) * | 2019-09-16 | 2022-07-01 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像処理方法、装置、電子機器及びコンピュータプログラム |
JP2022122232A (ja) * | 2021-02-09 | 2022-08-22 | アウー インテリジェンス, インコーポレイテッド | 画像分類およびマーキング方法、並びに、そのシステム |
-
2011
- 2011-07-11 JP JP2011152899A patent/JP2013021482A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022530785A (ja) * | 2019-09-16 | 2022-07-01 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像処理方法、装置、電子機器及びコンピュータプログラム |
JP7164252B2 (ja) | 2019-09-16 | 2022-11-01 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 画像処理方法、装置、電子機器及びコンピュータプログラム |
US11907637B2 (en) | 2019-09-16 | 2024-02-20 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, and storage medium |
JP2022122232A (ja) * | 2021-02-09 | 2022-08-22 | アウー インテリジェンス, インコーポレイテッド | 画像分類およびマーキング方法、並びに、そのシステム |
JP7213569B2 (ja) | 2021-02-09 | 2023-01-27 | アウー インテリジェンス, インコーポレイテッド | 画像分類およびマーキング方法、並びに、そのシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200322684A1 (en) | Video recommendation method and apparatus | |
KR101060753B1 (ko) | 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 | |
CN103079092B (zh) | 在视频中获取人物信息的方法和装置 | |
CN107534796A (zh) | 检测视频节目的片段 | |
US8520967B2 (en) | Methods and apparatuses for facilitating generation images and editing of multiframe images | |
US10951873B2 (en) | Information processing apparatus, information processing method, and storage medium | |
KR101062929B1 (ko) | 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 | |
JP6756338B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
CN109255767B (zh) | 图像处理方法和装置 | |
JP6999516B2 (ja) | 情報処理装置 | |
CN109309844A (zh) | 视频台词处理方法、视频客户端及服务器 | |
US20210224322A1 (en) | Image search system, image search method and storage medium | |
CN107168974A (zh) | 显示项相关内容、社交类应用中消息的显示控制方法和装置 | |
JP5694890B2 (ja) | 注視領域データ生成装置およびその動作方法 | |
JPWO2013171857A1 (ja) | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 | |
US8824778B2 (en) | Systems and methods for depth map generation | |
JP2018511102A (ja) | インターネット漫画コンテンツの流通のための方法とシステム、および記録媒体 | |
JP6702360B2 (ja) | 情報処理方法、情報処理システム及び情報処理装置 | |
CN107659978A (zh) | 用于识别无线接入点的方法与设备 | |
JP2013021482A (ja) | 映像アノテーション付与装置およびその動作方法 | |
CN107076980A (zh) | 用于大视场显微扫描中嵌入图像的系统和方法 | |
US20160292174A1 (en) | File scanning method and device | |
CN109819271A (zh) | 游戏直播间展示的方法及装置、存储介质、电子设备 | |
CN111125564A (zh) | 热力图生成方法、装置、计算机设备及存储介质 | |
CN109522429A (zh) | 用于生成信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141007 |