JP2017011527A - コンテンツ編集装置およびコンテンツ再生装置 - Google Patents

コンテンツ編集装置およびコンテンツ再生装置 Download PDF

Info

Publication number
JP2017011527A
JP2017011527A JP2015125647A JP2015125647A JP2017011527A JP 2017011527 A JP2017011527 A JP 2017011527A JP 2015125647 A JP2015125647 A JP 2015125647A JP 2015125647 A JP2015125647 A JP 2015125647A JP 2017011527 A JP2017011527 A JP 2017011527A
Authority
JP
Japan
Prior art keywords
range
gaze
unit
wide
angle camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015125647A
Other languages
English (en)
Other versions
JP6478830B2 (ja
Inventor
隼也 大澤
Junya Osawa
隼也 大澤
峯 慎吾
Shingo Mine
慎吾 峯
博彦 樋口
Hirohiko Higuchi
博彦 樋口
智弘 谷田川
Tomohiro Yatagawa
智弘 谷田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015125647A priority Critical patent/JP6478830B2/ja
Publication of JP2017011527A publication Critical patent/JP2017011527A/ja
Application granted granted Critical
Publication of JP6478830B2 publication Critical patent/JP6478830B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

【課題】視聴者が確認したい内容が収録されていないという撮影漏れを防ぎ、編集者が視聴者に伝えたい範囲の映像と、当該視聴者に伝えたい範囲の周囲の映像とを含む技能伝承用ファイルを作成することができるコンテンツ編集装置を提供する。【解決手段】編集者から受け付けた、広角カメラが撮影した広角カメラ映像の任意の時刻のシーンに対する視聴者に注視させたい矩形領域である注視範囲の指定情報に基づき、当該注視範囲を特定する情報が設定された注視範囲指定ファイルを作成する注視範囲指定ファイル作成部と、注視範囲指定ファイル作成部が作成した注視範囲指定ファイルを、広角カメラ映像からなる広角カメラ映像ファイルとともに出力するファイル出力制御部とを備えた。【選択図】図2

Description

この発明は、広角カメラで撮影した映像の再生時に撮影者が視聴者に見てもらいたいアングルに誘導し注視に導くためのファイルを作成するコンテンツ編集装置、および、当該コンテンツ編集装置で作成されたファイルに基づき、広角カメラコンテンツの再生を行うコンテンツ再生装置に関するものである。
昨今、様々な製造/保守の業界で、団塊世代退職による熟練者不足が問題となっており、熟練技能を若手に伝承するための技能伝承ソリューションの提供として熟練者の作業をビデオで撮影し、映像で技能伝承を強化する傾向がある。
このように映像を活用することで、従来のドキュメント教材による技能伝承では技能が伝わりづらかったという問題を解消し高度な技能を効率的に伝承することができる。
この時、伝承したいことを映像に盛り込む動画ガイダンス編集者と、実際に動画ガイダンスを観る動画ガイダンス視聴者がいるが、編集者の伝えたい内容と視聴者が確認したい内容が必ずしも一致するとは限らない。視聴者が確認したい機器の周囲の状況が動画ガイダンスに収録されていない場合があるため、伝承対象の作業映像に加え、その時の周囲の状況の伝達が技能伝承では重要である。
一方、視聴者に伝えたいことを映像に盛り込む技術として、例えば、特許文献1には、パノラマ動画のうちの一部の領域を表示装置に表示し、パノラマ画像上における目標を設定して、表示装置に表示させた表示範囲と目標との関係を表わすガイド情報を表示する方法が開示されている。
特開2013−250830号公報
上述したように、技能伝承においては、伝承対象の作業映像に加え、その時の周囲の状況の伝達が重要である。
しかし、画角が決まった映像では、画角に必要な情報を収めるため、編集者は、撮影のアングルを事前に決めたり、撮影した映像を編集する必要があり、撮影・編集ともに手間であるという問題があった。
このような問題を解決する方法として、例えば、広角カメラを利用する方法がある。しかしながら、広角カメラでは、広範囲の映像が記録されており、撮影漏れは発生しにくく、アングルを事前に決める手間は簡略できるが、取得映像が広範囲すぎるため、注視して欲しい対象を伝達できない可能性があるという問題が発生する。
このような問題に対して、特許文献1のような従来技術では、パノラマ動画を表示できるようにすることで広範囲の映像を記録可能とし、撮影・編集における手間を低減させることができる。
また、ガイドを表示することで、視聴者に注意してほしい目標があることを伝達することができる。
しかしながら、特許文献1のような従来技術では、ガイドによって目標の存在を伝達することはできても、伝達したい映像の範囲および内容を具体的に表示させるものではないため、表示画面に表示された映像において、視聴者に注視してほしい対象の範囲を的確に伝達しきれていないという課題があった。
この発明は上記のような課題を解決するためになされたもので、視聴者が確認したい内容が収録されていないという撮影漏れを防ぎ、編集者が視聴者に伝えたい範囲の映像と、当該視聴者に伝えたい範囲の周囲の映像とを含む技能伝承用ファイルを作成することができるコンテンツ編集装置を提供することを目的とする。
この発明に係るコンテンツ編集装置は、編集者から受け付けた、広角カメラが撮影した広角カメラ映像の任意の時刻のシーンに対する視聴者に注視させたい矩形領域である注視範囲の指定情報に基づき、当該注視範囲を特定する情報が設定された注視範囲指定ファイルを作成する注視範囲指定ファイル作成部と、注視範囲指定ファイル作成部が作成した注視範囲指定ファイルを、広角カメラ映像からなる広角カメラ映像ファイルとともに出力するファイル出力制御部とを備えたものである。
この発明のコンテンツ編集装置によれば、視聴者が確認したい内容が収録されていないという撮影漏れを防ぎ、編集者が視聴者に伝えたい範囲の映像と、当該視聴者に伝えたい範囲の周囲の映像とを含む技能伝承用ファイルを作成することができる。これにより、当該コンテンツ編集装置が作成した伝承用ファイルを元に広角カメラ映像を再生するコンテンツ再生装置において、視聴者が確認したい周囲の状況と技能伝承の対象作業が、同時に確認できるので、より効率的な技能伝承が可能となる。
この発明の実施の形態1において、広角カメラで撮影された広角カメラ映像が、コンテンツ編集装置で編集され、コンテンツ再生装置で再生される流れを説明する図である。 この発明の実施の形態1に係るコンテンツ編集装置の構成図である。 この発明の実施の形態1に係るコンテンツ再生装置の構成図である。 この発明の実施の形態1に係るコンテンツ編集装置の動作を説明するフローチャートである。 実施の形態1において、注視範囲指定ファイルの一例を説明する図である。 この発明の実施の形態1に係るコンテンツ再生装置の動作を説明するフローチャートである。 実施の形態1において、注視範囲表示指示部が表示部に表示させる画面の一例を説明する図である。 実施の形態1において、図6のステップST608で視聴範囲表示指示部が表示部に表示させる画面の一例を説明する図である。 実施の形態1において、位置情報検索部による、注視範囲が存在する方向の判定の動作の一例を説明する図である。 実施の形態1において、注視範囲表示位置決定部による、注視範囲の広角カメラ映像を、視聴範囲において重畳表示させる表示位置および表示内容の決定動作の一例を説明する図である。 実施の形態1において、図6のステップST612で視聴範囲表示指示部が表示部に表示させる画面の一例を説明する図である。 この発明の実施の形態1に係るコンテンツ編集装置のハードウェア構成の一例を示す図である。 この発明の実施の形態1に係るコンテンツ再生装置のハードウェア構成の一例を説明する図である。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1において、広角カメラ3で撮影された広角カメラ映像が、コンテンツ編集装置1で編集され、コンテンツ再生装置2で再生される流れを説明する図である。
図1に示すように、コンテンツ編集装置1は、広角カメラ3から広角カメラ映像を取得し、取得した広角カメラ映像から、編集者が伝承したい注視範囲情報を含んだ注視範囲指定ファイルを作成、出力する。コンテンツ編集装置1は、注視範囲指定ファイルと、広角カメラ3から取得した広角カメラ映像情報を含んだ広角カメラ映像ファイルとを記録させた記録媒体を作成する。なお、この実施の形態1において、記録媒体に記録させる広角カメラ映像ファイルと注視範囲指定ファイルとをあわせて技能伝承用ファイルとする。
コンテンツ再生装置2は、コンテンツ編集装置1が作成した記録媒体を読み込んで、技能伝承用ファイル、すなわち、注視範囲指定ファイルと広角カメラ映像ファイルとを取得し、広角カメラ映像に注視範囲を重畳させた映像を再生する。
なお、ここでは、コンテンツ編集装置1は、技能伝承用ファイルを記録させた記録媒体によって、当該技能伝承用ファイルをコンテンツ再生装置2へ送出するものとするが、これに限らず、ネットワーク環境が整っている場所では、コンテンツ編集装置1およびコンテンツ再生装置2は、作成した技能伝承用ファイルをネットワークに公開して配信するWebサーバを利用して、情報のやり取りを行うこともできる。
また、広角カメラ3とコンテンツ編集装置1との間の広角カメラ映像のやり取りについても、ここでは、記録媒体を介して行われるものとするが、これに限らず、ネットワーク環境が整っている場所では、広角カメラ3が撮像した広角カメラ映像をネットワークに公開して配信するWebサーバを利用することができる。
コンテンツ編集装置1は、例えば、動画ガイダンスのような映像・音声・テキスト等を含むデジタルコンテンツを作成可能なデジタルコンテンツ編集システムを実装しているパソコン等が該当する。
コンテンツ再生装置2は、例えば、動画ガイダンスのようなデジタルコンテンツ再生システムを実装しているタブレットや、スマートグラスなどのグラス型ウェアラブルデバイス等が該当する。
広角カメラ3は、例えば、全天球カメラ等が該当する。
図2は、この発明の実施の形態1に係るコンテンツ編集装置1の構成図である。
コンテンツ編集装置1は、カメラ映像取得部11と、操作受付部12と、調整部13と、注視範囲指定ファイル作成部14と、ファイル出力制御部15と、記録媒体16と、表示部17とを備える。なお、この実施の形態1においては、コンテンツ編集装置1は、パソコンを想定している。
注視範囲指定ファイル作成部14は、注視位置座標指定部141と、矩形範囲指定部142と、ファイル作成部143とを備え、記録媒体16には、広角カメラ映像ファイル161と注視範囲指定ファイル162とが記録される。
カメラ映像取得部11は、広角カメラ3が撮像した広角カメラ映像を取得する。
操作受付部12は、編集者からの操作を受け付ける。
調整部13は、操作受付部12が受け付けた操作指示に基づき、広角カメラ3から取得した広角カメラ映像に対して、広角カメラ映像の輝度バランスやカラーバランス等の調整、作業シーン以外の不要箇所の削除等を行う。ここでは、当該調整部13による処理を前処理という。
注視範囲指定ファイル作成部14は、編集者から受け付けた、広角カメラ3が撮影した広角カメラ映像の任意の時刻のシーンに対する視聴者に注視させたい矩形領域である注視範囲の指定情報に基づき、当該注視範囲を特定する情報が設定された注視範囲指定ファイル162を作成する。
注視範囲指定ファイル作成部14の注視位置座標指定部141は、操作受付部12が編集者から受け付けた、広角カメラ映像の任意の時刻のシーンに対する基準位置の指定情報に基づき、広角カメラ映像における注視範囲の基準位置の座標を算出する。なお、この実施の形態1においては、基準位置は、例えば、注視範囲の左上隅の位置とし、注視位置座標指定部141は、広角カメラ映像における、当該注視範囲の左上隅の位置のxy座標を算出する。
なお、広角カメラ3から取得する広角カメラ映像では、例えば、撮影フロア平面座標上での、広角カメラ3が撮影する範囲内に存在する物体の撮影画像上での位置座標をもとに座標が予め設定されている。すなわち、広角カメラ映像上の座標は予め決まっている。
当該予め決まった座標に基づき、注視位置座標指定部141は、注視範囲の左上隅の座標を算出する。すなわち、予め決まった広角カメラ映像上のどの座標の位置に注視範囲である矩形の左上隅が位置されるかで座標を決定する。以下、この発明の実施の形態1において、座標とは、広角カメラ映像上の予め決められている座標のことをいう。
注視範囲指定ファイル作成部14の矩形範囲指定部142は、操作受付部12が編集者から受け付けた、基準位置からの注視範囲の大きさの指定情報に基づき、注視範囲を算出する。具体的には、この実施の形態1では、矩形範囲指定部142は、注視範囲の左上隅の位置からの、注視矩形範囲の縦横長さを算出する。
なお、この実施の形態1では、編集者から、注視範囲の左上隅の位置と、当該左上隅を基点とした、注視範囲の大きさの指定を受け付け、注視範囲指定ファイル作成部14は、当該編集者から指定された内容に基づき注視範囲指定ファイル162を作成するようにしたが、これに限らず、例えば、編集者から、注視範囲の中心の位置と、当該中心の位置から縦横長さの指定を受け付け、当該編集者から指定された内容に基づき注視範囲指定ファイル162を作成するようにしてもよく、広角カメラ映像において、注視させたい矩形領域、すなわち、注視範囲が特定できる情報を含むようになっていればよい。
注視範囲指定ファイル作成部14のファイル作成部143は、注視位置座標指定部141が算出した基準位置の座標と、矩形範囲指定部142が算出した注視範囲の縦横長さの情報を含む注視範囲指定ファイル162を作成し、ファイル出力制御部15に出力する。
なお、注視範囲指定ファイル162は、例えば、テキスト形式で、少なくとも、広角カメラ映像のシーンを指定する時刻情報と、注視位置座標指定部141が算出した基準位置の座標の情報と、矩形範囲指定部142が算出した注視範囲の縦横長さの情報とが紐付けられた情報が含まれる。
ファイル出力制御部15は、注視範囲指定ファイル作成部14のファイル作成部143が出力した注視範囲指定ファイル162と、カメラ映像取得部11が広角カメラ3から取得した広角カメラ映像ファイル161とを、技能伝承用ファイルとして記録媒体16に記録させる。なお、この実施の形態1では、ファイル出力制御部15は、技能伝承用ファイルを記録媒体16に記録させるものとしたが、ネットワーク環境が整っている場所では、ファイル出力制御部15は、技能伝承用ファイルをネットワークに出力する。
記録媒体16は、注視範囲指定ファイル162と広角カメラ映像ファイル161とを記録する。
表示部17は、カメラ映像取得部11あるいは調整部13からの指示に基づき、広角カメラ3から取得した広角カメラ映像、あるいは、調整部13による前処理後の広角カメラ映像を表示する。
なお、この実施の形態1では、表示部17は、コンテンツ編集装置1が備えるものとしたが、これに限らず、表示部17は、コンテンツ編集装置の外部に備えるものとしてもよい。
図3は、この発明の実施の形態1に係るコンテンツ再生装置2の構成図である。
コンテンツ再生装置2は、映像取得部21と、操作受付部22と、表示指示部23と、表示部24とを備える。
表示指示部23は、注視範囲表示指示部231と、視聴範囲設定部232と、範囲判定部233と、位置情報検索部234と、注視範囲表示位置決定部235と、視聴範囲表示指示部236とを備える。
視聴範囲設定部232は、座標指定部2321と、範囲指定部2322とを備える。
なお、この実施の形態1においては、コンテンツ再生装置2は、動画ガイダンスのようなデジタルコンテンツ再生システムを実装しているタブレットを想定している。
映像取得部21は、コンテンツ編集装置1で作成された記録媒体16を読み込み、広角カメラ映像ファイル161と、注視範囲指定ファイル162とを取得する。映像取得部21は、当該取得した広角カメラ映像ファイル161と、注視範囲指定ファイル162の情報を、例えば、自身の空き領域やコンテンツ再生装置2の空き領域等に一時保存する。ここでは、映像取得部21は、自身の空き領域に一時保存するものとする。
操作受付部22は、視聴者からの各種操作を受け付ける。
表示指示部23は、操作受付部22が視聴者から受け付けた表示範囲の変更指示の情報に基づき視聴範囲を決定し、当該視聴範囲に注視範囲が含まれない場合に、視聴範囲の広角カメラ映像に注視範囲の広角カメラ映像を重畳して表示部24に表示させる。
このとき、表示指示部23は、注視範囲と視聴範囲の位置関係・移動量を求め、注視範囲が視聴範囲に対してどの位置にあるかを判定して、当該判定結果に基づき、注視範囲の広角カメラ映像を重畳表示させる視聴範囲内の表示位置を決定する。
表示指示部23の注視範囲表示指示部231は、映像取得部21が一時保存した広角カメラ映像ファイル161と注視範囲指定ファイル162とを参照し、注視範囲の広角カメラ映像を表示部24に表示させる。また、注視範囲表示指示部231は、注視範囲の情報、すなわち、注視範囲指定ファイル162に記録されている注視範囲の情報を、視聴範囲設定部232に出力する。
表示指示部23の視聴範囲設定部232は、映像取得部21に一時記憶された広角カメラ映像ファイル161を参照し、操作受付部22が受け付けた視聴者からの表示範囲の変更指示に応じて視聴範囲を決定する。なお、この実施の形態1では、視聴者からの表示範囲の変更指示に応じて表示させる広角カメラ映像の表示範囲を視聴範囲とする。
視聴範囲設定部232は、決定した視聴範囲の座標の情報と、注視範囲の情報を、範囲判定部233に出力する。
具体的には、視聴者は、例えば、カーソル移動により、見たい視聴範囲の周囲の範囲の左上隅の位置を指定する。操作受付部22は当該指定操作を受け付け、視聴範囲設定部232の座標指定部2321は、操作受付部22からの当該指定操作の情報に基づき、指定された位置の座標を視聴範囲の左上隅の座標に指定する。さらに、視聴者は、例えば、指定した左上隅の位置からカーソルを移動させ、表示させたい範囲を設定する。操作受付部22は当該範囲設定操作を受け付け、視聴範囲設定部232の範囲指定部2322は、操作受付部22からの当該範囲設定操作の情報に基づき、設定された範囲を視聴範囲に指定する。このようにして、視聴範囲設定部232において、左上隅の座標を基準とした視聴範囲が決定される。
表示指示部23の範囲判定部233は、視聴範囲設定部232が出力した視聴範囲の情報と注視範囲の情報とに基づき、当該視聴範囲に、注視範囲が含まれるかどうかを判定する。具体的には、視聴範囲設定部232が出力した視聴範囲の座標と、注視範囲の座標とから、視聴範囲に注視範囲が含まれるかどうかを判定する。
視聴範囲に、注視範囲が含まれている場合、範囲判定部233は、注視範囲が含まれている旨の情報と、視聴範囲の情報と、注視範囲の情報とを視聴範囲表示指示部236に出力する。
視聴範囲に、注視範囲が含まれていない場合、範囲判定部233は、注視範囲が含まれていない旨の情報と、視聴範囲の情報と、注視範囲の情報とを、位置情報検索部234に出力する。
表示指示部23の位置情報検索部234は、視聴範囲の情報と注視範囲の情報とに基づき、視聴範囲に対する注視範囲の相対位置を算出する。ここでは、位置情報検索部234は、注視範囲が視聴範囲に対してどの方向の位置に存在するかを判定する。
具体的には、ここでは、位置情報検索部234は、注視範囲の中心の座標が、視聴範囲の中心の座標からみて、視聴範囲の予め設定された分割領域のどの方向に存在するのかを判定する。位置情報検索部234は、当該判定結果と視聴範囲の情報と注視範囲の情報とを注視範囲表示位置決定部235に出力する。
表示指示部23の注視範囲表示位置決定部235は、位置情報検索部234による視聴範囲に対する注視範囲の相対位置の算出結果に基づき、視聴範囲外となった注視範囲の広角カメラ映像を、視聴範囲において重畳表示させる表示位置および表示内容を決定する。注視範囲表示位置決定部235は、決定した注視範囲の広角カメラ映像の表示位置および表示内容の情報と、視聴範囲の情報と、注視範囲の情報とを、視聴範囲表示指示部236に出力する。
表示指示部23の視聴範囲表示指示部236は、注視範囲が視聴範囲に含まれている場合、範囲判定部233から取得した視聴範囲の情報と注視範囲の情報とに基づき、表示部24に視聴範囲を表示させる。また、視聴範囲表示指示部236は、注視範囲が視聴範囲に含まれていない場合、注視範囲表示位置決定部235が出力した注視範囲の広角カメラ映像の表示位置および表示内容の情報と、視聴範囲の情報と、注視範囲の情報とに基づき、視聴範囲の広角カメラ映像に注視範囲の広角カメラ映像を重畳表示させた広角カメラ映像を表示部24に表示させる。
表示部24は、視聴範囲表示指示部236からの指示に基づき、注視範囲あるいは視聴範囲の広角カメラ映像を表示する。
なお、この実施の形態1では、表示部24は、コンテンツ再生装置2が備えるものとしたが、これに限らず、表示部24は、コンテンツ再生装置2の外部に備えられるものとしてもよい。
動作について説明する。
この実施の形態1においては、コンテンツ編集装置1による広角カメラ3が撮影した広角カメラ映像の編集動作と、コンテンツ再生装置2によるコンテンツ編集装置1が編集した広角カメラ映像の視聴動作があり、以下、それぞれについて説明する。
図4は、この発明の実施の形態1に係るコンテンツ編集装置1の動作を説明するフローチャートである。
まず、図4に沿って、コンテンツ編集装置1における広角カメラ映像の編集動作について説明する。
操作受付部12は、編集者からの編集開始指示を受け付けるまで待機する(ステップST401の“NO”の場合)。
なお、編集者は、例えば、パソコンを立ち上げ、編集開始ボタンをクリックする等して、編集開始を指示し、操作受付部12は、当該操作を受け付けたかどうかによって、編集開始指示を受け付けたかどうかを判断する。
操作受付部12が、編集者からの編集開始指示を受け付けると(ステップST401の“YES”の場合)、カメラ映像取得部11は、広角カメラ3が撮像した広角カメラ映像を取得する(ステップST402)。このとき、カメラ映像取得部11は、取得した広角カメラ映像を、表示部17に表示させる。
この実施の形態1では、広角カメラ3とコンテンツ編集装置1との間の広角カメラ映像のやり取りは、記録媒体を介して行われるものする。編集者がパソコンに広角カメラ3が撮影した広角カメラ映像を収録したSDカード等の記録媒体を挿入し、編集開始ボタンをクリックする等して編集開始を指示すると、カメラ映像取得部11が、当該広角カメラ映像を収録したSDカード等から広角カメラ映像を取得する。なお、広角カメラ3から取得する広角カメラ映像には、少なくとも撮影日時の情報と座標情報が付与されているものとする。
なお、カメラ映像取得部11は、取得した広角カメラ映像を、広角カメラ映像ファイル161として、例えば、自身の空き領域、あるいは、コンテンツ編集装置1内部の空き領域に一時保存する。ここでは、自身の空きスペースに一時保存するものとする。
広角カメラ3から読み込んだ広角カメラ映像が表示部17に表示されると、編集者は、まず、広角カメラ3から取得した広角カメラ映像に対して、表示部17に表示された操作ボタン、あるいは、マウスによる操作等により、輝度バランスやカラーバランス等の調整、あるいは、作業シーン以外の不要箇所の削除等の操作を行う。
操作受付部12は編集者からの上述したような操作を受け付け、調整部13は、ステップST402でカメラ映像取得部11が取得した広角カメラ映像について、当該操作に従った前処理を行う(ステップST403)。前処理とは、ここでは、上述したように、広角カメラ3から読み込んだ広角カメラ映像に対して、編集者からの操作に応じて調整部13が行う処理である。
具体的には、例えば、操作受付部12が、編集者から、指定した広角カメラ映像に対する輝度バランスやカラーバランスの調整指示を受け付け、調整部13は、指定された広角カメラ映像に対して、操作受付部12が受け付けた調整指示に応じた調整処理を行う。また、例えば、操作受付部12が編集者から、指定した広角カメラ映像に対するシーン削除指示を受け付け、調整部13は、指定された広角カメラ映像に対して、操作受付部12が受け付けた削除指示に応じた削除処理を行う。
調整部13は、前処理を行った広角カメラ映像を、例えば、自身の空き領域やコンテンツ編集装置1の空き領域等に一時保存する。ここでは、調整部13は、自身の空き領域に一時保存するものとする。
編集者は、前処理を行うと、視聴者に注視してほしい範囲の映像ファイルである注視範囲指定ファイル162を作成する。なお、当該注視範囲指定ファイル162の作成は、デジタルコンテンツ編集システムを起動して行う。注視範囲指定ファイル162は、例えば、HTMLファイルやJavaScriptファイル(JavaScriptは登録商標)、スタイルシートファイル、映像ファイル、画像ファイル、テキストファイルなどのファイル群から構成される。
デジタルコンテンツ編集システムが起動されると、まず、編集者は、広角カメラ映像の任意の時刻のシーンの表示指示を行う。
操作受付部12は、編集者からの、広角カメラ映像の任意の時刻のシーンの表示指示を受け付けると、調整部13は、操作受付部12から当該表示指示の情報を受け付け、該当の広角カメラ映像を表示部17に表示させる(ステップST404)。
編集者は、表示部17に表示された、広角カメラ映像の任意の時刻のシーンに対して、注視してほしい矩形領域、すなわち、注視範囲の左上隅に該当する位置を指定する。具体的には、例えば、ディスプレイ上でのマウス操作により、注視してほしい範囲の矩形の左上隅に該当する位置にカーソルを持ってきて、クリックする。
操作受付部12は、編集者から注視領域とする矩形範囲の左上隅の位置の指定指示の操作を受け付け、当該指定指示の情報を注視範囲指定ファイル作成部14の注視位置座標指定部141に出力し、注視位置座標指定部141は、当該指定指示の情報に基づき、編集者が指定した注視範囲の左上隅の位置のxy座標を、ステップST403で調整部13が一時保存した広角カメラ映像から指定する(ステップST405)。なお、当該注視範囲の左上隅の位置を、ここでは、基準位置とする。すなわち、注視位置座標指定部141は、ステップST405において、基準位置のxy座標を指定する。
編集者は、注視領域とする矩形範囲の左上隅に該当する位置、すなわち、基準位置を指定すると、当該基準位置から、例えば、マウス等を用いたGUI操作によって、視聴者に見せたい範囲、すなわち、注視範囲の大きさを指定する。
操作受付部12は、編集者から、視聴者に見せたい注視範囲の大きさ指定の操作を受け付け、当該大きさ指定の情報を注視範囲指定ファイル作成部14の矩形範囲指定部142に出力し、矩形範囲指定部142は、当該大きさ指定の情報に基づき、注視範囲とする矩形範囲を、ステップST403で調整部13が一時保存した広角カメラ映像から指定する(ステップST406)。具体的には、矩形範囲指定部142は、注視位置座標指定部141が指定した基準位置からの、矩形範囲の縦横長さを算出し、当該縦横長さを矩形範囲として指定する。
注視範囲指定ファイル作成部14のファイル作成部143は、ステップST403で調整部13が一時保存した広角カメラ映像と、ステップST405で注視位置座標指定部141が指定した基準位置の座標と、ステップST405で矩形範囲指定部142が指定した注視領域の矩形範囲の縦横長さの情報に基づき、注視範囲指定ファイル162を作成する(ステップST407)。ファイル作成部143は、作成した注視範囲指定ファイル162を、ファイル出力制御部15に出力する。
図5は、実施の形態1において、注視範囲指定ファイル162の一例を説明する図である。
注視範囲指定ファイル162は、図5に示すように、広角カメラ映像のシーンを指定する時刻、すなわち、調整部13が一時保存した広角カメラ映像に紐付けられた撮影時刻と、注視位置座標指定部141が指定した基準位置の座標の情報と、矩形範囲指定部142が指定した注視範囲の縦横長さの情報とを含む。
ファイル出力制御部15は、ステップST407においてファイル作成部143が出力した注視範囲指定ファイル162と、ステップST402においてカメラ映像取得部11が広角カメラ3から取得し一時保存した広角カメラ映像ファイル161とを、記録媒体16に記録させる(ステップST408)。
操作受付部12は、編集者からの編集終了指示を受け付けると(ステップST409の“YES”の場合)、処理終了する。
操作受付部12は、編集者からの編集終了指示を受け付けない場合(ステップST409の“NO”の場合)、編集者から次の注視範囲の編集指示を受け付けたかどうかを判断し、次の注視範囲の編集指示を受け付けた場合(ステップST410の“YES”の場合)、ステップST403に戻り、以降の処理を繰り返す。次の注視範囲の編集指示を受け付けていない場合(ステップST410の“NO”の場合)は、一定期間待機し(ステップST411の“NO”の場合)、一定期間経過すると、編集処理を終了したものとして処理終了する(ステップST411の“YES”の場合)。
このように、編集者は、次の注視範囲の編集開始を指示することで、複数の注視範囲指定ファイル162を作成することができる。
編集者は、例えば、編集開始ボタンをクリックする等して次の注視範囲の編集指示を行うようにすればよい。
なお、この実施の形態1では、ステップST405,406において、編集者から、注視させたい矩形、すなわち、注視範囲の左上隅の位置と、当該左上隅を基点とした、注視範囲の縦横長さの指定を受け付け、注視範囲指定ファイル作成部14は、当該編集者から指定された内容に基づき注視範囲指定ファイル162を作成するようにしたが、これに限らず、例えば、編集者から、注視範囲の中心の位置と、当該中心の位置から縦横長さの指定を受け付け、当該編集者から指定された内容に基づき注視範囲指定ファイル162を作成するようにしてもよく、広角カメラ映像において、注視範囲が特定できる情報を含むようになっていればよい。
図6は、この発明の実施の形態1に係るコンテンツ再生装置2の動作を説明するフローチャートである。
次に、図6に沿って、コンテンツ再生装置2における再生動作について説明する。
操作受付部22は、視聴者からの記録媒体読み込み指示を受け付けるまで待機する(ステップST601の“NO”の場合)。
なお、視聴者は、例えば、タブレットの電源を入れ、記録媒体16を挿入し、読み込み開始ボタンをクリックする等して、記録媒体の読み込みを指示し、操作受付部22は、当該操作を受け付けたかどうかによって、記録媒体読み込み開始指示を受け付けたかどうかを判断する。
操作受付部22が、視聴者からの記録媒体読み込み指示を受け付けると(ステップST601の“YES”の場合)、映像取得部21は、記録媒体16を読み込み、広角カメラ映像ファイル161と、注視範囲指定ファイル162とを取得する(ステップST602)。映像取得部21は、当該取得した広角カメラ映像ファイル161と、注視範囲指定ファイル162の情報を、例えば、自身の空き領域やコンテンツ再生装置2の空き領域等に一時保存する。ここでは、映像取得部21は、自身の空き領域に一時保存するものとする。
操作受付部22は、視聴者から、映像再生指示を受け付けるまで待機する(ステップST603の“NO”の場合)。
操作受付部22は、視聴者から、映像再生指示を受け付けると(ステップST603の“YES”の場合)、当該指示を受け付けた情報を、表示指示部23の注視範囲表示指示部231に出力し、注視範囲表示指示部231は、映像取得部21が一時保存した広角カメラ映像ファイル161と注視範囲指定ファイル162とを参照し、注視範囲の広角カメラ映像を表示部24に表示させる(ステップST604)。
具体的には、例えば、映像取得部21は、記録媒体を読み込んだ際に、注視範囲指定ファイル162の内容一覧を表示部24に表示させるようにする。視聴者は、表示部24を確認して、マウス等の入力部(図示省略)より、所望の内容を選択操作する。操作受付部22は、当該選択操作を広角カメラ映像再生指示として受け付け、注視範囲表示指示部231に受け付けた情報を出力する。
そして、注視範囲表示指示部231は、受け付けた情報に基づき、注視範囲指定ファイル162を参照して該当の注視範囲の広角カメラ映像を広角カメラ映像ファイル161から抽出して表示部24に表示させる。なお、注視範囲指定ファイル162には注視範囲の左上隅の座標および注視範囲の縦横長さが記録されているので、当該注視範囲の左上隅の座標および注視範囲の縦横長さに基づいて広角カメラ映像上の注視範囲が特定できる。
また、注視範囲表示指示部231は、注視範囲の情報、すなわち、注視範囲指定ファイル162に記録されている注視範囲の情報を、視聴範囲設定部232に出力する。
ここで、注視範囲表示指示部231が表示部24に表示させる画面は、例えば、図7のようになる。
ステップST604において、注視範囲表示指示部231は、図7に示すように、編集者から指示された注視範囲の広角カメラ映像を表示させる。なお、このとき、例えば、図7に示すように、注視範囲表示指示部231は、注視範囲の四隅の予め設定された位置に、注視範囲、すなわち、伝えたいアングルであることを示すかぎ括弧(図7のP)を表示させるようにしてもよい。
視聴者は、表示部24に表示された注視範囲の広角カメラ映像を確認する。
ここで、編集者が伝えたい内容と視聴者が確認したい内容が必ずしも一致しているとは限らず、視聴者は、注視範囲の周囲の状況を確認したい場合がある。
以下、図6に沿って、視聴者からの指示を受け付け、注視範囲の周囲の状況を表示部24に表示させる動作について説明する。
操作受付部22は、視聴者から表示範囲の変更指示を受け付けたかどうかを判定する(ステップST605)。
ステップST605において、視聴者から表示範囲の変更指示を受け付けない場合(ステップST605の“NO”の場合)、再生終了の指示があるまで待機し(ステップST613の“NO”の場合)、再生終了の指示があれば(ステップST613の“YES”の場合)、処理終了する。
ステップST605において、視聴者から表示範囲の変更指示を受け付けると(ステップST605の“YES”の場合)、表示指示部23の視聴範囲設定部232は、映像取得部21に一時記憶された広角カメラ映像ファイル161を参照し、操作受付部22が受け付けた視聴者からの指示に応じた視聴範囲を決定する(ステップST606)。なお、ここでは、視聴者の指示に応じて表示させる広角カメラ映像の表示範囲を視聴範囲とする。また、視聴範囲は矩形領域とする。
視聴範囲設定部232は、決定した視聴範囲の座標の情報と、注視範囲の情報を、範囲判定部233に出力する。
具体的には、視聴者は、例えば、カーソル移動により、見たい視聴範囲の周囲の範囲の左上隅の位置を指定する。操作受付部22は当該指定操作を受け付け、視聴範囲設定部232の座標指定部2321は、操作受付部22からの当該指定操作の情報に基づき、指定された位置の座標を視聴範囲の左上隅の座標に指定する。さらに、視聴者は、例えば、指定した左上隅の位置からカーソルを移動させ、表示させたい大きさを設定する。操作受付部22は当該範囲設定操作を受け付け、視聴範囲設定部232の範囲指定部2322は、操作受付部22からの当該大きさの設定情報に基づき、設定された範囲を視聴範囲に指定する。このようにして、視聴範囲設定部232において、左上隅の座標を基準とした視聴範囲が決定される。
画角が決まったビデオでは注視範囲のみを撮影するため撮影漏れが発生し、周囲の状況を視聴することができないが、この実施の形態1では、コンテンツ編集装置1において、広角カメラが撮影した広範囲の広角カメラ映像ファイル161が記録された記録媒体を作成しているため、撮影漏れは発生しにくく、撮影アングルを事前に手間も簡略化できる。また、コンテンツ再生装置2では、当該記録媒体に記録された広範囲の広角カメラ映像ファイル161から広角カメラ映像を再生できるようにしたため、視聴者は、注視範囲の周囲の状況を表示部24で確認するようにすることができる。
なお、ここでは、視聴者は、見たい範囲の左上隅の位置を指定し、そこからカーソル移動することで見たい範囲の大きさを設定する操作を行い、当該操作を受け付けて、視聴範囲を決定するものとしたが、これは一例にすぎず、視聴者がその他の方法によって行った指示操作に基づき、視聴範囲を決定するようにしてもよい。例えば、視聴者は、矢印ボタンをクリックし、1回クリックされる毎に予め決められた方向に表示範囲を広げ、当該広げた範囲を視聴範囲に決定するようにしてもよい。
また、視聴者は、時刻を指定できるようにし、指定された任意の時刻のシーンに対して視聴範囲を決定するようにすることもできる。
表示指示部23の範囲判定部233は、ステップST606において視聴範囲設定部232が出力した視聴範囲の情報と注視範囲の情報とに基づき、当該視聴範囲に、注視範囲が含まれるかどうかを判定する(ステップST607)。具体的には、視聴範囲設定部232が出力した視聴範囲の座標と、注視範囲の座標とから、視聴範囲に注視範囲が含まれるかどうかを判定する。
ステップST607において、視聴範囲に注視範囲が含まれていると判断した場合(ステップST607の“YES”の場合)、範囲判定部233は、視聴範囲に注視範囲が含まれている旨の情報と視聴範囲の情報と注視範囲の情報とを表示指示部23の視聴範囲表示指示部236に出力し、視聴範囲表示指示部236は、範囲判定部233から取得した視聴範囲の情報と注視範囲の情報とに基づき、表示部24に視聴範囲を表示させる(ステップST608)。
ここで、図8は、ステップST608で視聴範囲表示指示部236が表示部24に表示させる画面の一例を説明する図である。
図8において、aで示す範囲が注視範囲であり、bで示す範囲が視聴範囲である。
視聴範囲表示指示部236は、図8に示すように、範囲判定部233から出力された視聴範囲を表示部24に表示させる。また、このとき、視聴範囲表示指示部236は、範囲判定部233から取得した注視範囲の情報に基づき、図8に示すように、注視範囲の四隅の予め設定された位置に、注視範囲であることを示す、例えばかぎ括弧(図8のP)を表示させる。
そして、ステップST609へ進む。ステップST609の動作については後述する。
一方、ステップST607において、視聴範囲に注視範囲が含まれていないと判断した場合(ステップST607の“NO”の場合)、範囲判定部233は、視聴範囲に注視範囲が含まれていない旨の情報と視聴範囲の情報と注視範囲の情報とを、表示指示部23の位置情報検索部234に出力し、位置情報検索部234は、視聴範囲の情報と注視範囲の情報とに基づき、視聴範囲に対する注視範囲の相対位置を算出する(ステップST610)。ここでは、位置情報検索部234は、注視範囲が視聴範囲に対してどの方向の位置にあるかを判定する。
具体的には、ここでは、位置情報検索部234は、注視範囲の中心の座標が、視聴範囲の中心の座標からみて、視聴範囲の予め設定された分割領域のどの方向にあるのかを判定する。なお、位置情報検索部234は、当該判定結果と視聴範囲の情報と注視範囲の情報とを注視範囲表示位置決定部235に出力する。
ここで、図9は、位置情報検索部234による、注視範囲が存在する方向の判定の動作の一例を説明する図である。
図9において、bは視聴範囲、a1〜a4は注視範囲を示す。また、ここでは、視聴範囲の予め設定された分割領域は、図9に示すように、視聴範囲の中心Yを通り、視聴範囲の矩形の辺に平行な線によって、視聴範囲の右上(図9の(1))、右下(図9の(2))、左上(図9の(3))、左下(図9の(4))の分割領域に4分割されているものとする。
例えば、注視範囲がa1に示す位置にあるとすると、位置情報検索部234は、視聴範囲の中心の座標X1は、視聴範囲の中心Yからみて、視聴範囲の右上の方向にあると判定する。
なお、ステップST610において、位置情報検索部234は、視聴範囲と注視範囲の座標から、例えば、注視範囲から視聴範囲への移動量を算出するようにすることもできる。移動量は、例えば、注視範囲の左隅上の座標から視聴範囲の左隅上の座標までの距離とすればよい。
表示指示部23の注視範囲表示位置決定部235は、位置情報検索部234による視聴範囲に対する注視範囲の相対位置の算出結果に基づき、視聴範囲外となった注視範囲の広角カメラ映像を、視聴範囲において重畳表示させる表示位置および表示内容を決定する(ステップST611)。注視範囲表示位置決定部235は、決定した注視範囲の広角カメラ映像の表示位置および表示内容の情報と、視聴範囲の情報と、注視範囲の情報とを、視聴範囲表示指示部236に出力する。
ここで、図10は、注視範囲表示位置決定部235による、注視範囲の広角カメラ映像を、視聴範囲において重畳表示させる表示位置および表示内容の決定動作の一例を説明する図である。
なお、ここでは、ステップST610において、位置情報検索部234により、注視範囲は、視聴範囲の右上(図9参照)の方向にあると判定されたものとする。
注視範囲表示位置決定部235は、例えば、図10(a)に示すように、注視範囲の広角カメラ映像を、視聴範囲からみて注視範囲がある方向、すなわち、視聴範囲の右上に重畳表示させるよう決定する。
視聴範囲上に注視範囲の広角カメラ映像を重畳表示させる具体的な表示位置、すなわち、視聴範囲上の注視範囲の位置座標については、予め視聴範囲の大きさに応じた注視範囲の表示エリアの大きさを設定しておき、注視範囲表示位置決定部235は、当該表示エリアとなる視聴範囲上の位置座標を、重畳表示させる注視範囲の位置座標とするようにしてもよいし、重畳表示させる注視範囲の矩形の縦横の縮尺比を予め設定しておき、当該縮尺比に応じて縮尺した注視範囲が視聴範囲上の決められた方向、視聴範囲の右上に表示されるような視聴範囲上の座標を、重畳表示させる注視範囲の位置座標とするようにしてもよく、注視範囲を視聴範囲上のどの座標位置に重畳させるかは適宜設定可能である。
あるいは、注視範囲表示位置決定部235は、例えば、図10(b)に示すように、注視範囲の広角カメラ映像を、視聴範囲からみて視聴範囲がある方向、すなわち、視聴範囲の右上に重畳表示させるとともに、注視範囲のある方向、すなわち、視聴範囲の右上の方向のフレームの色を変化させる情報を作成し、表示させるように決定するようにしてもよい。視聴範囲上の注視範囲の位置座標の設定方法は、上述したとおりである。
あるいは、注視範囲表示位置決定部235は、例えば、図10(c)に示すように、注視範囲の広角カメラ映像を、視聴範囲からみて注視範囲がある方向、すなわち、視聴範囲の右上に重畳表示させるとともに、注視範囲のある方向、すなわち、視聴範囲の右上の方向を示す矢印の情報を作成し、表示させるよう決定するようにしてもよい。視聴範囲上の注視範囲の位置座標の設定方法は、上述したとおりである。
図10で説明したように、視聴範囲からみて注視範囲がある方向の視聴範囲内に、注視範囲の広角カメラ映像を重畳表示させるようにすることで、注視範囲のあるアングルへ視聴者を誘導することができる。また、図10(b)(c)のように、注視範囲の広角カメラ映像に加え、注視範囲のある方向をガイドするガイド情報を作成し、あわせて重畳表示させるようにすることで、より視聴者を注視範囲のあるアングルへ、より分かりやすく誘導することができる。
視聴範囲表示指示部236は、注視範囲表示位置決定部235が出力した注視範囲の広角カメラ映像の表示位置および表示内容の情報と、視聴範囲の情報と、注視範囲の情報とに基づき、視聴範囲の広角カメラ映像に注視範囲の広角カメラ映像を重畳表示させた広角カメラ映像を表示部24に表示させる(ステップST612)。すなわち、視聴範囲表示指示部236は、注視範囲表示位置決定部235が決定した視聴範囲上の座標位置に注視範囲を表示させ、注視範囲のある方向をガイドする情報があれば当該ガイド情報を注視範囲表示位置決定部235が決定した位置に重畳表示させる。
なお、重畳表示させる注視範囲の矩形のもともとの縦横比、すなわち、注視範囲指定ファイル162に記録されている縦横比と、注視範囲表示位置決定部235が決定した注視範囲の矩形の縦横比が異なる場合は、視聴範囲表示指示部236は、注視範囲表示位置決定部235が決定した注視範囲の矩形の縦横比で注視範囲の広角カメラ映像が表示されるよう、広角カメラ映像を拡大あるいは縮小させるようにする。
図11は、ステップST612で視聴範囲表示指示部236が表示部24に表示させる画面の一例を説明する図である。
図11において、cで示す範囲が注視範囲の広角カメラ映像が重畳表示される範囲であり、bで示す範囲が視聴範囲である。
視聴範囲表示指示部236は、図11に示すように、注視範囲表示位置決定部235から出力された視聴範囲の広角カメラ映像を表示部24に表示させる。また、視聴範囲表示指示部236は、注視範囲表示位置決定部235から取得した注視範囲の情報に基づき、注視範囲表示位置決定部235から指示された注視範囲の広角カメラ映像表示位置に、注視範囲の広角カメラ映像を表示させる。
なお、図11では、矢印等のガイド情報は表示させない例を示しているが、注視範囲表示位置決定部235からガイド情報が出力された場合には、視聴範囲表示指示部236は、当該ガイド情報を表示させるようにする。
操作受付部22は、視聴者から広角カメラ映像の再生終了指示を受け付けたかどうかを判断する(ステップST609)。具体的には、例えば、視聴者は、表示部24に表示された映像再生終了ボタンをタッチする等の操作により、広角カメラ映像の再生終了を指示し、操作受付部22は、当該操作を受け付けたかどうかを判断する。
ステップST609において、広角カメラ映像の再生終了指示を受け付けた場合(ステップST609の“YES”の場合)、処理終了する。
ステップST609において、広角カメラ映像の再生終了指示を受け付けていない場合(ステップST609の“NO”の場合)、ステップST605へ戻る。
なお、ステップST612で、視聴範囲の広角カメラ映像に注視範囲の広角カメラ映像を重畳表示させた後、視聴者の指示に基づき、注視範囲の広角カメラ映像の表示画面(ステップST604参照)に戻ることも可能である。
視聴者は、注視範囲の広角カメラ映像の表示画面に戻りたい場合、例えば、表示部24に表示された「注視範囲に戻るボタン」をタッチする操作を行う。操作受付部22が当該操作を受け付けると、当該操作の情報を注視範囲表示指示部231に出力する。注視範囲の左隅上の座標および縦横の長さはわかっているので、注視範囲表示指示部231は、当該注視範囲の左隅上の座標および縦横の長さの情報に基づき、視聴範囲の広角カメラ画像を表示部24に表示させることができる(ステップST604参照)。
このように、視聴者は、視聴範囲の表示から注視範囲の表示に戻りたい場合、ボタンやキー等のワンクリックなどで現在の視聴範囲の広角カメラ映像表示から、注視範囲の広角カメラ映像表示に切り替えることができる。
また、この実施の形態1では、コンテンツ再生装置2はタブレットを想定して上述のとおり説明したが、例えば、コンテンツ再生装置2がウェアラブルグラスであった場合には、視聴者は、視聴範囲を指定する際、当該ウェアラブルグラスのジャイロセンサから方向情報を取得して、首の前後左右上下の動きと広角カメラ映像の表示アングルを連動させて視聴範囲を指定できるようにすることで、現実の3次元の空間の移動で広角カメラ映像の移動・拡大縮小を操作することができる。具体的には、視聴範囲設定部232は、ジャイロセンサから取得した3次元空間座標上の方向情報に基づき、視聴範囲を設定することができる。すなわち、現実の3次元空間座標のz軸方向移動と視聴範囲の拡大縮小を連動させることを実現できる。
また、位置情報検索部234が、注視範囲から視聴範囲への移動量を算出する場合、視聴範囲表示指示部236は、当該移動量に応じて、ガイド情報である視聴範囲のフレームの色や矢印の色の濃淡を変更するガイド情報を作成して表示部24に表示させるようにしてもよい。また、注視範囲の広角カメラ映像を拡大縮小して重畳表示させた場合に、ガイド情報である視聴範囲のフレームの色や矢印の色の濃淡を変更するガイド情報や、視聴範囲と注視範囲とのスケールの差を示すガイド情報を作成して表示部24に表示させるようにしてもよい。具体的には、例えば、注視範囲と視聴範囲の距離が遠いほど色を濃くし、近くなると色を薄くしたり、注視範囲の広角カメラ映像を表示する範囲のスケールが最適か、大きいか、小さいかによって色を変更させたりする。
また、注視範囲が複数ある場合は、位置情報検索部234が当該複数の注視範囲について、視聴範囲に対する注視範囲の相対位置を算出し、注視範囲表示位置決定部235は、それぞれの注視範囲の広角カメラ映像の表示位置および表示内容を決定するようにし、複数の注視範囲各々について、視聴範囲に注視範囲が含まれない場合に、視聴範囲の広角カメラ映像に前記注視範囲の広角カメラ映像を重畳して表示させる。
図12は、この発明の実施の形態1に係るコンテンツ編集装置1のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、表示部17は、ディスプレイ1201である。ディスプレイ1201は、例えば、液晶ディスプレイやプラズマディスプレイである。また、表示部17は、LED、ブラウン管等によって構成されるものであってもよい。
操作受付部12は、この実施の形態1では、例えば、マウス1202やキーボード1203とする。なお、これは一例であり、これに限らず、その他のハードウェア構成としてもよい。
カメラ映像取得部11は、入力I/F装置1204である。
調整部13と、注視範囲指定ファイル作成部14と、ファイル出力制御部15の各機能は、処理回路1205により実現される。すなわち、コンテンツ編集装置1は、広角カメラ映像に対する前処理と、注視範囲指定ファイル作成を行い、広角カメラ映像ファイル161と注視範囲指定ファイル162とを作成するための処理回路1205を備える。処理回路1205は、図12(a)に示すように専用のハードウェアであっても、図12(b)に示すようにメモリ1206に格納されるプログラムを実行するCPU1207であってもよい。
処理回路1205が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサー、並列プログラム化したプロセッサー、ASIC、FPGA、またはこれらを組み合わせたものが該当する。
処理回路1205がCPU1207の場合、調整部13と、注視範囲指定ファイル作成部14と、ファイル出力制御部15の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェとの組み合わせにより実現される。すなわち、調整部13と、注視範囲指定ファイル作成部14と、ファイル出力制御部15は、HDD1208、メモリ1206等に記憶されたプログラムを実行するCPU1207、システムLSI等の処理回路により実現される。また、HDD1208、メモリ1206等に記憶されたプログラムは、調整部13と、注視範囲指定ファイル作成部14と、ファイル出力制御部15の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ1206とは、例えば、RAM、ROM、フラッシュメモリー、EPROM、EEPROM等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。
なお、調整部13と、注視範囲指定ファイル作成部14と、ファイル出力制御部15の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、調整部13については専用のハードウェアとしての処理回路1205でその機能を実現し、注視範囲指定ファイル作成部14とファイル出力制御部15については処理回路がメモリ1206に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記録媒体16は、例えば、SDカード1209を使用する。なお、これは一例にすぎず、記録媒体16は、DVD、メモリ1206等によって構成されるものであってもよい。
図13は、この発明の実施の形態1に係るコンテンツ再生装置2のハードウェア構成の一例を説明する図である。
この発明の実施の形態1において、表示部24、操作受付部22は、ディスプレイ1301である。ディスプレイ1301は、例えば、タッチパネル方式の液晶ディスプレイやプラズマディスプレイである。また、表示部24は、LED、ブラウン管等によって構成されるものであってもよい。なお、これは一例であり、これに限らず、その他のハードウェア構成としてもよい。
映像取得部21は、入力I/F装置1302である。
表示指示部23の各機能は、処理回路1303により実現される。すなわち、コンテンツ再生装置2は、視聴範囲が注視範囲から外れたかどうかを判定し、視聴範囲が注視範囲から外れた場合に、注視範囲と視聴範囲の相対位置を求め、注視範囲が視聴範囲に対してどの方向にあるかを判定し、当該判定結果に基づき、注視範囲の広角カメラ映像を視聴範囲の広角カメラ映像に重畳表示させる位置を決定し、表示させるための処理回路1303を備える。処理回路1303は、図13(a)に示すように専用のハードウェアであっても、図13(b)に示すようにメモリ1304に格納されるプログラムを実行するCPU1305であってもよい。
処理回路1303が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサー、並列プログラム化したプロセッサー、ASIC、FPGA、またはこれらを組み合わせたものが該当する。
処理回路1303がCPU1305の場合、表示指示部23の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェとの組み合わせにより実現される。すなわち、表示指示部23の各機能は、HDD1306、メモリ1304等に記憶されたプログラムを実行するCPU1305、システムLSI等の処理回路により実現される。また、HDD1306、メモリ1304等に記憶されたプログラムは、表示指示部23の各機能の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ1304とは、例えば、RAM、ROM、フラッシュメモリー、EPROM、EEPROM等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。
なお、表示指示部23の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、注視範囲表示指示部231については専用のハードウェアとしての処理回路1303でその機能を実現し、視聴範囲設定部232と範囲判定部233と位置情報検索部234と注視範囲表示位置決定部235と視聴範囲表示指示部236については処理回路がメモリ1304に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、この実施の形態1によれば、視聴者が確認したい内容が収録されていないという撮影漏れを防ぎ、編集者が視聴者に伝えたい範囲の映像と、当該視聴者に伝えたい範囲の周囲の映像とを含む技能伝承用ファイルを作成することができる。これにより、当該コンテンツ編集装置が作成した伝承用ファイルを元に広角カメラ映像を再生するコンテンツ再生装置において、視聴者が確認したい周囲の状況と技能伝承の対象作業が、同時に確認できるので、より効率的な技能伝承が可能となる。
なお、実施の形態1において、コンテンツ編集装置1は、図2で示すような構成としたが、コンテンツ編集装置1は、注視範囲指定ファイル作成部14と、ファイル出力制御部15とを備えることにより、上述したような効果が得られるものである。
また、実施の形態1において、コンテンツ再生装置2は、図3で示すような構成としたが、コンテンツ再生装置2は、表示指示部23を備えることにより、上述したような効果が得られるものである。
また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
1 コンテンツ編集装置、2 コンテンツ再生装置、3 広角カメラ、11 カメラ映像取得部、12,22 操作受付部、13 調整部、14 注視範囲指定ファイル作成部、15 ファイル出力制御部、16 記録媒体、17,24 表示部、21 映像取得部、23 表示指示部、141 注視位置座標指定部、142 矩形範囲指定部、143 ファイル作成部、161 広角カメラ映像ファイル、162 注視範囲指定ファイル、231 注視範囲表示指示部、232 視聴範囲設定部、233 範囲判定部、234 位置情報検索部、235 注視範囲表示位置決定部、236 視聴範囲表示指示部、1201,1301 ディスプレイ、1202 マウス、1203 キーボード、1204,1302 入力I/F装置、1205,1303 処理回路、1206,1304 メモリ、1207,1305 CPU、1208,1306 HDD、1209 SDカード。

Claims (10)

  1. 編集者から受け付けた、広角カメラが撮影した広角カメラ映像の任意の時刻のシーンに対する視聴者に注視させたい矩形領域である注視範囲の指定情報に基づき、当該注視範囲を特定する情報が設定された注視範囲指定ファイルを作成する注視範囲指定ファイル作成部と、
    前記注視範囲指定ファイル作成部が作成した注視範囲指定ファイルを、前記広角カメラ映像からなる広角カメラ映像ファイルとともに出力するファイル出力制御部
    とを備えたコンテンツ編集装置。
  2. 前記注視範囲指定ファイル作成部は、
    前記注視範囲の基準位置の指定情報に基づき、前記広角カメラ映像における前記基準位置の座標を算出する注視位置座標指定部と、
    前記基準位置からの前記注視範囲の大きさの指定情報に基づき、前記注視範囲を算出する矩形範囲指定部と、
    前記注視位置座標指定部が算出した基準位置の座標と、前記矩形範囲指定部が算出した注視範囲の縦横長さの情報を含む前記注視範囲指定ファイルを作成するファイル作成部
    とを備えたことを特徴とする請求項1記載のコンテンツ編集装置。
  3. コンテンツ編集装置で作成された広角カメラ映像ファイルと注視範囲指定ファイルとに基づき、広角カメラ映像中の注視範囲の広角カメラ映像を表示させるコンテンツ再生装置であって、
    視聴者からの表示範囲の変更指示に応じて設定した視聴範囲に前記注視範囲が含まれない場合に、前記視聴範囲の広角カメラ映像に前記注視範囲の広角カメラ映像を重畳して表示させる表示指示部
    を備えたコンテンツ再生装置。
  4. 前記表示指示部は、
    前記広角カメラ映像ファイルと前記注視範囲指定ファイルとに基づき、前記注視範囲の広角カメラ映像を表示させる注視範囲表示指示部と、
    前記表示範囲の変更指示を受け付けた場合に、当該変更指示に応じて前記視聴範囲を設定する視聴範囲設定部と、
    前記視聴範囲設定部が設定した視聴範囲に前記注視範囲が含まれるかどうかを判定する範囲判定部と、
    前記範囲判定部が、前記視聴範囲に前記注視範囲が含まれないと判定した場合に、前記視聴範囲に対する前記注視範囲の相対位置を算出する位置情報検索部と、
    前記位置情報検索部による前記相対位置の算出結果に基づき、前記視聴範囲の広角カメラ映像を、前記視聴範囲において重畳表示させる表示位置を決定する注視範囲表示位置決定部と、
    前記注視範囲表示位置決定部が決定した表示位置に応じて、前記視聴範囲の広角カメラ映像に前記注視範囲の広角カメラ映像を重畳して表示させる視聴範囲表示指示部
    とを備えたことを特徴とする請求項3記載のコンテンツ再生装置。
  5. 前記視聴範囲設定部は、センサから取得した3次元空間座標上の方向情報に基づき、前記視聴範囲を設定する
    ことを特徴とする請求項4記載のコンテンツ再生装置。
  6. 前記注視範囲表示位置決定部は、
    前記視聴範囲からみて前記注視範囲が存在する方向の前記視聴範囲上の位置を、前記注視範囲の広角カメラ映像を重畳表示させる表示位置とする
    ことを特徴とする請求項4記載のコンテンツ再生装置。
  7. 前記注視範囲表示位置決定部は、
    前記注視範囲の広角カメラ映像に加え、前記注視範囲の存在する方向をガイドするガイド情報を作成し、
    前記視聴範囲表示指示部は、
    前記注視範囲表示位置決定部が作成したガイド情報を前記注視範囲の広角カメラ映像とともに前記視聴範囲の広角カメラ映像に重畳して表示させる
    ことを特徴とする請求項4または請求項6記載のコンテンツ再生装置。
  8. 前記ガイド情報は、前記視聴範囲から前記注視範囲までの距離を示す情報である
    ことを特徴とする請求項7記載のコンテンツ再生装置。
  9. 前記ガイド情報は、前記視聴範囲と前記注視範囲とのスケールの差を示す情報である
    ことを特徴とする請求項7記載のコンテンツ再生装置。
  10. 前記注視範囲が複数ある場合、前記表示指示部は、当該複数の注視範囲各々について、前記視聴範囲に前記注視範囲が含まれない場合に、前記視聴範囲の広角カメラ映像に前記注視範囲の広角カメラ映像を重畳して表示させる
    ことを特徴とする請求項3記載のコンテンツ再生装置。
JP2015125647A 2015-06-23 2015-06-23 コンテンツ再生装置 Expired - Fee Related JP6478830B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015125647A JP6478830B2 (ja) 2015-06-23 2015-06-23 コンテンツ再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015125647A JP6478830B2 (ja) 2015-06-23 2015-06-23 コンテンツ再生装置

Publications (2)

Publication Number Publication Date
JP2017011527A true JP2017011527A (ja) 2017-01-12
JP6478830B2 JP6478830B2 (ja) 2019-03-06

Family

ID=57761932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015125647A Expired - Fee Related JP6478830B2 (ja) 2015-06-23 2015-06-23 コンテンツ再生装置

Country Status (1)

Country Link
JP (1) JP6478830B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271149A (ja) * 2007-04-19 2008-11-06 Sharp Corp 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
JP2014120878A (ja) * 2012-12-14 2014-06-30 Ricoh Co Ltd 所定領域管理システム、所定領域管理方法、及びプログラム
JP2015080107A (ja) * 2013-10-17 2015-04-23 株式会社熊平製作所 移動体表示システムおよび移動体表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271149A (ja) * 2007-04-19 2008-11-06 Sharp Corp 動画撮影装置、動画再生装置、動画配信システム、制御方法、制御プログラム、および、記録媒体
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
JP2014120878A (ja) * 2012-12-14 2014-06-30 Ricoh Co Ltd 所定領域管理システム、所定領域管理方法、及びプログラム
JP2015080107A (ja) * 2013-10-17 2015-04-23 株式会社熊平製作所 移動体表示システムおよび移動体表示プログラム

Also Published As

Publication number Publication date
JP6478830B2 (ja) 2019-03-06

Similar Documents

Publication Publication Date Title
KR102187974B1 (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
US9798464B2 (en) Computing device
US20170024110A1 (en) Video editing on mobile platform
US20200264695A1 (en) A cloud-based system and method for creating a virtual tour
EP3459262B1 (en) Electronic device and method for rendering 360-degree multimedia content
JP6529267B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP6452409B2 (ja) 画像表示装置、画像表示方法
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
JP2016506648A (ja) パノラマ画像のための環状ビュー
US10860166B2 (en) Electronic apparatus and image processing method for generating a depth adjusted image file
US20160132278A1 (en) Method, server, client and software
US20150142875A1 (en) Method, server, client and software
JP6478830B2 (ja) コンテンツ再生装置
JP2008293360A (ja) オブジェクト情報表示装置およびオブジェクト情報表示方法
US20210133937A1 (en) Method and system for creating, storing, sharing, and displaying multiple perspectives of an image
JP2014153779A (ja) 画像処理プログラム及び画像処理装置
CN107295247B (zh) 图像记录装置及其控制方法
CN115002358A (zh) 数字背景拍摄中的控制方法及系统
JP2017138983A (ja) コンテンツ提供方法を実行するために記憶媒体に記憶されるコンピュータプログラム、その方法及びその装置
US8214755B2 (en) Information processing apparatus and information processing method
WO2023045963A1 (zh) 一种视频生成方法、装置、设备及存储介质
JP7214475B2 (ja) 電子機器及びその制御方法
JP7204482B2 (ja) 電子機器及びその制御方法
JP7327938B2 (ja) 電子機器およびその制御方法およびプログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6478830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees