JP2023157912A - 生成装置、生成方法および生成プログラム - Google Patents

生成装置、生成方法および生成プログラム Download PDF

Info

Publication number
JP2023157912A
JP2023157912A JP2023114894A JP2023114894A JP2023157912A JP 2023157912 A JP2023157912 A JP 2023157912A JP 2023114894 A JP2023114894 A JP 2023114894A JP 2023114894 A JP2023114894 A JP 2023114894A JP 2023157912 A JP2023157912 A JP 2023157912A
Authority
JP
Japan
Prior art keywords
video
position information
playback
video content
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023114894A
Other languages
English (en)
Other versions
JP7557580B2 (ja
Inventor
誠 前田
Makoto Maeda
正 高力
Tadashi Koriki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Edge Inc
Tosco Corp Japan
Original Assignee
Toppan Edge Inc
Tosco Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Edge Inc, Tosco Corp Japan filed Critical Toppan Edge Inc
Priority to JP2023114894A priority Critical patent/JP7557580B2/ja
Publication of JP2023157912A publication Critical patent/JP2023157912A/ja
Application granted granted Critical
Publication of JP7557580B2 publication Critical patent/JP7557580B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

【課題】ユーザが直感的に所望の映像を表示することを可能にさせる生成装置、生成方法および生成プログラムを提案すること。【解決手段】本開示に係る一形態の生成装置は、取得部と、生成部とを備える。取得部は、動画コンテンツと、前記動画コンテンツを構成するフレームに紐づく位置情報とを取得する。生成部は、前記位置情報に基づいて、前記動画コンテンツの再生を制御する再生バーの形状を生成する。また、前記取得部は、前記動画コンテンツにおいて位置情報が紐づけられていないフレームが存在する場合、当該位置情報が紐づけられていないフレームの前後のフレームの位置情報、および、当該動画コンテンツが撮像された際の車両の姿勢情報もしくは速度情報に基づいて、当該位置情報が紐づけられていないフレームにおける位置情報を推定する。【選択図】図1

Description

本開示は、動画の再生状況を示すための再生バーを生成する生成装置、生成方法および生成プログラムに関する。
自動車や二輪車等の移動体に撮像機器が設置されるようになり、様々な動画がユーザによって撮影されている。また、このようにして撮影された動画像の再生手法も多様化している。
例えば、車載カメラによって連続的に撮影された画像と、それぞれの画像の撮影時刻とを関連付けることにより、ユーザが選択した時刻に対応する画像を表示する技術が知られている(例えば、特許文献1)。
特開2013-32949号公報
上記の従来技術によれば、ユーザは、走行中の風景を思い出すことができない場合であっても、撮影時刻に基づいて画像を検索することができるので、目的の画像を容易に示すことができる。
しかしながら、車載カメラによって記録される動画は膨大であり、撮影日時のみを頼りに所望の映像を検索することは難しい。また、ユーザが視聴したい映像は、必ずしも自身が撮影したものに限らず、複数ユーザで共有されている映像であったり、何らかの調査のために提供された映像であったりする可能性もある。この場合、ユーザは、撮影日時を特定することが難しく、所望の映像を視聴することができなかったり、動画の検索に多大な時間を要したりするおそれがある。
そこで、本開示では、ユーザが直感的に所望の映像を視聴することを可能にさせる生成装置、生成方法および生成プログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の生成装置は、動画コンテンツと、前記動画コンテンツを構成するフレームに紐づく位置情報とを取得する取得部と、
前記位置情報に基づいて、前記動画コンテンツの再生を制御する再生バーの形状を生成する生成部と、を備え、前記取得部は、前記動画コンテンツにおいて位置情報が紐づけられていないフレームが存在する場合、当該位置情報が紐づけられていないフレームの前後のフレームの位置情報、および、当該動画コンテンツが撮像された際の車両の姿勢情報もしくは速度情報に基づいて、当該位置情報が紐づけられていないフレームにおける位置情報を推定する、ことを特徴とする。
実施形態の一態様によれば、生成装置は、ユーザが直感的に所望の映像を視聴することを可能にさせることができる。
実施形態に係る生成処理の概要を示す図である。 実施形態に係る表示制御処理を説明するための図(1)である。 実施形態に係る表示制御処理を説明するための図(2)である。 実施形態に係る表示制御処理を説明するための図(3)である。 実施形態に係る生成装置の構成例を示す図である。 実施形態に係る動画の構成を模式的に示す図(1)である。 実施形態に係る動画の構成を模式的に示す図(2)である。 実施形態に係る動画の構成を模式的に示す図(3)である。 実施形態に係る動画記憶部の一例を示す図である。 実施形態に係る再生データ記憶部の一例を示す図である。 実施形態に係る生成処理の手順を示すフローチャートである。 実施形態に係る表示制御処理の手順を示すフローチャートである。 変形例に係る再生バーの生成処理の一例を示す図である。 変形例に係る再生処理の一例を示す図(1)である。 変形例に係る再生処理の一例を示す図(2)である。 変形例に係る再生処理の一例を示す図(3)である。 変形例に係るマルチアングル再生処理を説明する図(1)である。 変形例に係るマルチアングル再生処理を説明する図(2)である。 生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
(1.実施形態)
(1-1.実施形態に係る生成処理の一例)
図1は、実施形態に係る生成処理の概要を示す図である。実施形態に係る生成処理は、図1に示す生成システム1に含まれる生成装置100によって実行される。図1に示すように、生成システム1は、生成装置100と、車両200とを含む。
生成装置100は、実施形態に係る生成処理を実行する情報処理装置である。例えば、生成装置100は、PC(Personal Computer)やタブレット端末、サーバ装置等の情報処理端末である。一例として、生成装置100は、車両200や、車両200を運転するユーザ10が利用する端末装置(以下、「ユーザ端末」と称する)等とネットワークを介して通信可能なクラウドサーバである。あるいは、生成装置100は、車両200に搭載された記録媒体(カード型メモリ等)等を介して車両200と情報の送受信を行うことが可能なPCやサーバ装置等であってもよい。生成装置100は、後述する生成処理により生成される再生バーを含む、動画コンテンツ(以下、単に「動画」と称する)を再生するためのアプリケーション(図1に示す動画プレーヤー20)をユーザ10に提供する。
車両200は、ユーザ10が運転する自動車や二輪車等の移動体である。実施形態では、車両200は、走行中の車外環境や車内風景を撮影可能な車載カメラを搭載した自動車である。
車両200は、各種センサを備えており、種々の情報を取得可能である。例えば、車両200は、走行に伴って変化する自装置の位置姿勢情報等を取得する。具体的には、車両200は、GPS(Global Positioning System)を利用して緯度経度に基づく位置情報を取得する。また、車両200は、IMU(Inertial Measurement Unit)(加速度センサ、角速度センサ)や、車速(車輪)エンコーダ等の情報に基づき、GPSによって取得した位置情報を微修正することが可能である。また、車両200は、SLAM(Simultaneous Localization and Mapping)等の技術に基づいて周囲の3次元空間データを生成したり、LiDAR(Light Detection and Ranging)やミリ波レーダ等から得られる情報に基づいて自己位置を特定したりしてもよい。
車両200は、上記した種々の既知の技術を利用することにより、車載カメラで走行中の風景を撮影するとともに、撮影した画像に位置情報や撮影日時情報を紐付けることができる。
ユーザ10は、車両200の車載カメラによって運転中の動画を撮影したり、撮影した動画を管理したり、生成装置100から提供される動画再生プレーヤーを操作したりするユーザである。
ユーザ10等の運転者により撮影される運転動画は、様々な用途で活用される。例えば、事故や事件の捜査にあたり、当局は、車載カメラ(ドライブレコーダ)や防犯カメラによって撮影された動画を確認し、事故の状況や目撃者の有無を判定する。その他にも、運転者が撮影した運転動画をウェブ上にアップロードし、運転動画を複数ユーザが共有するウェブサービス等が盛んに利用されている。
しかしながら、車載カメラによって記録される動画は膨大であるため、その内容を確認するために手間がかかるという問題がある。例えば、捜査当局が運転動画を確認する場合、提供者から提供された動画の中から所望の場所が写っている映像を見つけ出すためには、動画を最初から最後まで視聴して確認せねばならない。さらに、運転動画は、通常、数分ごとに自動で細切れされた動画ファイルとして作成されることが多い。このため、捜査当局は、提出された大量の動画ファイルをPCのエクスプローラ上で検索したり、整理したりといった手間をかける必要も出てくる。また、動画共有サイト等では、視聴者は、どの場所を運転した際に撮影されたものであるかといった説明文を頼りに共有された動画を視聴することになるが、この場合も、必ずしも視聴者が望む場所の映像が動画に含まれているか定かでない。また、所望する映像が含まれていたとしても、その映像が動画全体のどの位置に配置されているか視聴者は確認し辛いため、結局、動画を最初から最後まで視聴することを強いられる。
このように、運転動画の利用においては、視聴者が見たいと思う箇所を即座に、かつ、的確に再生させるという課題が存在する。生成装置100は、実施形態に係る生成処理により、かかる課題を解決する。具体的には、生成装置100は、動画を構成する各画像に紐づく位置情報を取得し、位置情報に基づいて、動画の再生を制御する再生バー(プログレスバー(progress bar)とも称される)の形状を生成する。より具体的には、生成装置100は、一般的な動画プレーヤーのように時間経過を直線的に表現した再生バーではなく、位置情報の推移に対応した曲線や多角線で表現される再生バーを生成する。視聴者は、かかる再生バー上で再生位置を指定することで、所望する位置情報に対応した映像を即座に検索することができる。すなわち、生成装置100によれば、視聴者は、動画コンテンツの全てを視聴することなく、自身が視聴したい映像を直感的に検索して視聴することができる。
図1を用いて、かかる生成処理についての概要を説明する。図1に示す例では、ユーザ10は、車両200の車載カメラを用いて運転動画を記録する。かかる運転動画は、カメラによって撮影された画像と、画像が撮影された際の位置情報を含む。動画を構成する各々の画像はフレームと称され、一般的には、動画1秒間に30枚や60枚のフレームが含まれる。
車両200は、ネットワーク等を介して、生成装置100に運転動画を送信する。生成装置100は、運転動画を取得すると、動画を構成するフレームから位置情報を抽出する。位置情報は、例えば、GPS等により取得される緯度経度情報である。
そして、生成装置100は、所定の規則に従い、位置情報に対応する再生バー22を生成する。例えば、生成装置100は、所定のスケールを有する2次元座標と、緯度経度情報とを対応させる。一例として、生成装置100は、一般的な地図標記に従い、緯度をY軸に、経度をX軸に対応させ、その数値を座標としてプロットする。これにより、生成装置100は、位置情報(すなわち車両200の移動経路)に対応した形状の再生バー22を生成することができる。
その後、生成装置100は、ユーザ端末等で起動可能な動画プレーヤー20をユーザ10に提供する。図1に示すように、動画プレーヤー20は、再生バー22と、動画表示領域26とを含む。生成装置100は、ユーザ10から動画プレーヤー20において動画再生を要求されると、当該動画の映像を動画表示領域26に表示するとともに、当該動画に対応する再生バー22を表示する。また、生成装置100は、動画の再生状況に合わせて、現在表示位置24を更新する。図1において、再生バー22のうち、現在表示位置24より手前の線(再生バー22のうち比較的太く表現した線)は、既に動画の再生が終了した箇所を示す。また、再生バー22のうち、現在表示位置24より後の線(再生バー22のうち比較的細く表現した線)は、これから動画が再生される箇所を示す。また、動画表示領域26に表示される映像は、現在表示位置24に対応する位置情報と紐付けられた映像である。なお、動画表示領域26は、動画の再生や一時停止を指示するための操作ボタン28を含んでもよい。
このように、生成装置100は、動画プレーヤー20において、一般的な時間経過に基づく再生バーではなく、位置情報の推移に対応した形状の再生バー22を提供する。ユーザ10は、所定の位置に対応する映像を確認したい場合、再生バー22の対応する位置を指定することで、当該位置に対応する映像を即座に表示させることができる。
従来の動画プレーヤーでは、再生時間「3:00」頃にどのような風景が映っている、といった説明が付与されていなければ、視聴者が映像の内容を把握することは困難であった。一方、動画プレーヤー20は、再生時間に連動した再生バーではなく、撮影位置の変遷に連動した再生バー22を含むので、動画のどの箇所にどのような映像を含むかを視聴者が直感的に把握できる。また、生成装置100は、動画とは独立した形式で再生バー22を生成することもできるので、再生バー22の形状そのものを他のアプリケーション等に利用させることも可能である。
さらに、生成装置100は、生成した再生バー22を地図データに組み込むことで、より利便性を向上させることができる。この点について、図2を用いて説明する。図2は、実施形態に係る表示制御処理を説明するための図(1)である。
図2に示すように、生成装置100は、再生バー22を生成したのち、地図データ30を取得する。例えば、生成装置100は、再生バー22に含まれる緯度経度情報に基づいて、当該位置近傍に対応する地図データ30を取得する。そして、生成装置100は、再生バー22と地図データ30との経度緯度(X軸およびY軸)や縮尺等を適合させて、再生バー22を地図データ30に組み込んで合成した合成地図データ32を生成する。図2に示すように、合成地図データ32は、地図データ30に再生バー22が重畳するものである。なお、生成装置100は、組込処理の際に、適宜、当該国の地理局等が提供するGIS(Geographic Information System)等を利用して地図データを取得してもよいし、予め準備した汎用の地図データを利用してもよい。
生成装置100は、動画プレーヤー20において、合成地図データ32を表示する。この点について、図3を用いて説明する。図3は、実施形態に係る表示制御処理を説明するための図(2)である。
図3には、再生バー22が組み込まれた合成地図データ32と、動画表示領域26とを含む動画プレーヤー20を示す。ユーザ10は、ユーザ端末の画面上で、ポインタ34を合成地図データ32に重畳された再生バー22の任意箇所を選択することで、所望の位置に対応する映像の再生を開始することができる。この場合、ユーザ10は、地図上で位置を確認しながら映像の再生開始箇所を指定できるので、より直感的に、所望する位置に対応した映像を検索することができる。
なお、生成装置100は、地図データに1つの再生バーを組み込むのではなく、取得した複数の動画の各々に対応する複数の再生バーを組み込んでもよい。この点について、図4を用いて説明する。図4は、実施形態に係る表示制御処理を説明するための図(3)である。
図4には、再生バー42や、再生バー44や、再生バー46等、複数の再生バーが組み込まれた合成地図データ40と、動画表示領域26とを含む動画プレーヤー20を示す。再生バー42や再生バー44、再生バー46は、ユーザ10もしくは他のユーザから送信された動画に基づいて、生成装置100が生成した再生バーである。
合成地図データ40は、合成地図データ32と比較してより広域を含む地図データであり、複数の再生バーが組み込まれている。この場合、ユーザ10は、合成地図データ40のうち、任意の再生バーを選択することが可能である。例えば、ユーザ10が再生バー42を選択すると、生成装置100は、再生バー42に対応する動画を、ユーザ10が指定した位置に対応する箇所から再生する。あるいは、ユーザ10が再生バー44を選択すると、生成装置100は、再生バー44に対応する動画を、ユーザ10が指定した位置に対応する箇所から再生する。このように、生成装置100は、複数の再生バーを組み込んだ合成地図データ40をユーザ10に提供することもできる。これにより、ユーザ10は、PCのエクスプローラ上で動画ファイル名を選択するような手間をかけずとも、地図上で視聴したい位置を指定するだけで再生バーに紐づいた動画が自動的に検索されるので、所望する動画をすぐに視聴できる。
以上、図1から図4を用いて説明したように、生成装置100は、動画を構成する各フレームに紐づく位置情報に基づいて、動画の再生を制御する再生バーの形状を生成する。これにより、生成装置100は、ユーザ10が直感的に所望の映像を視聴することを可能にさせる。すなわち、ユーザ10は、数多くの動画ファイルを文字や撮影日時で特定せずとも、所望する位置を地図上で指定するだけで映像を視聴できる。
(1-2.実施形態に係る生成装置の構成)
次に、実施形態に係る生成処理を実行する生成装置100の構成について説明する。図5は、実施形態に係る生成装置100の構成例を示す図である。
図5に示すように、生成装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、生成装置100は、生成装置100を管理する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
通信部110は、例えば、NIC(Network Interface Card)やネットワークインタフェースコントローラ等によって実現される。通信部110は、ネットワークN(例えばインターネット)と有線または無線で接続され、ネットワークNを介して、ユーザ端末や車両200等との間で情報の送受信を行う。例えば、通信部110は、Wi-Fi(登録商標)、Bluetooth、SIM(Subscriber Identity Module)、LPWA(Low Power Wide Area)等の任意の通信規格もしくは通信技術を用いて、情報の送受信を行ってもよい。なお、通信部110と車両200との通信(情報の送受信)は、必ずしも上記の通信技術等を用いて行われなくてもよい。例えば、車両200は、車載カメラによって撮像した動画を記憶媒体(カード型メモリ等)に記憶し、記憶媒体を介して、動画を生成装置100に受け渡してもよい。この場合、通信部110は、ネットワークインターフェースに加えて、カード型メモリやUSB(Universal Serial Bus)等の規格に準じた入出力インターフェースにおける情報の送受信を制御してもよい。
記憶部120は、各種情報を記憶する。記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、動画記憶部121と、再生データ記憶部122とを有する。
動画記憶部121は、車両200から取得した動画に関する情報を記憶する。なお、生成装置100は、車両200から取得された動画に対して、適宜、後段の処理に必要な前処理を実行する。この点について、図6を用いて説明する。図6は、実施形態に係る動画の構成を模式的に示す図(1)である。
車両200によって撮影される動画は、撮影に用いられた車載カメラやドライブレコーダに応じて、様々な形式の動画ファイルとして作成される。動画ファイルは、各種のメタデータ(撮影日時等)や位置情報、車両200の姿勢情報等を含むが、ファイルの形式によっては、それらの各種情報が動画と分離されていない場合もある。この場合、生成装置100は、図6に示すように、動画45を取得すると、動画45に含まれる位置情報等のデータを分離するため、位置情報抽出処理を実行する(ステップS60)。
これにより、生成装置100は、動画(具体的には、動画を構成するフレーム)と、それぞれのフレームに対応する位置情報とを分離した動画47を取得する。図6に示すように、動画47は、動画を構成する各フレーム(画像フレームF01、画像フレームF02、・・・)と、その各々が撮影された位置情報((経度X01,緯度Y01)、(経度X02,緯度Y02)、・・・)とが紐付けられたデータで構成される。これにより、生成装置100は、動画と位置情報を紐付けて、あるいは、動画と位置情報とを独立させて、後段の処理で取り扱うことができる。なお、生成装置100は、フレームから位置情報を抽出する場合に、種々の公知の技術を利用してもよい。
図7に、より具体的に動画の構成を示す。図7は、実施形態に係る動画の構成を模式的に示す図(2)である。図7には、生成装置100が取り扱う動画の一例として、動画50を示す。
図7に示すように、動画50は、画像データ52と、音声データ54と、メタデータ56と、位置情報58とを含む。画像データ52は、画像フレーム521、画像フレーム522、・・・、画像フレーム525等を含む。また、動画50では、画像フレーム521には位置情報581が紐付けられ、画像フレーム522には位置情報582が紐付けられ、画像フレーム523には位置情報583が紐付けられ、画像フレーム524には位置情報584が紐付けられ、画像フレーム525には位置情報585が紐付けられる。
このように、生成装置100は、フレームごとに紐付けられた位置情報を取得し、それぞれの位置情報を座標としてプロットすることで、図1に示したような再生バー22を生成することができる。
なお、車載カメラやドライブレコーダの処理によっては、必ずしもフレームごとに位置情報が取得されない場合もある。フレームと位置情報の割り当ては、例えば、カメラの機種やメーカーによって異なる。動画の総フレーム数をN(Nは任意の自然数)、位置情報が記録される数をn(nは任意の自然数)とすると、フレームに位置情報が割り当てられる割合を示す値aは、N/nで示される。例えば、a=1の場合、動画では、1フレームに1つの割合で位置情報が紐付けられていることを示す。また、a=5の場合、動画では、5フレームにつき1つの割合で位置情報が紐付けられていることを示す。
1つのフレームに1つの位置情報が紐付けられていない場合、生成装置100は、適宜、位置情報を補完してもよい。この点について、図8を用いて説明する。図8は、実施形態に係る動画の構成を模式的に示す図(3)である。
図8に例示する動画60は、画像データ62と、位置情報68とを含む。画像データ62のうち、画像フレーム621には位置情報681が紐付けられ、画像フレーム625には位置情報685が紐付けられている。一方、画像データ62のうち、画像フレーム622から画像フレーム624には、位置情報が紐付けられていないものとする。
この場合、生成装置100は、画像フレーム622から画像フレーム624に紐付ける位置情報を補完するための処理を実行する(ステップS70)。例えば、生成装置100は、位置情報685に至るまでの過去の位置推移に基づいて回帰式を導出し、画像フレーム622から画像フレーム624に紐付ける位置情報682、位置情報683および位置情報684を算出する。具体的には、生成装置100は、位置情報685に至るまでの複数の位置情報から動画60全体に対応する走行経路を推定する。そして、生成装置100は、推定した経路上で位置情報681から位置情報685に至るまでの経路を均等に分割し、それぞれを位置情報682、位置情報683および位置情報684として割り当ててもよい。なお、生成装置100は、適宜、動画が撮影された時点の車両200の姿勢情報(走行方向)や速度情報等を取得し、位置情報の補完に利用してもよい。これにより、生成装置100は、車両200の移動方向や速度を考慮した位置の推定を行うことができるので、算出する位置情報の精度を向上させることができる。
上記のように、生成装置100は、動画を取得するとともに、各々の動画に対応する位置情報や撮影日時等のメタデータを抽出したり補完したうえで、当該動画を動画記憶部121に記憶する。
図9に、動画記憶部121が記憶する情報の一例を示す。図9は、実施形態に係る動画記憶部121の一例を示す図である。図9に示した例では、動画記憶部121は、「動画ファイルID」、「メタデータ」、「画像データ」、「位置情報」といった各項目を有する。なお、図9および図10に示す例では、記憶部120に格納される情報を「A01」のように概念的に示すが、実際には、後述する各情報が記憶部120に記憶されるものとする。
「動画ファイルID」は、動画ファイルを識別する識別情報を示す。「メタデータ」は、動画が撮影された日時等、動画ファイルに関する種々のデータを示す。「画像データ」は、動画を構成する各フレームのデータを示す。「位置情報」は、動画を構成する各フレームに紐付けられた位置情報を示す。
また、生成装置100は、動画を取得すると、動画に対応する再生バーを生成し、生成した再生バーを動画と紐付けて再生データ記憶部122に記憶する。図10に、再生データ記憶部122が記憶する情報の一例を示す。図10は、実施形態に係る再生データ記憶部122の一例を示す図である。図10に示した例では、再生データ記憶部122は、「対応地図」、「動画ファイルID」、「形状データ」といった各項目を有する。
「対応地図」は、動画に対応する再生バーが組み込まれた地図データ等、動画の再生時に表示される地図データを示す。なお、再生バーが地図データに組み込まれない場合等には、再生データ記憶部122は、対応地図の情報を記憶することを要しない。また、対応地図は、必ずしも当該国の地理局等が提供するデータではなく、位置情報と対応する任意の空間に関するデータ(例えば、各フレームの位置情報と対応する2次元もしくは3次元座標が設定可能な空間データ)であればよい。「動画ファイルID」は、図9に示した同一の項目に対応する。「形状データ」は、動画に基づいて生成された再生バーの形状を示す。
図5に戻り、説明を続ける。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等によって、生成装置100内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図5に示すように、制御部130は、取得部131と、生成部132と、表示制御部133と、再生部134とを含む。
取得部131は、各種情報を取得する。例えば、取得部131は、動画と、動画を構成するフレームに紐づく位置情報とを取得する。また、取得部131は、取得した位置情報に対応する地図データを取得する。
生成部132は、位置情報に基づいて、動画の再生を制御する再生バーの形状を生成する。例えば、生成部132は、動画に経度および緯度を示す位置情報が紐付いている場合、経度をX座標、緯度をY座標にプロットすることで、再生バーの形状を生成する。生成部132は、動画プレーヤー20の再生バーとして利用できるよう、生成した再生バーを再生データ記憶部122に格納する。
表示制御部133は、図1等に示した動画プレーヤー20において、各種表示を制御する。例えば、表示制御部133は、生成部132によって生成された再生バーを地図データに組み込むことにより、再生バーと地図データとが合成された合成地図を表示する。
また、表示制御部133は、動画プレーヤー20において動画を再生した際に、再生されている動画のフレームに紐づく位置情報の遷移に応じて、動画の現在の再生位置を示すマーク(例えば、図1等に示した現在表示位置24)を合成地図上の再生バー上に表示する。これにより、表示制御部133は、再生中の動画の映像が、地図上のどの位置に対応するかをユーザに一目で確認させることができる。
再生部134は、合成地図上の再生バーの任意箇所の指定を受け付けると、当該任意箇所に紐づく位置情報から動画および当該動画を構成するフレームを特定し、特定されたフレームから当該動画を再生するよう制御する。
例えば、図4で示したように、ユーザが動画プレーヤー20において表示されている合成地図上の任意の再生バーをクリックすると、再生部134は、記憶部120を参照し、クリックされた再生バーに対応する動画ファイルを特定する。また、再生部134は、クリックされた地図上の位置に対応する位置情報を特定し、動画ファイルのうち当該位置情報に対応するフレームを特定する。そして、再生部134は、当該フレームから動画の再生を開始する。これにより、ユーザは、数多くの動画ファイルを順番に視聴して目的の箇所の映像を特定するような手間をかけず、目的の映像をすぐに視聴することができる。
(1-3.実施形態に係る生成処理の手順)
次に、図11および図12を用いて、実施形態に係る処理の手順について説明する。まず、図11を用いて、再生バーの形状を生成する処理の流れについて説明する。図11は、実施形態に係る生成処理の手順を示すフローチャートである。
図11に示すように、生成装置100は、再生バーを生成する対象となる動画ファイルを取得する(ステップS101)。このとき、生成装置100は、動画ファイルの各フレームに位置情報が紐付いているか否かを判定する(ステップS102)。
各フレームに位置情報が紐付いていない場合(ステップS102;No)、生成装置100は、図6から図8で示した位置情報の抽出や補完処理を行い、位置情報を各フレームに紐付ける(ステップS103)。
各フレームに位置情報を紐付けた場合、もしくは、各フレームに位置情報がすでに紐付いていた場合(ステップS102;Yes)、生成装置100は、位置情報に基づいて、再生バーの形状を生成する(ステップS104)。
その後、生成装置100は、ユーザの指示等にしたがい、再生バーを任意の地図に組み込むか否かを判定する(ステップS105)。再生バーを任意の地図に組み込む場合(ステップS105;Yes)、生成装置100は、組み込む対象となる地図を取得する(ステップS106)。
そして、生成装置100は、再生バーの表示形式やスケール等を地図に適用させ、地図に再生バーを組み込む(ステップS107)。再生バーを地図に組み込んだ場合、生成装置100は、組み込んだ合成地図に係る情報を再生データとして記憶する(ステップS108)。なお、再生バーを地図に組み込まない場合(ステップS105;No)、生成装置100は、生成した再生バーの形状のみを再生データとして記憶してもよい。
次に、図12を用いて、生成装置100が動画を表示する処理の流れについて説明する。図12は、実施形態に係る表示制御処理の手順を示すフローチャートである。
生成装置100は、ユーザの指示等にしたがい、動画プレーヤー20を起動する(ステップS201)。その後、生成装置100は、表示した地図上の位置(もしくは再生バーの任意位置)の指定をユーザから受け付けたか否かを判定する(ステップS202)。位置の指定を受け付けない場合(ステップS202;No)、生成装置100は、指定を受け付けるまで待機する。
一方、位置の指定を受け付けた場合(ステップS202;Yes)、生成装置100は、指定位置の位置情報を特定する(ステップS203)。そして、生成装置100は、指定位置を含む動画ファイルを特定する(ステップS204)。続けて、生成装置100は、指定位置に対応するフレームから、特定した動画ファイルの再生を開始する(ステップS205)。
このとき、生成装置100は、動画の再生に合わせて、動画の現在再生位置のマークを再生バー上に表示する(ステップS206)。図3等に示したように、再生バーと動画プレーヤー20において表示される地図とのスケールは合っていることから、動画プレーヤー20上では、動画の現在再生位置があたかも地図上に表示されているように見える。すなわち、生成装置100は、動画が撮影された位置と、動画ファイルにおいて再生中の箇所とが一致するように、地図上のマーク(例えば図3で示した現在表示位置24)の表示を随時更新する。
その後、生成装置100は、ユーザから動画の再生の終了要求を受け付けたか否かを判定する(ステップS207)。再生の終了要求を受け付けた場合(ステップS207;Yes)、生成装置100は、動画の再生を終了する(ステップS208)。一方、再生の終了要求を受け付けない場合(ステップS207;No)、生成装置100は、動画を再生しつつ、ユーザからの新たな地図上の位置の指定の受け付けを継続し、新たな指定を受け付けた場合、指定された箇所に対応する動画の再生を行う。なお、生成装置100は、ステップS202からステップS206までの処理の間、動画の再生終了要求をユーザから受け付けた場合、図12に示した順序に関わらず、任意のタイミングで処理を終了してもよい。
(2.実施形態の変形例)
(2-1.3次元位置による再生バーの生成)
上記実施形態では、生成装置100が、経度や緯度により特定される位置情報に基づいて再生バーを生成する例を示した。しかし、生成装置100は、緯度や経度等の2次元情報のみならず、例えば高さや深度を示す情報を加えた3次元情報に基づいて再生バーを生成してもよい。
この点について、図13を用いて説明する。図13は、変形例に係る再生バーの生成処理の一例を示す図である。図13の例では、生成装置100は、緯度および経度等の2次元情報に加えて、高度や深度等の3次元情報(Z軸情報)を含む位置情報が各フレームに紐付いた動画ファイル70を取得する。例えば、動画ファイル70は、空中飛行可能なドローンや、水中潜航が可能な移動体等が備えたカメラによって撮影された動画である。
この場合、生成装置100は、図13に示すように、X軸、Y軸、Z軸の3次元で示される再生バー72を生成する。ユーザは、再生バー72の任意の位置を指定することで、動画ファイル70のうち、指定した位置に対応する箇所のフレーム(映像)を視聴することができる。
なお、3次元情報を含む動画ファイルは、ドローン等に限らず、高度情報が検知可能なセンサを備えたカメラ等を用いることで取得可能である。例えば、生成装置100は、ユーザが建造物内を移動しながら撮影した動画に基づいて、3次元の再生バーを生成してもよい。この場合、生成装置100は、組み込む地図として、3次元で表現された建造物の空間データ等を用いることができる。これにより、生成装置100は、例えば観光施設などの建造物における案内地図(例えば、来客者が任意の位置を指定すると、その位置までの経路が動画で閲覧できる機能を有する地図等)を容易に生成することができる。
(2-2.動画の連続再生)
生成装置100は、ユーザによる位置指定に基づいて再生した1つの動画が終了した場合に、続けて次の動画を再生してもよい。かかる再生の際、生成装置100は、動画が終了した時点に紐付いた位置情報に基づいて、次に再生する動画を特定することができる。
この点について、図14を用いて説明する。図14は、変形例に係る再生処理の一例を示す図(1)である。
図14の例では、生成装置100は、合成地図74において、ユーザが指定した経路75に対応する動画ファイル76を再生しているものとする。なお、経路75とは、経路を示す表示であるとともに、動画ファイル76に基づいて生成された再生バーを意味する。
生成装置100は、動画ファイル76の最後のフレームに紐付けられた位置情報を取得する。そして、生成装置100は、再生データを記憶したデータベース(例えば記憶部120)から、動画ファイル76の最後のフレームに紐付けられた位置情報と近い位置情報と紐付けられたフレームを有する動画ファイルを検索する(ステップS77)。例えば、生成装置100は、動画ファイル76の最後のフレームに紐付けられた位置情報と、合成地図74の平面上において最も近い座標を有する位置情報と紐付けられたフレームを有する動画ファイルを検索する。
図14の例では、生成装置100は、動画ファイル76の最後のフレームに紐付けられた位置情報と近い位置情報に紐付けられたフレームを有する動画ファイルとして、動画ファイル78を検索したものとする。動画ファイル78は、例えば、合成地図74における経路79を移動した際に撮影された映像に対応する動画ファイルである。生成装置100は、動画ファイル76の再生の直後に、連続して動画ファイル78を再生することで、映像を途切れさせることなく、直通する経路上(経路75および経路79)を撮影した動画を再生することができる。
すなわち、生成装置100に係る再生部134は、動画の終端における位置情報に紐づくフレームを有する他の動画を特定し、動画の再生が終了した際に、当該他の動画を続けて再生する。かかる処理によれば、ユーザが特に操作をせずとも、位置情報の近い動画が連続的に再生されるので、ユーザは、連続する経路をわざわざクリックするような手間を要せず、連続した動画を視聴することができる。
なお、生成装置100は、連続した動画ファイルを検索するにあたり、複数の手法をとりうる。この点について、図15および図16を用いて説明する。
図15は、変形例に係る再生処理の一例を示す図(2)である。図15の例では、生成装置100が、動画ファイル80と動画ファイル82を連続して再生する処理について説明する。
上述したように、運転動画のような比較的長時間にわたり撮影が行われる動画は、1分毎に分割された動画ファイルとして作成されることがある。この場合、生成装置100は、メタデータやファイル名等に基づいて、分割された動画ファイルを判別可能である。
このことから、生成装置100は、動画ファイル80が終了した場合、それに続く動画が存在しているか、すなわち、データベースにおいて連続した動画が記憶されていないかを検索する(ステップS81)。図15の例では、生成装置100は、撮影日時や、撮影い用いられたデバイス(カメラ)IDや、ファイル名「J-001」や「J-002」といった所定の命名規則に基づいて、動画ファイル80と動画ファイル82とが連続した動画であると判別可能である。この場合、生成装置100は、動画ファイル80が終了した時点で、動画ファイル80に連続する動画である動画ファイル82を検索する。そして、生成装置100は、動画ファイル80の再生が終了すると、自動的に動画ファイル82の再生を開始する。かかる処理により、生成装置100は、ある動画ファイルの終了時点に紐付いた位置情報と、多数のファイル内に含まれる各位置情報とを照合するといった処理を省くことができるため、迅速に動画の連続再生を行うことができる。なお、この場合であっても、生成装置100は、再生中の動画ファイルの最後のフレームに紐づけられた位置情報と近い位置情報を先頭に持っている動画ファイルを検索し、検索した動画ファイルを連続して再生するようにしてもよい。
また、生成装置100は、必ずしも動画が終了した時点で次の動画を再生するのではなく、第1の動画の途中の箇所から、後続の動画を連続再生してもよい。この場合、生成装置100は、必ずしも後続の動画を最初から再生するのではなく、途中の箇所から再生してもよい。この点について、図16を用いて説明する。図16は、変形例に係る再生処理の一例を示す図(3)である。
図16の例では、生成装置100が、個別に撮影された動画ファイルである動画ファイル84と動画ファイル86を連続して再生する例を示す。生成装置100は、動画ファイル84の任意のフレームにおいて、データベースから対応する位置を含む動画を検索する(ステップS85)。例えば、生成装置100は、動画ファイル84の任意のフレームに紐付いた位置情報と、データベース内において同一もしくは類似の位置情報が紐付いたフレームとを照合する。そして、生成装置100は、動画ファイル84の任意のフレームに紐付いた位置情報と同一もしくは類似の位置情報が紐付いたフレームを有する、動画ファイル86を特定する。そして、生成装置100は、動画ファイル84の当該フレームと、当該フレームと同一もしくは類似の位置情報が紐付いたフレームとが連続するように、動画ファイル86を再生する。
このように、生成装置100は、図15のように連続撮影された動画同士でなくても、位置情報に基づいて、個別に撮影された動画ファイルを連続して再生することができる。すなわち、生成装置100は、動画ファイル84に対応する経路上で欠損している映像があったとしても、欠損部に対応する映像を含む動画ファイル86を連続して再生できるので、欠損部を補う(欠損部を追加した)再生を行うことができる。なお、動画ファイル84と動画ファイル86とでは、撮影者や撮影日時が異なっていてもよい。ユーザは、例えば動画共有サイト等において、かかる手法を用いて、1つの経路に対応する複数の動画を連続して視聴することで、当該経路を欠損なく撮影された動画を視聴できる。
(2-3.動画のマルチアングル再生)
生成装置100は、複数の異なる視点から撮影された複数動画を表示してもよい。かかる処理について、図17を用いて説明する。図17は、変形例に係るマルチアングル再生処理を説明する図(1)である。
図17の例では、ユーザが、合成地図88上において、任意の位置89を指定したものとする。この場合、生成装置100は、位置89を含む経路(再生バー)90、経路91、経路92等、複数の経路を特定する。なお、生成装置100は、経路90等における撮影方向(移動の向き、すなわちベクトル情報)に基づき、異なる方向からそれぞれ位置89に向かう経路を複数特定してもよい。
そして、生成装置100は、位置89に向かって撮影された動画であり、かつ、異なる方向から位置89に向かう複数の動画を同時に表示する。例えば、生成装置100は、位置89を終点として、所定フレーム数(例えば、100フレームなど)だけ遡った複数の動画を同期して再生するよう制御する。図17の例では、生成装置100は、経路90に対応する動画93、経路91に対応する動画94、経路92に対応する動画95のそれぞれが位置89に対応するフレームで同時に再生終了となるよう再生開始点を調整したうえで、これらの動画を同時に再生する。
すなわち、生成装置100に係る再生部134は、任意箇所の指定を受け付けると、任意箇所に紐づく位置情報に関連する複数の動画であって、当該任意箇所に到達するまでの位置情報の遷移過程が異なる複数の動画を特定し、特定した複数の動画を再生する。これにより、ユーザは、ある1点に向かって移動する際の映像であって、異なる視点から撮影された動画を一度に視聴することができる。例えば、ユーザは、事故現場の交差点の状況などをマルチアングルで確認できるので、1方向からの映像に比べて、より正確に状況を把握することができる。
図18に、マルチアングル生成される複数の動画ファイルと、動画ファイルを構成するフレームとの関係を図示する。図18は、変形例に係るマルチアングル再生処理を説明する図(2)である。
図18に示すように、生成装置100は、位置89を含む再生バーに対応する複数の動画ファイルである、動画93、動画94および動画95を特定する。図18に示すように、動画93、動画94および動画95において、位置89に対応するフレームは、それぞれ異なる。例えば、動画93では104番目のフレームが位置89に対応し、動画94では205番目のフレームが位置89に対応し、動画95では354番目のフレームが位置89に対応する。生成装置100は、位置89に対応したこれらのフレームを、動画の終点96として設定する。そして、この場合、生成装置100は、それぞれの位置89に対応するフレームから所定数(例えば、100フレーム)だけ遡って、再生点97を決定する。生成装置100は、再生点97から動画93、動画94および動画95を同時に再生することで、ある1点に向かって移動する際の映像であって、異なる視点から撮影された動画を一度に再生することができる。
なお、上記の再生手法は一例であり、生成装置100は、3つ以上の複数の動画を同時に表示してもよいし、あるいは、複数動画のそれぞれを同時ではなく任意のタイミングで再生するなど、種々の変形を伴った手法を採用してもよい。
(2-4.装置構成)
上記実施形態では、生成システム1が車両200を含み、車両200によって撮影された動画を生成装置100が取得し、動画に対応する再生バーを生成する例を示した。しかし、実施形態に係る生成処理は、車両200によって撮影された動画のみならず、人間やドローン等、様々な移動体によって撮影された動画に係る再生バーを生成してもよい。
また、生成処理に用いる位置情報は、緯度や経度情報に限らず、任意の空間において、撮影箇所を特定することができる情報であれば、いずれの情報を用いてもよい。例えば、位置情報は、任意の点からの距離や座標、角度など、何らかの手段で位置を特定することができる情報であれば、いずれの情報が用いられてもよい。
(3.その他の実施形態)
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
(4.本開示に係る生成装置の効果)
上述してきたように、本開示に係る生成装置(実施形態では生成装置100)は、取得部(実施形態では取得部131)と、生成部(実施形態では生成部132)とを含む。取得部は、動画コンテンツと、動画コンテンツを構成するフレームに紐づく位置情報とを取得する。生成部は、位置情報に基づいて、動画コンテンツの再生を制御する再生バーの形状を生成する。
このように、本開示に係る生成装置は、動画における位置情報の推移を示す形状を、動画の再生バーとして生成する。これにより、ユーザは、視聴したい映像が含まれている動画の箇所を形状を見るだけで即座に把握できるので、直感的に所望の映像を表示させることができる。
また、生成装置は、生成部によって生成された再生バーを地図データに組み込むことにより、再生バーと地図データとが合成された合成地図を表示する表示制御部をさらに備える。
このように、生成装置は、再生バーを地図に組み込むことにより、動画の撮影経路そのものを再生バーとしてユーザに利用させることができる。これにより、ユーザは、ある経路を撮影した動画があるか否かを即座に判別したり、目的の箇所の動画を即座に選択したりすることができるので、動画の管理や検索に係る手間を省くことができる。
また、生成装置は、合成地図上の再生バーの任意箇所の指定を受け付けると、当該任意箇所に紐づく位置情報から動画コンテンツおよび当該動画コンテンツを構成するフレームを特定し、特定されたフレームから当該動画コンテンツを再生するよう制御する再生部をさらに備える。
このように、生成装置は、地図上の位置が選択されると、当該位置に対応した動画を再生する。これにより、ユーザは、映像を視聴したい箇所を地図上で選択するのみで、目的の動画をすぐに視聴することができる。
また、表示制御部は、再生部によって再生されている動画コンテンツのフレームに紐づく位置情報の遷移に応じて、当該動画コンテンツの現在の再生位置を示すマークを合成地図上の再生バー上に表示する。
このように、生成装置は、一般的な動画プレーヤーのように、動画再生時間ではなく、位置情報に基づいて動画を再生している箇所を示すとともに、地図上でもその表示を遷移させる。これにより、ユーザは、現在再生されている動画がどの位置を撮影したものであるか、一目で把握することができる。
また、再生部は、動画コンテンツの終端における位置情報に紐づくフレームを有する他の動画コンテンツを特定し、動画コンテンツの再生が終了した際に、当該他の動画コンテンツを続けて再生する。
このように、生成装置は、位置情報に基づいて連続して動画を再生することで、多数に分割された動画や、多数の異なる撮影者によって撮影された動画であっても、スムーズに連続した再生を行うことができる。これにより、ユーザは、多くの動画ファイルの中から、目的位置の近傍を撮影した動画ファイルを検索するなどの手間をかけることなく、目的の映像の視聴を継続することができる。
また、再生部は、任意箇所の指定を受け付けると、当該任意箇所に紐づく位置情報に関連する複数の動画コンテンツであって、当該任意箇所に到達するまでの位置情報の遷移過程が異なる複数の動画コンテンツを特定し、特定した複数の動画コンテンツを再生する。
このように、生成装置は、複数視点に基づく動画をマルチアングルで表示することができる。これにより、ユーザは、ある位置に対応する映像を複数視点で検証できるので、より詳細に状況を把握することができる。
(5.ハードウェア構成)
上述してきた実施形態に係る生成装置100や車載カメラやユーザ端末等の情報機器は、例えば図19に示すような構成のコンピュータ1000によって実現される。以下、実施形態に係る生成装置100を例に挙げて説明する。図19は、生成装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、および入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300またはHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る生成処理を実行するプログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る生成装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る生成処理を実行するプログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1 生成システム
10 ユーザ
20 動画プレーヤー
100 生成装置
110 通信部
120 記憶部
121 動画記憶部
122 再生データ記憶部
130 制御部
131 取得部
132 生成部
133 表示制御部
134 再生部
200 車両

Claims (8)

  1. 動画コンテンツと、前記動画コンテンツを構成するフレームに紐づく位置情報とを取得する取得部と、
    前記位置情報に基づいて、前記動画コンテンツの再生を制御する再生バーの形状を生成する生成部と、
    を備え、
    前記取得部は、
    前記動画コンテンツにおいて位置情報が紐づけられていないフレームが存在する場合、当該位置情報が紐づけられていないフレームの前後のフレームの位置情報、および、当該動画コンテンツが撮像された際の車両の姿勢情報もしくは速度情報に基づいて、当該位置情報が紐づけられていないフレームにおける位置情報を推定する、
    ことを特徴とする生成装置。
  2. 前記生成部によって生成された再生バーを地図データに組み込むことにより、前記再生バーと地図データとが合成された合成地図を表示する表示制御部、
    をさらに備えることを特徴とする請求項1に記載の生成装置。
  3. 前記合成地図上の再生バーの任意箇所の指定を受け付けると、当該任意箇所に紐づく位置情報から動画コンテンツおよび当該動画コンテンツを構成するフレームを特定し、特定されたフレームから当該動画コンテンツを再生するよう制御する再生部、
    をさらに備えることを特徴とする請求項2に記載の生成装置。
  4. 前記表示制御部は、
    前記再生部によって再生されている動画コンテンツのフレームに紐づく位置情報の遷移に応じて、当該動画コンテンツの現在の再生位置を示すマークを前記合成地図上の再生バー上に表示する、
    ことを特徴とする請求項3に記載の生成装置。
  5. 前記再生部は、
    前記動画コンテンツの終端における位置情報に紐づくフレームを有する他の動画コンテンツを特定し、前記動画コンテンツの再生が終了した際に、当該他の動画コンテンツを続けて再生する、
    ことを特徴とする請求項3に記載の生成装置。
  6. 前記再生部は、
    前記任意箇所の指定を受け付けると、当該任意箇所に紐づく位置情報に関連する複数の動画コンテンツであって、当該任意箇所に到達するまでの位置情報の遷移過程が異なる複数の動画コンテンツを特定し、特定した複数の動画コンテンツを再生する、
    ことを特徴とする請求項3または5に記載の生成装置。
  7. コンピュータが、
    動画コンテンツと、前記動画コンテンツを構成するフレームに紐づく位置情報とを取得し、
    前記位置情報に基づいて、前記動画コンテンツの再生を制御する再生バーの形状を生成する、
    ことを含み、
    前記取得することは、
    前記動画コンテンツにおいて位置情報が紐づけられていないフレームが存在する場合、当該位置情報が紐づけられていないフレームの前後のフレームの位置情報、および、当該動画コンテンツが撮像された際の車両の姿勢情報もしくは速度情報に基づいて、当該位置情報が紐づけられていないフレームにおける位置情報を推定する、
    ことを含むことを特徴とする生成方法。
  8. コンピュータを、
    動画コンテンツと、前記動画コンテンツを構成するフレームに紐づく位置情報とを取得する取得部と、
    前記位置情報に基づいて、前記動画コンテンツの再生を制御する再生バーの形状を生成する生成部と、
    を備える生成装置として機能させることを特徴とする生成プログラムであって、
    前記取得部は、
    前記動画コンテンツにおいて位置情報が紐づけられていないフレームが存在する場合、当該位置情報が紐づけられていないフレームの前後のフレームの位置情報、および、当該動画コンテンツが撮像された際の車両の姿勢情報もしくは速度情報に基づいて、当該位置情報が紐づけられていないフレームにおける位置情報を推定する、
    生成プログラム。
JP2023114894A 2022-04-15 2023-07-13 生成装置、生成方法および生成プログラム Active JP7557580B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023114894A JP7557580B2 (ja) 2022-04-15 2023-07-13 生成装置、生成方法および生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022067661A JP7374253B2 (ja) 2022-04-15 2022-04-15 生成装置、生成方法および生成プログラム
JP2023114894A JP7557580B2 (ja) 2022-04-15 2023-07-13 生成装置、生成方法および生成プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022067661A Division JP7374253B2 (ja) 2022-04-15 2022-04-15 生成装置、生成方法および生成プログラム

Publications (2)

Publication Number Publication Date
JP2023157912A true JP2023157912A (ja) 2023-10-26
JP7557580B2 JP7557580B2 (ja) 2024-09-27

Family

ID=88469596

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022067661A Active JP7374253B2 (ja) 2022-04-15 2022-04-15 生成装置、生成方法および生成プログラム
JP2023114893A Pending JP2023157911A (ja) 2022-04-15 2023-07-13 生成装置、生成方法および生成プログラム
JP2023114894A Active JP7557580B2 (ja) 2022-04-15 2023-07-13 生成装置、生成方法および生成プログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2022067661A Active JP7374253B2 (ja) 2022-04-15 2022-04-15 生成装置、生成方法および生成プログラム
JP2023114893A Pending JP2023157911A (ja) 2022-04-15 2023-07-13 生成装置、生成方法および生成プログラム

Country Status (1)

Country Link
JP (3) JP7374253B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4523523B2 (ja) * 2005-09-06 2010-08-11 本田技研工業株式会社 移動体デジタル放送受信システム及び移動体デジタル放送受信システムを有する車両
JP4915343B2 (ja) 2007-12-21 2012-04-11 ソニー株式会社 電子機器装置及びナビゲーション方法
JP5910241B2 (ja) 2012-03-29 2016-04-27 富士通株式会社 映像抽出装置、方法及びプログラム
JP5949435B2 (ja) 2012-10-23 2016-07-06 株式会社Jvcケンウッド ナビゲーションシステム、映像サーバ、映像管理方法、映像管理プログラム、及び映像提示端末
US20150030308A1 (en) * 2013-07-24 2015-01-29 Transcend Information, Inc. Method for operating the playback of a video file of an event data recorder
JP6584978B2 (ja) 2016-02-24 2019-10-02 京セラ株式会社 電子機器、制御装置、制御プログラム及び表示方法

Also Published As

Publication number Publication date
JP7557580B2 (ja) 2024-09-27
JP7374253B2 (ja) 2023-11-06
JP2023157630A (ja) 2023-10-26
JP2023157911A (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
EP3338136B1 (en) Augmented reality in vehicle platforms
US20240112430A1 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US11415986B2 (en) Geocoding data for an automated vehicle
US20180322197A1 (en) Video data creation and management system
US20170352185A1 (en) System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US7929800B2 (en) Methods and apparatus for generating a continuum of image data
JP2005269413A (ja) 無人飛行体を利用した空中撮影システム
US20150221341A1 (en) System and method for enhanced time-lapse video generation using panoramic imagery
US20090003599A1 (en) Systems and methods for publishing selectively altered sensor data in real time
WO2018209898A1 (zh) 信息处理装置、航拍路径生成方法、航拍路径生成系统、程序以及记录介质
JP7028608B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2010013373A9 (ja) 電子地図上での写真表示方法及びシステム、並びにその電子地図
US20230169625A1 (en) Computing device displaying image conversion possibility information
JPWO2018198281A1 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
US11947354B2 (en) Geocoding data for an automated vehicle
US10025798B2 (en) Location-based image retrieval
JPWO2018150492A1 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
JP6412400B2 (ja) 画像合成装置および画像合成プログラム
KR101850501B1 (ko) 역사 컨텐츠 제공 시스템
JP7374253B2 (ja) 生成装置、生成方法および生成プログラム
JP2019060827A (ja) モバイルプラットフォーム、撮像経路生成方法、プログラム、及び記録媒体
KR20210109759A (ko) 차량용 컨텐츠 기반 경로 정보 제공 방법 및 그를 수행하기 위한 장치
CN113597603A (zh) 数据处理方法、装置、设备及存储介质
KR20190096722A (ko) 콘텐츠 데이터 생성을 통한 디지털 앨범 서비스 제공 장치 및 방법
KR20140058870A (ko) 디지털 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240913

R150 Certificate of patent or registration of utility model

Ref document number: 7557580

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150