JP2022140458A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022140458A JP2022140458A JP2022110106A JP2022110106A JP2022140458A JP 2022140458 A JP2022140458 A JP 2022140458A JP 2022110106 A JP2022110106 A JP 2022110106A JP 2022110106 A JP2022110106 A JP 2022110106A JP 2022140458 A JP2022140458 A JP 2022140458A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- structured data
- information
- image data
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims abstract description 211
- 230000009471 action Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 51
- 239000003550 marker Substances 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 15
- 210000000707 wrist Anatomy 0.000 abstract description 36
- 230000000694 effects Effects 0.000 description 73
- 230000005540 biological transmission Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 17
- 238000013500 data storage Methods 0.000 description 16
- 238000013523 data management Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000007405 data analysis Methods 0.000 description 14
- 230000009194 climbing Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001351 cycling effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Instructional Devices (AREA)
Abstract
Description
所定の種類の行動を取るユーザの移動経路を表す移動情報であって所定のイベント位置が前記移動経路上の何れかの位置に対応付けられた移動情報に基づいて、前記移動経路を辿る内容の動画データを生成する動画データ生成手段を備え、
前記動画データ生成手段は、前記動画データの再生時において動画内容が前記イベント位置に到達した場合に前記行動の種類に対応したイベントが発生するように前記動画データを生成する、
ことを特徴とする動画データ生成装置。
図1に示すように、情報処理システム1は、リスト端末10と、撮影装置20と、スマートフォン30と、地図情報提供サーバ40と、クラウドストレージサーバ50と、PC(Personal Computer)60とを含んで構成される。
これらのうち、リスト端末10、撮影装置20及びスマートフォン30は、Bluetooth low energy/Bluetooth LE(登録商標)(以下、「BLE」と称する。)あるいはWi-Fi(Wireless Fidelity)等の無線通信によって互いに通信可能に構成されている。また、スマートフォン30、地図情報提供サーバ40、クラウドストレージサーバ50及びPC60は、インターネット等のネットワーク70を介して互いに通信可能に構成されている。なお、本実施形態において、リスト端末10、撮影装置20及びスマートフォン30が、インターネット等のネットワーク70を介して他の装置と通信する機能を備えることも可能である。
リスト端末10は、腕時計型の情報処理装置(いわゆるスマートウォッチ)によって構成され、登山あるいはロードバイク(サイクリング)等のアクティビティを行うユーザの腕に装着される。また、リスト端末10は、GPSによる測位機能を備えており、ユーザの移動履歴を含むアクティビティの履歴を記録する処理(以下、「履歴記録処理」と称する。)、及び、記録された履歴のデータに基づいて、位置情報及び位置情報に関連するコンテンツを表示するために記述される構造化データ(以下、「位置情報出力用構造化データ」と称する。)を生成する処理(以下、「構造化データ生成処理」と称する。)を実行する。例えば、リスト端末10は、履歴記録処理を実行することにより、リスト端末10を装着したユーザが各種アクティビティを行った場合に、アクティビティの種類と対応付けて、移動履歴を含むアクティビティの履歴のデータを記録する。また、リスト端末10は、構造化データ生成処理を実行することにより、記録した履歴のデータに基づいて、位置情報及び位置情報に関連するコンテンツを表示するために記述される位置情報出力用構造化データを自動的に生成する。そして、リスト端末10は、生成した位置情報出力用構造化データを、スマートフォン30を介してクラウドストレージサーバ50にアップロードする。
次に、情報処理システム1を構成する各装置のハードウェア構成を説明する。
本実施形態においては、一例として、情報処理システム1を構成するリスト端末10、撮影装置20及びスマートフォン30は、携帯型の情報処理装置100によって構成され、地図情報提供サーバ40、クラウドストレージサーバ50及びPC60は、据え付け型の情報処理装置200によって構成される。以下、リスト端末10、撮影装置20及びスマートフォン30を構成する情報処理装置100、及び、地図情報提供サーバ40、クラウドストレージサーバ50及びPC60を構成する情報処理装置200それぞれのハードウェア構成について説明する。なお、情報処理装置100及び情報処理装置200のハードウェア構成は、具体的に実装される装置に応じて適宜変更することが可能である。
情報処理装置100は、図2に示すように、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113と、バス114と、入出力インターフェース115と、GPS受信部116と、撮像部117と、センサ部118と、入力部119と、出力部120と、記憶部121と、通信部122と、ドライブ123と、を備えている。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部117にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部117の出力信号として、CPU111や図示しない画像処理部等に適宜供給される。
出力部120は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
なお、本実施形態において、情報処理装置100の入力部119はタッチセンサを備え、このタッチセンサが出力部120のディスプレイと重ねて配置されることにより、タッチパネルが構成されている。
記憶部121は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
通信部122は、インターネットを含むネットワークを介して他の装置との間で行う通信を制御する。また、通信部122は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。
情報処理装置200は、図3に示すように、CPU211と、ROM212と、RAM213と、バス214と、入出力インターフェース215と、入力部216と、出力部217と、記憶部218と、通信部219と、ドライブ220と、を備えている。
図3に示す情報処理装置200において、各部のハードウェア構成は、図2に示す情報処理装置100の対応するハードウェア構成と同様である。
ただし、本実施形態において、通信部219は、端末間の直接的な無線通信によって他の装置との間で通信を行う機能を省略することができる。また、ドライブ220には、ドライブ123と同様に、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア231が適宜装着される。
次に、情報処理システム1の機能的構成について説明する。
図4は、図2の情報処理装置100によって構成されるリスト端末10の機能的構成のうち、履歴記録処理及び構造化データ生成処理を実行するための機能的構成を示す機能ブロック図である。
履歴記録処理とは、ユーザの移動履歴を含むアクティビティの履歴を記録する一連の処理である。また、構造化データ生成処理とは、記録された履歴のデータに基づいて、位置情報及び位置情報に関連するコンテンツを表示するために記述される位置情報出力用構造化データを生成する一連の処理である。
また、記憶部121の一領域には、履歴データ記憶部71が設定される。
履歴データ記憶部71には、ユーザの移動履歴を含むアクティビティの履歴のデータが記憶される。
履歴取得部52は、GPS受信部116によって検出される位置(緯度、経度、高度)及び現在時刻を逐次取得し、ユーザの移動履歴として、履歴データ記憶部71に記憶する。
図5に示すように、動画属性テーブルには、アクティビティの種類と、そのアクティビティの種類に対応する動画の属性とが対応付けて格納されている。
本実施形態においては、アクティビティの種類として、登山、ロードバイク(サイクリング)、スキー/スノーボード、パドルボード、サーフィン、オフロードバイクが定義されている。
また、視点の移動速度に関しては、アクティビティにおける実際の移動速度の定数倍の移動速度または選択された特定の速度を定義したり、全工程を予め設定された時間(例えば3分等)で移動する速度として定義したりすることができる。
また、視点の高度に関しては、登山やトレッキングであれば、移動範囲を広く見渡せる視点の高さを定義したり、ロードバイク(サイクリング)であれば、自転車のスピード感を表現できる視点の高さ(即ち、登山やトレッキングよりも低い視点の高さ)を定義したりすることができる。
また、視点の水平アングルに関しては、アクティビティの種類に応じた俯角を定義することができ、例えば、登山やトレッキングであれば、比較的大きい俯角(真下を見下ろす場合に近い角度)を定義したり、ロードバイク(サイクリング)であれば、比較的小さい俯角(進行方向を見る場合に近い角度)を定義したりすることができる。
図6に示すように、位置情報出力用構造化データは、タグによって構造が定義された構造化文書として構成され、位置情報の出力を想定した各種タグが定義されている。このような構造化文書は、例えば、XML(eXtensible Markup Language)形式で記述することができ、視点を設定するタグやイベント時の動作を定義するタグ等、位置情報の出力に有効な各種タグを定義することができる。
本実施形態において、位置情報出力用構造化データは、図6に示すように、機能毎にまとめられた複数のブロックによって構成される。一例として、位置情報出力用構造化データは、各種スタイルを定義するブロック、軌跡の線の描画を定義するブロック、マーカー類の描画を定義するブロック、動画の表示を定義するブロック等を含んでいる。
軌跡の線の描画を定義するブロックは、動画に表示される軌跡の描画を定義するものであり、ユーザの移動履歴を表す複数の座標が、移動の時系列順に連続的に定義されている。また、軌跡の線の描画を定義するブロックには、軌跡の線幅や線色が定義されている。
構造化データ解析処理とは、位置情報出力用構造化データを解釈し、その位置情報出力用構造化データに記述されている視点の位置を時系列に移動しながら地図情報及び関連するコンテンツ等を表示する一連の処理である。
構造化データ実行部152は、構造化データ受信部151によって受信された位置情報出力用構造化データを解釈し、関連するコンテンツのアドレス(クラウドストレージサーバ50における記憶領域のURL(Uniform Resource Locator)等)を特定する。構造化データ実行部152は、コンテンツ取得部153を介して、特定したアドレスから関連するコンテンツを取得する。そして、構造化データ実行部152は、位置情報出力用構造化データを実行し、その位置情報出力用構造化データに記述されている視点の位置を時系列に移動しながら地図情報及び関連するコンテンツ等を表示するための動画のデータを生成する。このとき、位置情報出力用構造化データには、アクティビティの種類に応じた動画の属性が記述されていることから、生成される動画のデータは、アクティビティに応じた適切な表示形態を有する動画となる。そして、構造化データ実行部152は、生成した動画のデータを、位置情報出力用構造化データを送信したPC60に送信する。
コンテンツ取得部153は、構造化データ実行部152が位置情報出力用構造化データを解釈することにより特定した関連するコンテンツのアドレスから、各種コンテンツを取得する。
ストレージサービス処理とは、リスト端末10から送信された位置情報出力用構造化データや、撮影装置20から送信された画像のデータ等、ユーザによってアップロードされた各種データをユーザと対応付けて記憶すると共に、地図情報提供サーバ40等の他の装置からの要求に応じて、記憶している各種データを提供する一連の処理である。
また、記憶部218の一領域には、構造化データ記憶部271と、関連コンテンツ記憶部272と、が設定される。
構造化データ記憶部271には、ユーザによってアップロードされた位置情報出力用構造化データがユーザの識別情報と対応付けて記憶される。
関連コンテンツ記憶部272には、ユーザによってアップロードされた各種コンテンツのデータがユーザの識別情報と対応付けて記憶される。
構造化データ送信部252は、スマートフォン30等の他の装置から位置情報出力用構造化データの送信要求を受信した場合に、受信した送信要求をデータ管理部255に出力する。構造化データの送信要求には、ユーザの識別情報と、送信が要求される構造化データの識別情報とが含まれている。そして、構造化データ送信部252は、データ管理部255から、送信要求に対応する位置情報出力用構造化データが入力されると、入力された位置情報出力用構造化データを、送信を要求した装置に送信する。
コンテンツ送信部254は、PC60等の他の装置からコンテンツの送信要求を受信した場合に、受信した送信要求をデータ管理部255に出力する。コンテンツの送信要求には、ユーザの識別情報と、送信が要求されるコンテンツの識別情報とが含まれている。そして、構造化データ送信部252は、データ管理部255から、送信要求に対応するコンテンツが入力されると、入力されたコンテンツを、送信要求の送信元である装置に送信する。
動画再生処理とは、ユーザの指示に応じて、位置情報出力用構造化データに基づく動画を再生する一連の処理である。
また、記憶部218の一領域には、構造化データ記憶部371が設定される。
構造化データ記憶部371には、動画の再生対象となる位置情報出力用構造化データが記憶される。
動画再生部353は、地図情報提供サーバ40から送信される位置情報出力用構造化データに基づく動画のデータを受信し、出力部217のディスプレイで再生する。
図10は、アクティビティの履歴のデータの一例を示す模式図である。
図10に示す例では、アクティビティとして登山を行った場合の履歴のデータ全体が示されており、移動履歴の軌跡における位置P1~P6には、各種マーカーが付加されている。なお、図10における破線の太線は、移動履歴における軌跡を表している(図11~13において同様である)。
例えば、位置P1におけるマーカーは、スタート位置を表すマーカーであり、「登山スタート 10:40:00」のテキストが表示されている。また、位置P2におけるマーカーは、ユーザによって追加されたコメントのテキストを表すマーカーであり、「コメント 10:46:45」のテキストが表示されている。また、位置P3におけるマーカーは、ユーザが発話により入力したコメントが音声認識されたテキストを表すマーカーであり、「発話 12:36:54」のテキストが表示されている。また、位置P4におけるマーカーは、写真が撮影された位置を表すマーカーであり、「写真 13:04:22」のテキストが表示されている。また、位置P5におけるマーカーは、写真が撮影された位置を表すマーカーであり、「写真 13:48:04」のテキストが表示されている。また、位置P6におけるマーカーは、ゴール位置を表すマーカーであり、「登山ゴール 14:28:47」のテキストが表示されている。
図11において、破線の丸印は注目点の位置を示している。なお、注目点を示す丸印は、注目点の位置を模式的に示すために示されているが、本実施形態において、実際の動画には表示されない。ただし、移動するアイコン等を表示することにより、注目点の位置を明示的に示すこととしてもよい。
そして、注目点が、移動履歴の軌跡におけるイベントが設定された位置に到達すると、設定されているイベントの動作が実行される。
図12において、写真が撮影された位置P4に注目点が到達した場合、比較的長い時間(例えば3秒等)、視点及び注目点の移動が一時停止される。そして、撮影地点(位置P4)に一時的にズームアップされた後、撮影された写真の画像がポップアップで表示される。
なお、図13に示す例では、撮影された写真と共に、ユーザによって入力されたコメントを示すテキストが表示されている。
次に、情報処理システム1の動作を説明する。
[履歴記録処理]
図14は、図4の機能的構成を有するリスト端末10が実行する履歴記録処理の流れを説明するフローチャートである。
履歴記録処理は、入力部119を介して履歴記録処理の開始を指示する操作が行われることにより開始される。
ステップS2において、UI表示制御部51は、履歴記録処理の対象となるアクティビティの種類の入力を受け付ける。このとき、UI表示制御部51は、複数種類のアクティビティの候補一覧を表示し、ユーザによるアクティビティの選択を受け付ける。
ステップS4において、履歴取得部52は、履歴記録処理の終了が指示されたか否かの判定を行う。
履歴記録処理の終了が指示されていない場合、ステップS4においてNOと判定されて、処理はステップS3に移行する。
一方、履歴記録処理の終了が指示された場合、ステップS4においてYESと判定されて、処理はステップS5に移行する。
ステップS5の後、履歴記録処理は終了となる。
図15は、図4の機能的構成を有するリスト端末10が実行する構造化データ生成処理の流れを説明するフローチャートである。
構造化データ生成処理は、入力部119を介して構造化データ生成処理の開始を指示する操作が行われることにより開始される。
ステップS12において、アクティビティ判定部53は、アクティビティの履歴のデータに含まれるアクティビティの種類のデータに基づいて、ユーザが行ったアクティビティの種類を判定する。
ステップS14において、パラメータ補正受付部55は、動画属性設定部54によって設定された動画の属性を表すパラメータに対して、ユーザによる補正の操作を受け付ける。
ステップS16において、構造化データ登録部57は、構造化データ生成部56によって生成された位置情報出力用構造化データを、スマートフォン30を介してクラウドストレージサーバ50にアップロードする。
ステップS16の後、構造化データ解析処理は終了となる。
図16は、図7の機能的構成を有する地図情報提供サーバ40が実行する構造化データ解析処理の流れを説明するフローチャートである。
構造化データ解析処理は、入力部216あるいは通信部219を介して構造化データ解析処理の開始を指示する操作が行われることにより開始される。
ステップS22において、構造化データ実行部152は、構造化データ受信部151によって受信された位置情報出力用構造化データを解釈する。これにより、関連するコンテンツのアドレス(クラウドストレージサーバ50における記憶領域のURL等)が特定される。
ステップS24において、構造化データ実行部152は、位置情報出力用構造化データを実行する。これにより、その位置情報出力用構造化データに記述されている視点の位置を時系列に移動しながら地図情報及び関連するコンテンツ等を表示するための動画のデータが生成される。
なお、構造化データ実行部152が動画のデータをPC60に送信する場合、生成された動画のデータ全体を一括して送信したり、動画のデータを小サイズの部分データに分割して送信したりすることのいずれも可能である。
ステップS25の後、構造化データ解析処理が繰り返される。
図17は、図8の機能的構成を有するクラウドストレージサーバ50が実行するストレージサービス処理の流れを説明するフローチャートである。
ストレージサービス処理は、入力部216あるいは通信部219を介してストレージサービス処理の開始を指示する操作が行われることにより開始される。
位置情報出力用構造化データを受信していない場合、ステップS31においてNOと判定されて、処理はステップS33に移行する。
一方、位置情報出力用構造化データを受信した場合、ステップS31においてYESと判定されて、処理はステップS32に移行する。
ステップS33において、構造化データ送信部252は、位置情報出力用構造化データの送信要求を受信したか否かの判定を行う。位置情報出力用構造化データの送信要求には、ユーザの識別情報と、送信が要求される位置情報出力用構造化データの識別情報とが含まれている。
位置情報出力用構造化データの送信要求を受信した場合、ステップS33においてYESと判定されて、処理はステップS34に移行する。
ステップS34において、データ管理部255は、構造化データ記憶部271から、送信要求に示されるユーザの識別情報と対応付けられた位置情報出力用構造化データの中から、送信要求に示される識別情報に対応する位置情報出力用構造化データを読み出す。
ステップS36において、コンテンツ受信部253は、コンテンツを受信したか否かの判定を行う。
コンテンツを受信していない場合、ステップS36においてNOと判定されて、処理はステップS38に移行する。
一方、コンテンツを受信した場合、ステップS36においてYESと判定されて、処理はステップS37に移行する。
ステップS38において、コンテンツ送信部254は、コンテンツの送信要求を受信したか否かの判定を行う。コンテンツの送信要求には、ユーザの識別情報と、送信が要求されるコンテンツの識別情報とが含まれている。
コンテンツの送信要求を受信していない場合、ステップS38においてNOと判定されて、ストレージサービス処理が繰り返される。
コンテンツの送信要求を受信した場合、ステップS38においてYESと判定されて、処理はステップS39に移行する。
ステップS40において、コンテンツ送信部254は、読み出されたコンテンツを、送信要求の送信元である装置に送信する。
ステップS40の後、ストレージサービス処理が繰り返される。
図18は、図9の機能的構成を有するPC60が実行する動画再生処理の流れを説明するフローチャートである。
動画再生処理は、入力部119を介して動画再生処理の開始を指示する操作が行われることにより開始される。
ステップS52において、動画再生依頼部352は、ユーザによって動画の再生が指示された位置情報出力用構造化データと共に、動画の再生依頼を地図情報提供サーバ40に送信する。
ステップS54において、動画再生部353は、受信した動画のデータを出力部217のディスプレイで再生する。
ステップS54の後、動画再生処理は終了となる。
そして、地図情報提供サーバ40によって、位置情報出力用構造化データを基に、ユーザの移動軌跡を辿って地図上を移動する動画のデータが生成される。このとき生成される動画のデータには、マーカー、写真、コメント等、移動履歴の各位置に関連するコンテンツが含まれており、これらのコンテンツ及び動画は、アクティビティの種類に適した表示形態で表示される。
そのため、ユーザが移動履歴のデータに対して、手動で動画の属性を設定して位置情報出力用構造化データを生成することは極めて煩雑であるところ、移動軌跡を辿る動画の演出を簡単に設定することができる。
即ち、動画の移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
上述の実施形態において、位置情報出力用構造化データに対して動画の属性を設定する場合、アクティビティの種類に対応して予め設定されている動画の属性を自動的に設定するものとしたが、これに限られない。
例えば、移動軌跡における所定の情報の大きさ、変化度または変化率等に基づいて、動画の属性を設定することとしてもよい。一例として、移動履歴における滞在時間、画像の撮像枚数、撮像画像のサイズ(容量)、コメントの数、センサ情報の大きさ、変化度または変化率(最も温度が高い、最も標高が高い、風速が大きい、心拍数の変化率等)に応じて、それらに対応する位置での動画の属性を設定することができる。
これにより、ユーザの移動履歴における特徴的な位置を動画において識別可能に表示することができる。
上述の実施形態において、位置情報出力用構造化データに対してユーザが手動で動画の属性を設定する場合、設定の対象とする位置にカテゴリ(評価情報)を設定することにより、動画の属性を設定するようにしてもよい。この場合、例えば、位置の重要度等を表すランクとしてカテゴリを設定し、各カテゴリに対応する動画の属性を予め設定しておく。そして、いずれかのカテゴリが所定位置に設定された場合、その所定位置における動画の属性として、そのカテゴリに対応する動画の属性が設定される。
これにより、ユーザが手動で動画の属性を設定する場合にも、より簡単な操作で動画の属性を設定することが可能となる。
上述の実施形態において、移動履歴に関連するコンテンツは、記憶領域のアドレスを入力すること等により、ユーザが手動で関連付けたコンテンツであるものとして説明したが、これに限られない。
即ち、移動履歴にコンテンツを関連付ける場合、関連付けの方法として種々の形態を取ることができる。
一例として、リスト端末10を撮影装置20のリモートコントローラとして機能させることができ、この場合、リスト端末10が撮影装置20からライブビュー画像を受信して表示することができる。そして、ユーザによって、リスト端末10において画像を保存する指示または撮影装置20に対する撮影の指示が行われた場合に、リスト端末10は、ライブビュー画像に基づく画像(サムネイル画像等)を記録する。すると、ライブビュー画像に基づく画像の記録日時に基づいて、移動履歴の特定の位置と、記録されたライブビュー画像とを対応付けることが可能となる。
なお、写真以外のコンテンツも、これらの形態で移動履歴と対応付けることができる。
これにより、ユーザは、移動履歴とコンテンツとを手動で関連付けることなく、簡単に適切なコンテンツを移動履歴と対応付けることが可能となる。
上述の実施形態において、移動履歴を辿る動画が表示される場合、アクティビティの履歴のデータに関連するコンテンツを、各コンテンツに設定された動画の属性に基づいて表示するものとしたが、これに限られない。
例えば、同一の位置または近接する位置(例えば、数十メートル以内程度)に複数のコンテンツが関連付けられている場合、設定されている動画の属性に対して補正を加え、複数のコンテンツ全体として、より適切な表示が行われるようにしてもよい。
一例として、登山において、同一の位置(例えば、山頂)に複数の写真が対応付けられている場合、いずれかの写真を選択して表示し、他の写真を表示しないようにしたり、各写真の表示時間を短縮して表示したりすることができる。
また、所定位置への滞在時間に応じて、その位置にマーカーを自動的に設定する場合等には、単位時間あたりの行動半径が閾値未満であれば、その位置へのマーカーの設定を回避するよう制御すること等が可能である。
構造化データ生成部56は、移動軌跡における所定位置に関連する関連情報と、移動軌跡を辿る動画の表示制御情報と、移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において移動軌跡を辿る動画の表示を定義する構造化データを生成する。
移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡である。
構造化データ生成部56は、ユーザにおける所定の行動の内容に応じて、表示制御情報に動画を表示させるように、構造化データを生成する。
これにより、構造化データを実行することで、表示制御情報に従って、移動軌跡に対する関連情報を表示しながら、行動の履歴に対応する移動軌跡を辿る動画を表示することが可能となる。
したがって、移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
これにより、移動軌跡における所定位置で、その位置に関連する情報を所定の表示制御に従って表示する演出を行いつつ、移動軌跡を辿る動画を表示することができる。
これにより、移動軌跡を辿る多様な形態の動画を定義することができる。
これにより、ユーザが行った行動の種類に応じて、適切な表示形態で移動軌跡を辿る動画を表示することが可能となる。
これにより、ユーザが行った行動の内容に応じて、適切な表示形態で移動軌跡を辿る動画となるように表示制御情報を変化させることが可能となる。
これにより、多様な表示形態で、関連情報を表示することが可能となる。
パラメータ補正受付部55は、表示制御情報を補正する。
これにより、設定された表示制御情報をユーザの要求等に応じて補正することが可能となる。
これにより、ユーザによる入力の手間を省略して表示制御情報を設定したり、ユーザの要求に応じて柔軟に表示制御情報を設定したりすることが可能となる。
これにより、移動軌跡における特徴的な位置を動画において識別可能に表示することが可能となる。
構造化データ生成部56は、移動軌跡に対して設定されたカテゴリに基づいて、移動軌跡を辿る動画の表示形態を設定する。
これにより、ユーザが手動で表示制御情報を設定する場合にも、より簡単な操作で設定することが可能となる。
これにより、移動軌跡におけるいずれの位置に対応する関連情報であるかを容易に把握することができる。
これにより、多様な関連情報を移動軌跡と関連付けて表示することが可能となる。
構造化データ実行部152は、移動軌跡における所定位置に関連する関連情報と、移動軌跡を辿る動画の表示制御情報と、移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において移動軌跡を辿る動画の表示が定義された構造化データを実行する。
移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡である。
構造化データ実行部152は、ユーザにおける前記所定の行動の内容に応じて、表示制御情報に従って動画を実行する。
これにより、表示制御情報に従って、移動軌跡に対する関連情報を表示しながら、行動の履歴に対応する移動軌跡を辿る動画を表示することが可能となる。
したがって、移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
動画再生部353は、移動軌跡における所定位置に関連する関連情報と、移動軌跡を辿る動画の表示制御情報と、移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において移動軌跡を辿る動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する。
移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡である。
動画再生部353は、ユーザにおける所定の行動の内容に応じて、表示制御情報に従って実行された動画を表示する。
これにより、表示制御情報に従って、移動軌跡に対する関連情報を表示しながら、行動の履歴に対応する移動軌跡を辿る動画を表示することが可能となる。
したがって、移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
例えば、本発明は、構造化データの生成処理機能、構造化データの解釈・実行機能、あるいは、構造化データに基づく動画の再生機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図4,7,9の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置100,200に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4,7,9の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示を定義する構造化データを生成する構造化データ生成手段を備え、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ生成手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データを生成することを特徴とする情報処理装置。
[付記2]
前記構造化データ生成手段は、前記移動軌跡における所定位置に関連する関連情報を、前記移動軌跡情報における前記所定位置に対応付けると共に、前記表示制御情報に基づく表示形態で、前記移動軌跡を辿る動画における前記所定位置での前記関連情報の表示を定義した前記構造化データを生成することを特徴とする付記1に記載の情報処理装置。
[付記3]
前記構造化データには、注目点の位置、視点に関する情報、及び、予め設定されたイベント時の動作の少なくともいずれかが定義されていることを特徴とする付記1または2に記載の情報処理装置。
[付記4]
前記構造化データ生成手段は、ユーザにおける前記所定の行動の種類に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データを生成することを特徴とする付記1から3のいずれか1つに記載の情報処理装置。
[付記5]
前記構造化データ生成手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報を変化させて、前記構造化データを生成することを特徴とする付記1から4のいずれか1つに記載の情報処理装置。
[付記6]
前記表示制御情報は、前記関連情報の表示時間、表示サイズの変化、表示における表現方法の少なくともいずれかを制御する情報を含むことを特徴とする付記1から5のいずれか1つに記載の情報処理装置。
[付記7]
前記表示制御情報を補正する補正手段を備えることを特徴とする付記1から6のいずれか1つに記載の情報処理装置。
[付記8]
前記構造化データ生成手段は、予め設定されている前記表示制御情報を自動で取得する、または、ユーザによって入力された前記表示制御情報を取得することを特徴とする付記1から7のいずれか1つに記載の情報処理装置。
[付記9]
前記構造化データ生成手段は、前記移動軌跡における所定の情報の大きさ、変化度または変化率の少なくともいずれかに基づいて、前記表示制御情報を設定することを特徴とする付記1から8のいずれか1つに記載の情報処理装置。
[付記10]
前記表示制御情報は、所定のカテゴリに分類され、分類されたカテゴリ毎に制御内容が決定されており、
前記構造化データ生成手段は、前記移動軌跡に対して設定された前記カテゴリに基づいて、前記移動軌跡を辿る動画の表示形態を設定することを特徴とする付記1から9のいずれか1つに記載の情報処理装置。
[付記11]
前記構造化データ生成手段は、前記移動軌跡に重なることがないように、前記関連情報を表示する前記構造化データを生成することを特徴とする付記1から10のいずれか1つに記載の情報処理装置。
[付記12]
前記関連情報は、撮像された画像、他の装置から取得された画像、コメント、マーカー、センサからの情報を含むことを特徴とする付記1から11のいずれか1つに記載の情報処理装置。
[付記13]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データを実行する構造化データ実行手段を備え、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ実行手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って前記動画を実行することを特徴とする情報処理装置。
[付記14]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する動画表示手段を備え、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記動画表示手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って実行された前記動画を表示することを特徴とする情報処理装置。
[付記15]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示を定義する構造化データを生成する構造化データ生成ステップを含み、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ生成ステップでは、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データが生成されることを特徴とする情報処理方法。
[付記16]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データを実行する構造化データ実行ステップを含み、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ実行ステップでは、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って前記動画が実行されることを特徴とする情報処理方法。
[付記17]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する動画表示ステップを含み、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記動画表示ステップでは、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って実行された前記動画が表示されることを特徴とする情報処理方法。
[付記18]
コンピュータに、
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示を定義する構造化データを生成する構造化データ生成機能を実現させ、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ生成機能は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データを生成することを特徴とするプログラム。
[付記19]
コンピュータに、
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データを実行する構造化データ実行機能を実現させ、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ実行機能は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って前記動画を実行することを特徴とするプログラム。
[付記20]
コンピュータに、
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する動画表示機能を実現させ、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記動画表示機能は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って実行された前記動画を表示することを特徴とするプログラム。
ユーザの移動履歴を含むアクティビティの履歴のデータと、前記アクティビティの種類に基づいて、地図情報として提供される地図表示内において前記移動履歴の軌跡と、前記移動履歴に関連するコンテンツとを表示するための構造化データを生成する構造化データ生成手段を備え、前記構造化データ生成手段は、前記移動履歴の軌跡における所定の位置に前記コンテンツに関連するイベントを設定することを特徴とする。
Claims (7)
- 所定の種類の行動を取るユーザの移動経路を表す移動情報であって所定のイベント位置が前記移動経路上の何れかの位置に対応付けられた移動情報に基づいて、前記移動経路を辿る内容の動画データを生成する動画データ生成手段を備え、
前記動画データ生成手段は、前記動画データの再生時において動画内容が前記イベント位置に到達した場合に前記行動の種類に対応したイベントが発生するように前記動画データを生成する、
ことを特徴とする動画データ生成装置。 - 前記動画データ生成手段は、前記動画データの再生時において前記移動経路を辿る際の前記移動経路に向けた視点が前記行動の種類に対応した視点となるように前記動画データを生成する、
ことを特徴とする請求項1に記載の動画データ生成装置。 - 前記移動経路に向けた視点として、視点の移動速度、視点の高度または視点の水平アングルが設定されている、
ことを特徴とする請求項2に記載の動画データ生成装置。 - 前記イベントは、撮像された画像、他の装置から取得された画像、コメント、マーカー、センサからの情報の少なくともいずれかを表示する、
ことを特徴とする請求項1に記載の動画データ生成装置。 - 前記イベントは、前記撮像された画像、前記他の装置から取得された画像、前記コメント、前記マーカー、前記センサからの情報の少なくともいずれかを、前記行動の種類に対応した表示時間、表示サイズの変化、表示における表現方法で表示する、
ことを特徴とする請求項4に記載の動画データ生成装置。 - 動画データ生成装置が実行する情報処理方法であって、
所定の種類の行動を取るユーザの移動経路を表す移動情報であって所定のイベント位置が前記移動経路上の何れかの位置に対応付けられた移動情報に基づいて、前記移動経路を辿る内容の動画データを生成する動画データ生成処理を有し、
前記動画データ生成処理は、前記動画データの再生時において動画内容が前記イベント位置に到達した場合に前記行動の種類に対応したイベントが発生するように前記動画データを生成する、
ことを特徴とする動画データ生成方法。 - 動画データ生成装置のコンピュータを、
所定の種類の行動を取るユーザの移動経路を表す移動情報であって所定のイベント位置が前記移動経路上の何れかの位置に対応付けられた移動情報に基づいて、前記移動経路を辿る内容の動画データを生成する動画データ生成手段として機能させ、
前記動画データ生成手段は、前記動画データの再生時において動画内容が前記イベント位置に到達した場合に前記行動の種類に対応したイベントが発生するように前記動画データを生成する、
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022110106A JP2022140458A (ja) | 2017-09-25 | 2022-07-08 | 情報処理装置、情報処理方法、及びプログラム |
JP2024048835A JP2024071543A (ja) | 2017-09-25 | 2024-03-26 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184210A JP2019061386A (ja) | 2017-09-25 | 2017-09-25 | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
JP2022110106A JP2022140458A (ja) | 2017-09-25 | 2022-07-08 | 情報処理装置、情報処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017184210A Division JP2019061386A (ja) | 2017-09-25 | 2017-09-25 | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024048835A Division JP2024071543A (ja) | 2017-09-25 | 2024-03-26 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022140458A true JP2022140458A (ja) | 2022-09-26 |
Family
ID=66176648
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017184210A Pending JP2019061386A (ja) | 2017-09-25 | 2017-09-25 | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
JP2022110106A Pending JP2022140458A (ja) | 2017-09-25 | 2022-07-08 | 情報処理装置、情報処理方法、及びプログラム |
JP2024048835A Pending JP2024071543A (ja) | 2017-09-25 | 2024-03-26 | 情報処理装置、情報処理方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017184210A Pending JP2019061386A (ja) | 2017-09-25 | 2017-09-25 | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024048835A Pending JP2024071543A (ja) | 2017-09-25 | 2024-03-26 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP2019061386A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023073834A (ja) * | 2021-11-16 | 2023-05-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 管理システム、管理方法及びプログラム |
CN114511149B (zh) * | 2022-02-16 | 2022-12-02 | 长沙祥云瑞风信息技术有限公司 | 一种分层分布式气象预测平台、方法、介质及设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3295672B2 (ja) * | 1993-03-19 | 2002-06-24 | 株式会社日立製作所 | 動作履歴出力機能を有する情報処理装置 |
JP4640578B2 (ja) * | 2004-11-12 | 2011-03-02 | ノーリツ鋼機株式会社 | 画像処理システム及び画像処理方法 |
JP2015069313A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社日立ソリューションズ東日本 | 電子アルバム装置 |
-
2017
- 2017-09-25 JP JP2017184210A patent/JP2019061386A/ja active Pending
-
2022
- 2022-07-08 JP JP2022110106A patent/JP2022140458A/ja active Pending
-
2024
- 2024-03-26 JP JP2024048835A patent/JP2024071543A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024071543A (ja) | 2024-05-24 |
JP2019061386A (ja) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9779775B2 (en) | Automatic generation of compilation videos from an original video based on metadata associated with the original video | |
US20160365124A1 (en) | Video editing method using participant sharing | |
CN105210379B (zh) | 显示控制装置、显示控制方法 | |
US20160080835A1 (en) | Synopsis video creation based on video metadata | |
US20150243325A1 (en) | Automatic generation of compilation videos | |
US20160071549A1 (en) | Synopsis video creation based on relevance score | |
US9225947B2 (en) | Image pickup apparatus, method of providing composition of image pickup and computer-readable recording medium | |
US9742995B2 (en) | Receiver-controlled panoramic view video share | |
JP2022140458A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20180103197A1 (en) | Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons | |
US11782572B2 (en) | Prioritization for presentation of media based on sensor data collected by wearable sensor devices | |
CN103491331A (zh) | 显示控制设备、显示控制方法和程序 | |
US20150070526A1 (en) | Display control device, display control method, and program | |
KR20190118654A (ko) | 이미지 디스플레이 방법 및 전자 장치 | |
CN105190694B (zh) | 图像处理设备、图像处理方法和程序 | |
KR102172123B1 (ko) | 동영상 편집, 동영상 촬영 방법 및 장치 | |
JP2013097773A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2016200692A1 (en) | Editing, sharing, and viewing video | |
JP2017005395A (ja) | 撮像装置、撮像制御方法及びプログラム | |
WO2017022296A1 (ja) | 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法 | |
JP2013165413A (ja) | 画像表示装置 | |
JP2018186418A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018007235A (ja) | 指標表示装置、指標表示方法、プログラム、及び指標表示システム | |
CN112565586A (zh) | 一种自动对焦方法及装置 | |
US9536566B2 (en) | Video processing device, video processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240326 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240702 |