JP2023054014A - 映像生成装置、および、映像生成方法 - Google Patents
映像生成装置、および、映像生成方法 Download PDFInfo
- Publication number
- JP2023054014A JP2023054014A JP2023016751A JP2023016751A JP2023054014A JP 2023054014 A JP2023054014 A JP 2023054014A JP 2023016751 A JP2023016751 A JP 2023016751A JP 2023016751 A JP2023016751 A JP 2023016751A JP 2023054014 A JP2023054014 A JP 2023054014A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ship
- information
- video
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 239000002131 composite material Substances 0.000 claims description 24
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims 8
- 238000004091 panning Methods 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 230000002194 synthesizing effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000009877 rendering Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32203—Spatial or amplitude domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Architecture (AREA)
- Ocean & Marine Engineering (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】より多様な方向に対する拡張現実の映像を生成する。【解決手段】映像生成装置は、撮影方向を変更可能であり、撮影方向に応じた撮影映像を生成する撮像装置と、撮像装置が設置された水上移動体の位置を示す位置情報を取得する位置取得部と、複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、位置情報、付加表示情報に含まれる複数の地点の位置に基づいて、3次元表示用データを生成する表示用データ生成部と、撮影方向に応じた撮影映像と3次元表示用データとの合成映像を生成して出力する合成映像生成部と、を備える。【選択図】 図1
Description
本発明は、映像生成装置に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置に関する。
この種の映像生成装置は、例えば特許文献1に開示されている。この特許文献1の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。
特許文献1において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標(他船等)の位置を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応している。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記物標表示物と、が表示される構成となっている。
上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の環境を示す3次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、3次元仮想空間の点のそれぞれと、に基づいて、物標表示物を生成する。
しかし、上記特許文献1では、より多様な方向に対する物標表示物と映像との合成映像を生成することが難しい。
本発明は以上の事情に鑑みてされたものであり、その目的は、より多様な方向に対する拡張現実の映像を生成可能にすることにある。
この発明の映像生成装置は、撮影方向を変更可能であり、撮影方向に応じた撮影映像を生成する撮像装置と、撮像装置が設置された水上移動体の位置を示す位置情報を取得する位置取得部と、複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、位置情報、付加表示情報に含まれる複数の地点の位置に基づいて、3次元表示用データを生成する表示用データ生成部と、撮影方向に応じた撮影映像と3次元表示用データとの合成映像を生成して出力する合成映像生成部と、を備える。
この発明によれば、より多様な方向に対する拡張現実の映像を生成できる。
次に、図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る映像生成装置1の全体的な構成を示すブロック図である。図2は、船舶4に備えられる各種の機器を示す側面図である。
図1に示す映像生成装置1は、例えば図2に示すような船舶(水上移動体)4に搭載され、カメラ(撮影装置)3で撮影した映像をベースとして、当該船舶4の周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置1が生成した映像は、ディスプレイ2に表示される。
ディスプレイ2は、例えば、当該船舶4(自船)で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディスプレイ2は上記に限定されず、例えば、自船4から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船4の客室で乗客が鑑賞するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。
映像生成装置1は、自船4に設置されたカメラ3によって撮影された自船4の周囲の映像と、自船4の周囲の付加表示情報(後に詳述)を仮想現実的に表現する図形と、を合成することにより、ディスプレイ2への出力映像である合成映像を生成する。
次に、主に図1を参照して、映像生成装置1に電気的に接続されるカメラ3及び各種の船舶機器について説明する。
カメラ3は、自船4の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ3はライブ出力機能を有しており、撮影結果としての動画データ(映像データ)をリアルタイムで生成して映像生成装置1に出力することができる。図2に示すように、カメラ3は、撮影方向が船体に対して水平前方となるように船舶4に設置される。
カメラ3は図略の回転機構を介して船舶4に取り付けられており、パン/チルト動作を指示する信号が映像生成装置1から入力されることにより、その撮影方向を、船舶4の船体を基準として所定の角度範囲で変更することができる。また、自船4の高さ及び姿勢は波等により様々に変化するので、それに伴って、カメラ3の高さが変化するとともに姿勢(撮影方向)も3次元的に変化することになる。
本実施形態の映像生成装置1は、上記のカメラ3のほか、船舶機器としてのGNSSコンパス(方位センサ、姿勢センサ)5、角速度センサ6、GNSS受信機7、加速度センサ8、AIS受信機9、ECDIS10、プロッタ11、レーダ装置12、及びソナー13等と電気的に接続されている。
GNSSコンパス5は、自船4に固定された複数のGNSSアンテナ(測位用アンテナ)を備える。GNSSコンパス5は、それぞれのGNSSアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のGNSSコンパス5は、各GNSSアンテナが受信した電波の搬送波位相の位相差に基づいてGNSSアンテナの位置関係を求めるように構成されている(この処理は公知であるので、詳細な説明は省略する)。これにより、自船4の船首方位を精度よく取得することができる。
GNSSコンパス5は、船舶4の姿勢を3次元的に取得することができる。言い換えれば、GNSSコンパス5は、船首方位(即ち、船舶4のヨー角)だけでなく、船舶4のロール角及びピッチ角を検出することができる。GNSSコンパス5で取得された自船4の姿勢情報は、映像生成装置1の姿勢取得部16や、当該姿勢情報を利用する他の船舶機器に出力される。
角速度センサ6は、例えば公知の振動ジャイロセンサから構成されており、GNSSコンパス5の姿勢検出間隔(例えば、1秒)より短い周期で、船舶4のヨー角速度、ロール角速度及びピッチ角速度を検出することができる。GNSSコンパス5が検出した角度と、角速度センサ6が検出した角速度の積分値と、を併用することにより、GNSSコンパス5だけを用いる場合よりも短い時間間隔で船舶4の姿勢を取得することができる。また、角速度センサ6は、上述の測位衛星からの電波が例えば橋等の障害物により遮られて、GNSSコンパス5による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段として機能する。
GNSS受信機7は、前記のGNSSアンテナが測位衛星から受信した電波に基づいて、自船4の位置(詳細には、GNSSアンテナの緯度、経度及び高さ)を求める。GNSS受信機7は、得られた位置情報を、映像生成装置1の位置取得部15や、当該位置情報を利用する他の船舶機器に出力する。
加速度センサ8は、例えば公知の静電容量検出型のセンサとして構成されており、GNSS受信機7の位置検出間隔(例えば、1秒)より短い周期で、船舶4のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。GNSS受信機7が検出した位置と、加速度センサ8が検出した加速度の2重積分値と、を併用することにより、GNSS受信機7だけを用いる場合よりも短い時間間隔で自船4の位置を取得することができる。また、加速度センサ8は、上述の測位衛星からの電波が遮られてGNSS受信機7による位置の検出が不能となっている場合に、位置情報を取得するための代替的な手段として機能する。
本実施形態では図2に示すように、角速度センサ6、GNSS受信機7及び加速度センサ8は、GNSSコンパス5に内蔵されたものが用いられている。ただし、角速度センサ6、GNSS受信機7及び加速度センサ8のうち全部又は一部が、GNSSコンパス5とは独立して設けられてもよい。
AIS受信機9は、他船や陸上局等から送信されるAIS情報を受信するものである。AIS情報には、自船4の周囲を航行している他船の位置(緯度・経度)、当該他船の長さ及び幅、当該他船の種類及び識別情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。
ECDIS10は、GNSS受信機7から自船4の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船4の周囲の情報を映像生成装置1に出力する。
プロッタ11は、GNSS受信機7から自船4の位置を継続して取得することにより、自船4の航行軌跡の情報を生成することができる。また、プロッタ11は、ユーザに複数のウェイポイント(自船4が通過する予定の地点)を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成することができる。
レーダ装置12は、自船4の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置12は物標を捕捉及び追尾することが可能な公知の目標追尾機能(Target Tracking、TT)を有しており、当該物標の位置及び速度ベクトル(TT情報)を求めることができる。
ソナー13は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。
映像生成装置1は、ユーザが操作するキーボード31及びマウス32に接続されている。ユーザは、キーボード31及びマウス32を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ3のパン/チルト動作、合成映像の視点の設定等が含まれる。
次に、映像生成装置1の構成について、主に図1を参照して詳細に説明する。
図1に示すように、映像生成装置1は、撮影映像入力部21、位置取得部15、姿勢取得部16、付加表示情報取得部17、記憶部18、撮影位置設定部25、アンテナ位置設定部26、及び合成映像生成部20を備える。
具体的には、映像生成装置1は公知のコンピュータとして構成され、図示しないが、CPU、ROM、RAM、及びHDD等を備える。更に、映像生成装置1は、後述の3次元画像処理を高速で行うためのGPUを備えている。そして、例えばHDDには、本発明の映像合成処理を実行させるためのソフトウェアが記憶されている。このハードウェアとソフトウェアの協働により、映像生成装置1を、撮影映像入力部21、位置取得部15、姿勢取得部16、付加表示情報取得部17、記憶部18、撮影位置設定部25、アンテナ位置設定部26、及び合成映像生成部20等として機能させることができる。
撮影映像入力部21は、カメラ3が出力する映像データを、例えば30フレーム毎秒で入力することができる。撮影映像入力部21は、入力された映像データを、合成映像生成部20(後述のデータ合成部23)に出力する。
位置取得部15は、GNSS受信機7及び加速度センサ8の検出結果に基づいて、自船4の現在の位置をリアルタイムで取得する。
姿勢取得部16は、GNSSコンパス5及び角速度センサ6の検出結果に基づいて、自船4の現在の姿勢をリアルタイムで取得する。
付加表示情報取得部17は、AIS受信機9、ECDIS10、プロッタ11、レーダ装置12、及びソナー13等が映像生成装置1に出力する情報に基づいて、カメラ3で撮影した映像に対して付加的に表示する情報(付加表示情報)を取得する。この付加表示情報としては様々なものが考えられるが、例えば、自船4の予定航路として図3のように設定されるルート線42の情報とすることができる。なお、付加表示情報の詳細は後述する。
図1の記憶部18は、各種の情報を記憶するメモリとして構成されている。この記憶部18は、各種の付加表示情報を表現する仮想現実オブジェクトの3次元形状を、テンプレートとして記憶することができる。記憶部18が記憶する3次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすることができるが、これに限定されない。
撮影位置設定部25は、自船4におけるカメラ3の位置(撮影位置)、具体的には、船の長さ方向及び幅方向でのカメラ3の位置と、上下方向でのカメラの位置(カメラ3の高さ)と、を設定することができる。カメラ3の高さは、自船4において通常想定される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカメラ3の位置を実際に計測した結果をキーボード31及びマウス32等を操作して入力することで行うことができる。
アンテナ位置設定部26は、自船4におけるGNSSアンテナの位置(アンテナ位置)を設定することができる。このアンテナ位置は、例えば、制御の基準として図2に示すように自船4に設定される基準点4aを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点4aは様々に定めることができるが、本実施形態では、自船4の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。
位置取得部15、姿勢取得部16、付加表示情報取得部17、記憶部18、撮影位置設定部25、及びアンテナ位置設定部26は、取得し、記憶し、又は設定された情報を、合成映像生成部20に出力する。
合成映像生成部20は、ディスプレイ2に映し出す合成映像を生成するものである。当該合成映像生成部20は、3次元シーン生成部(表示用データ生成部)22と、データ合成部(表示出力部)23と、を備える。
3次元シーン生成部22は、図4に示すように、3次元仮想空間40に、付加表示情報に対応する仮想現実オブジェクト41v,42v,・・・を配置することにより、仮想現実の3次元シーンを構築する。これにより、3次元シーンのデータである3次元シーンデータ(3次元表示用データ)48が生成される。なお、3次元シーンの詳細は後述する。
データ合成部23は、3次元シーン生成部22が生成した3次元シーンデータ48を描画することで付加表示情報を3次元的に表現する図形を生成するとともに、図6に示す合成映像、即ち、当該図形41f,42f,・・・とカメラ3の撮影映像とを合成した映像を出力する処理を行う。図6に示すように、この合成画像では、カメラ3で撮影された映像(図では説明の都合により破線で示されている)の海面に、付加表示情報を示す図形41f,42f,・・・が載置されるように重ねられている。データ合成部23は、生成された合成映像をディスプレイ2に出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。
次に、前述の付加表示情報取得部17で取得される付加表示情報について詳細に説明する。図3は、映像生成装置1において表示の対象となる付加表示情報の例を説明する概念図である。
付加表示情報は、カメラ3で撮影した映像に対して付加的に表示する情報であり、映像生成装置1に接続される船舶機器の目的及び機能に応じて様々なものが考えられる。例示すると、AIS受信機9に関しては、受信した上述のAIS情報(例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等)を付加表示情報とすることができる。ECDIS10に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プロッタ11に関しては、記録される自船4の軌跡、設定された予定航路、ウェイポイント、到着エリア(到着地を示す領域)、立寄エリア(立寄地を示す領域)の位置等を付加表示情報とすることができる。レーダ装置12に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー13に関しては、探知された魚群の位置を付加表示情報とすることができる。これらの情報は、船舶機器から映像生成装置1にリアルタイムで入力される。付加表示情報取得部17は、入力されるそれぞれの付加表示情報に対し、それを一意に特定して管理するための識別情報(例えば、識別番号)を付与する。
図3には、自船4の周囲に位置している付加表示情報の例が示されている。図3において、海面上(水面上)には、目的地を示すウェイポイント41,41と、目的地までの予定航路を示す折れ線状のルート線42と、が定められている。また、ルート線42の近傍には、多角形状(矩形状)の立寄エリア43が定められる。ウェイポイント41、ルート線42、及び立寄エリア43は、ユーザが予めプロッタ11を適宜操作し、各地点の位置を指定することにより設定される。
また、図3の例では、自船4の前方にやや離れた地点で他船44が自船4の右方へ向けて航行中であり、自船4の左斜め前の近くには仮想ブイ45があることが、AIS受信機9が取得したAIS情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナビゲーション装置の画面には標識として表示される、仮想の(実体を持たない)ブイを意味する。
それぞれの付加表示情報には、少なくとも、それが配置される海面(水面)における1又は複数の地点の位置(緯度及び経度)を示す情報が含まれている。例えば、ルート線42を示す付加表示情報には、折れ線の屈曲部となる2箇所の地点の位置の情報が含まれている(屈曲部の地点の位置は、ウェイポイント41の位置と一致する)。立寄エリア43の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船44を示す付加表示情報には、当該他船44の位置を示す情報が含まれている。
次に、3次元シーン生成部22による3次元シーンの構築、及び、データ合成部23による映像の合成について、図4を参照して詳細に説明する。図4は、3次元仮想空間40に仮想現実オブジェクト41v,42v,・・・を配置して生成される3次元シーンデータ48と、当該3次元仮想空間40に配置される映写スクリーン51と、を説明する概念図である。
3次元シーン生成部22によって仮想現実オブジェクト41v,42v,・・・が配置される3次元仮想空間40は、図4に示すように、自船4の適宜の基準位置(例えば、上述の基準点4a)を原点とする直交座標系で構成され、水平な面であるxz平面が海面(水面)を模擬するように設定されている。図4の例では、座標軸は、+z方向が常に船首方位と一致し、+x方向が右方向、+y方向が上方向となるように定められる。この3次元仮想空間40内の各地点(座標)は、自船4の周囲の現実の位置に対応するように設定される。
図4には、図3に示す自船4の周囲の状況を表現するために、仮想現実オブジェクト41v,42v,43v,44v,45vを3次元仮想空間40内に配置した例が示されている。各仮想現実オブジェクト41v,42v,43v,44v,45vは、船首方位を基準として、それが表す付加表示情報の自船4に対する相対位置を反映させるように、xz平面に接するように配置される。これらの仮想現実オブジェクト41v,42v,・・・が配置される位置を決定するにあたっては、図1に示すアンテナ位置設定部26で設定されたGNSSアンテナの位置を用いた計算が行われる。
他船44を示す仮想現実オブジェクト44vは、船舶の形状を有しており、記憶部18に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、AIS情報で取得した他船44の向きを示すように配置されている。なお、AIS情報から得られた船の長さ及び幅の情報に基づいて、元のテンプレートのモデルを船の長さ方向及び幅方向に拡大/縮小変形させて用いてもよい。
仮想ブイ45を示す仮想現実オブジェクト45vも、他船44の仮想現実オブジェクト44vと同様に、記憶部18に予め記憶されているブイのモデルのテンプレートを利用して表現される。
ウェイポイント41の仮想現実オブジェクト41vは、薄い円板状の3次元形状で表現されている。ルート線42の仮想現実オブジェクト42vは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた3次元形状で表現されている。立寄エリア43の仮想現実オブジェクト43vは、立寄エリア43の輪郭を有する一定の厚みの板のような3次元形状で表現されている。これらの仮想現実オブジェクト41v,42v,43vについては、モデルのテンプレートを使用せずに、3次元形状がその都度作成される。
3次元シーン生成部22は、上記のようにして、3次元シーンデータ48を生成する。図4の例では、仮想現実オブジェクト41v,42v,・・・が自船4の位置を原点とした方位基準で配置されるので、図3の状態から自船4の位置(東西方向及び南北方向での位置)が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト41v,42v,・・・を再配置した新しい3次元シーンが構築されて、3次元シーンデータ48が更新される。また、例えば図3の状態から他船44が移動する等して付加表示情報の内容が変更されると、最新の付加表示情報を反映するように3次元シーンデータ48が更新される。
その後、データ合成部23は、3次元仮想空間40に、カメラ3の撮影映像が映写される位置及び範囲を定める映写スクリーン51を配置する。この映写スクリーン51と仮想現実オブジェクト41v,42v,・・・の両方が視野に含まれるように後述の視点カメラ55の位置及び向きを設定することで、映像の合成を実現することができる。
データ合成部23は、自船4に搭載されるカメラ3の位置及び向きを3次元仮想空間40においてシミュレートするとともに、映写スクリーン51を、当該カメラ3に正対するように配置する。カメラ3の位置のシミュレートに関し、船体を基準とするカメラ3の位置は、図1に示す撮影位置設定部25の設定値に基づいて得ることができる。
カメラ3の位置及び向きのシミュレートにあたっては、上述したカメラ3のパン/チルト動作による向きの変化が考慮される。更に、当該シミュレートは、位置取得部15及び姿勢取得部16が取得した位置情報及び姿勢情報に基づき、船舶4の姿勢の変化及び高さの変化によるカメラ3の位置及び向きの変動が反映されるように行われる。データ合成部23は、カメラ3の位置及び向きの変化に連動して、3次元仮想空間40に配置される映写スクリーン51の位置及び向きを変化させる。
そして、データ合成部23は、3次元シーンデータ48及び映写スクリーン51に対して公知のレンダリング処理を施すことにより、2次元の画像を生成する。より具体的には、データ合成部23は、3次元仮想空間40に視点カメラ55を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台56を、当該視点カメラ55を頂点とし、その視線方向が中心軸となるように定義する。続いて、データ合成部23は、各オブジェクト(仮想現実オブジェクト41v,42v,・・・及び映写スクリーン51)を構成するポリゴンのうち、当該視錐台56の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ2での合成映像の表示領域に相当する2次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、2次元の画像を生成する。
このようにして生成された2次元の画像には、3次元シーンデータ48の描画が行われることにより得られた図形(言い換えれば、仮想現実オブジェクト41v,42v,・・・のレンダリング結果としての図形)が含まれる。また、2次元の画像の生成過程において、映写スクリーン51に相当する位置には、カメラ3の撮影映像が貼り付けられるように配置される。これにより、データ合成部23による映像の合成が実現される。映写スクリーン51は、カメラ3を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防止することができる。
視点カメラ55は合成映像の視点を定めるものであり、その位置及び向きは、ユーザがキーボード31及びマウス32等を用いて設定することができる。ただし、データ合成部23は、合成映像を生成するときのモードとして、視点カメラ55の位置及び向きが、カメラ3の位置及び向きと常に一致するように自動的に変化するモードとすることができる(視点追従モード)。この視点追従モードでは、視点カメラ55の視野全体が常に映写スクリーン51(即ち、カメラ3の撮影映像)で覆われることになるので、臨場感のある合成映像を実現することができる。
一方、データ合成部23は、視点カメラ55の位置及び向きを、カメラ3の位置及び向きと無関係に設定可能なモードとすることもできる(独立視点モード)。この独立視点モードでは、ユーザは、カメラ3の撮影視野から外れた位置にある付加表示情報を確認することができる。
次に、カメラ3で撮影した映像と合成映像との関係を、例を参照して説明する。図5は、カメラ3による撮影映像の例を示す図である。図6は、データ合成部23が出力する合成映像を示す図である。
図5には、図3に示す状況において、自船4のカメラ3が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船44rが写っている。また、映像の下部中央には、自船4の船首部分が写っている。
仮想ブイ45は上述のとおり仮想的なものであるので、図5に示すとおり、カメラ3に写ることはない。ウェイポイント41、ルート線42及び立寄エリア43も、プロッタ11での設定により作成されるものであるので、カメラ3による撮影映像には現れない。
そして、図5に示す撮影映像に対し、図4の3次元シーンデータ48のレンダリングによる上記の2次元の画像を合成した結果が、図6に示されている。ただし、図6では、カメラ3による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている(これは、合成映像を表す他の図においても同様である)。図6の合成映像では、付加表示情報を表現する図形41f,42f,43f,44f,45fが、撮影映像に重なるように配置されている。他船を表す図形44fは、撮影映像における他船44rの位置にほぼ重なるように配置されている。
上記の図形41f,42f,・・・は、図4に示す3次元シーンデータ48を構成する仮想現実オブジェクト41v,42v,・・・の3次元形状を、カメラ3と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ3による写実的な映像に対して図形41f,42f,・・・を重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。
図6に示すように、付加表示情報を仮想現実的に表現する図形41f,42f,・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置されている。別の言い方をすれば、付加表示情報を仮想現実的に表現する図形41f,42f,・・・は、撮影映像に現れる水面から把握される3次元的な面の傾きに合わせた向きで表示される。特に、ウェイポイント41、ルート線42、及び立寄エリア43を示す図形41f,42f,43fは、薄い板が海面に貼り付けられるかのように配置されている。これは、図4に示す仮想現実オブジェクト41v,42v,・・・を、撮影位置設定部25(図1を参照)で設定された高さに基づいて計算された距離だけカメラ3に対して下方に位置しているxz平面に接するように配置するとともに、映写スクリーン51の位置を、カメラ3の位置及び向きを考慮して正しく配置することにより実現される。
次に、自船4の揺れに伴う合成映像の変化について説明する。図7は、図4の状態から船舶4の姿勢がピッチ方向及びロール方向に変化した場合を示す概念図である。図8は、図7の場合の合成映像を示す図である。
上述したとおり、カメラ3は自船4に取り付けられているので、その位置及び向きは、自船4の姿勢が波等により傾いたり、自船4が波に乗り上げたりすることに伴って変化する。本実施形態において、データ合成部23は、自船4に揺れ(ピッチング、ローリング及びヒービング)が生じた場合、姿勢取得部16が取得した自船4の姿勢の変化、及び、位置取得部15が取得した自船4の位置の上下方向の変化をシミュレートするように、3次元仮想空間40におけるカメラ3の位置及び向きを変更し、それに伴って映写スクリーン51の位置を変更する。
図7には、図4の状態から自船4の姿勢がピッチ方向及びロール方向に変化したときの様子が示されている。図7の例では、自船4は前下がりかつ左下がりとなるように傾いており、それを反映するように、カメラ3の位置及び向きが変化する。これに連動して、映写スクリーン51は、そのように位置及び向きが変化したカメラ3に正対するように移動する。
図7の例では、上述の視点追従モードにより、視点カメラ55の位置及び向きも、上記のように位置及び向きが変化したカメラ3に追従するように変化する。図7に対応する合成映像の例が図8に示され、この図に示すように、自船4の揺れに伴ってカメラ3の位置及び向きが異なっても、それに連動して映写スクリーン51の位置及び向きが変化するとともに、3次元シーンをレンダリングする視点カメラ55の位置及び向きが変化するので、違和感のない合成映像を継続的に得ることができる。
視点追従モードでは、自船4の揺れによってピッチ角又はロール角が所定値以上変化する毎に、また、自船4の高さが所定値以上変化する毎に、データ合成部23での3次元シーンデータ48の描画が更新され、最新の視点に基づく図形41f,42f,・・・が生成される。従って、海面が現れる位置及び向きが自船4の揺れにより変化するカメラ3の撮影映像に対し、図形41f,42f,・・・の表示を、当該海面に置かれた状態を維持するように適切に変化させることができる。
これにより、仮想の物体があたかも海面に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ2に映し出された海面を眺めることで、仮想現実を表す図形41f,42f,・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。
特に、図6及び図8に示すように、ユーザがプロッタ11を用いて設定した航路を示すルート線42を示す図形42fは、カメラ3による撮影映像の海面上に貼り付いたように表示される。よって、ユーザは、ディスプレイ2に表示された合成映像の海面を眺めることで、海面に描画された航路を(自船4との位置関係を含めて)現実感を伴って把握することができ、当該航路に沿った操船を直感的に行うことができる。なお、立寄エリア43を示す仮想現実オブジェクト43vも同様に、海面に貼り付いたように表示されるので、自船4を立寄エリア43に移動して停止させる操作を容易に行うことができる。
更に、仮想ブイ45は上述したように実体を持たないが、上記の合成映像において、それを表現する図形45fは、カメラ3による撮影映像の海面上に、実体を持って浮かんでいるかのように表示される。これにより、ユーザは、自船4等との関係で仮想ブイ45の位置を直感的に理解でき、操船がより容易になる。
本実施形態では、合成映像において、それぞれの図形41f,42f,・・・を、目立つように又は目立たないように、見え方を変えて表示することもできる。例えば、自船4の位置が予定航路から離れていることが検知された場合に、ルート線42の図形42fを点滅表示させることが考えられる。また、他船44の図形44fについて、自船4との衝突の危険度の高低に応じて、表示色を変化させたり、透明度を変化させたりすることが考えられる。衝突の危険度は、公知の様々な方法があるため詳細は説明しないが、例えば、自船と当該物標とが最も接近した際の距離、及び、自船と当該物標とが最も接近するまでの時間を計算により予測し、得られた予測距離及び予測時間に基づいて判定することができる。これにより、ユーザの視覚に訴える複数の情報の中で、例えば当該情報の重要度に応じて適宜に強弱を付けて表示することができ、ユーザフレンドリーな映像を提供できる。
本実施形態の映像生成装置1では、合成映像における付加表示情報の図形41f,42f,・・・の表示・非表示は、キーボード31及びマウス32等が操作されることにより、例えば、個々の付加表示情報毎に、情報の種類毎に、又は、情報源である船舶機器毎に、切り換えることができる。付加表示情報の表示・非表示の設定は、図1に示す記憶部18に記憶される。非表示が設定された付加表示情報に対応する仮想現実オブジェクトは、3次元シーン生成部22によって3次元シーンデータ48が生成される際に3次元仮想空間40に配置されないため、それに対応する図形が合成映像において現れなくなる。これにより、見易く整理された合成映像を得ることができる。
なお、図6の例では、付加表示情報として、ユーザにより設定されたウェイポイント、ルート線、立寄エリア、他船、及び仮想ブイが図形41f,42f,・・・により表示されているが、付加表示情報はこれらに限られるものではない。例えば、上記に加えて、到着エリア、魚群が探知された海域、航海禁止領域、危険海域、陸地、ランドマーク等が付加表示情報に含まれていてもよい。これにより、ユーザにとって有益な情報を、視覚的に把握し易い態様で表示することができる。
以上に説明したように、本実施形態の映像生成装置1は、位置取得部15と、姿勢取得部16と、付加表示情報取得部17と、3次元シーン生成部22と、データ合成部23と、を備える。位置取得部15は、カメラ3が設置された船舶(自船)4の地球上での位置を示す位置情報を取得する。姿勢取得部16は、自船4の姿勢を示す姿勢情報を取得する。付加表示情報取得部17は、複数の地点の位置を示す情報を含む付加表示情報(ルート線42及び立寄エリア43の情報)を取得する。3次元シーン生成部22は、前記位置情報、前記姿勢情報、及び、付加表示情報取得部17で取得された前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形42f,43fの少なくとも一部を、カメラ3が出力する映像の水面上に当該図形42f,43fを載置するように重ねて表示するための3次元シーンデータ48を生成する。データ合成部23は、3次元シーンデータ48を描画した図形42f,43fを出力する。
これにより、自船4の位置及び姿勢に基づいて、付加表示情報(ルート線42及び立寄エリア43)の位置等を示す3次元的な表示を図形42f,43fとして出力することができる。従って、この図形42f,43fを撮影映像に重ねるように表示することで、仮想現実的な合成映像を実現することができる(図6及び図8を参照)。ユーザは、この合成映像を見ることで、付加表示情報で示される状況を、位置関係を含めて直感的に把握し易くなる。また、付加表示情報の図形42f,43fが撮影映像の水面に沿うように配置される表示により、複数地点の間の関係(例えば、ルート線42の向き及び立寄エリア43の形状)を、ユーザが直感的に把握することができる。
また、本実施形態の映像生成装置1においては、付加表示情報を表す図形41f,42f,・・・の表示・非表示を、個別に、情報の種類毎に、又は、情報源である船舶機器毎に設定可能である。
これにより、仮想現実的に表示する図形41f,42f,・・・を、ユーザの好み等に応じて、選択的に表示又は非表示とすることができる。従って、図形が混み合って表示が分かりにくくなってしまうことを防止することができる。
また、本実施形態の映像生成装置1においては、前記付加表示情報には、ユーザが設定した自船4の航路であるルート線42の情報が含まれる。3次元シーン生成部22は、ルート線42を示す図形42fを表示するための3次元シーンデータ48を生成する。
これにより、合成映像において、カメラ3による映像の水面上に、航路を示す図形42fが載置されるように重ねて表示されるので、航路が延びる方向をユーザが把握し易くなる。よって、例えば設定した航路に沿った操船等が行い易くなる。
また、本実施形態の映像生成装置1においては、ルート線42は、ユーザが設定した複数のウェイポイント41を繋ぐように生成される。3次元シーン生成部22は、ルート線42を示す図形42fとともに、ウェイポイント41を示す図形41fを表示するための3次元シーンデータ48を生成する。
これにより、合成映像において、自船4の航路が延びる方向等とともに、ウェイポイント41に関する情報も容易に把握できる。よって、設定した航路に沿った操船等がより一層行い易くなる。
また、本実施形態の映像生成装置1においては、前記付加表示情報には、ユーザが設定した自船4の立寄地を示す領域である立寄エリア43が含まれる。3次元シーン生成部22は、立寄エリア43を示す図形43fを表示するための表示用データを生成する。
これにより、合成映像において、平面的な広がりを有する領域である立寄エリア43の図形43fを、撮影映像の水面に貼り付くように表示させることができる。よって、立寄エリア43の形状をユーザが把握し易くなるので、例えば、当該立寄エリア43に自船4を停船させる操作が行い易くなる。
また、本実施形態の映像生成装置1においては、前記付加表示情報には、他の水上移動体(他船44)に関する情報が含まれる。3次元シーン生成部22は、他船44と、自船4と、の衝突の危険度の高低に応じて、他船44を示す図形44fの表示の態様を異ならせる。
これにより、ユーザの視覚に訴える複数の情報の中で、例えば衝突の危険が高い他船44について他の物標よりも強調して表示することができ、適宜に強弱を付けたユーザフレンドリーな映像を提供できる。
また、本実施形態の映像生成装置1においては、3次元シーンデータ48の描画が、姿勢取得部16が取得した姿勢の変化に基づいて更新される。
これにより、自船4が波等により揺れる影響によってカメラ3の撮影映像が変化しても、図形41f,42f,・・・が撮影映像の水面上に載置された状態を維持するように表示されるので、違和感のない表示を実現することができる。
また、本実施形態の映像生成装置1の位置取得部15は、自船4に設置されたGNSSアンテナが測位衛星から受信した電波に基づいて前記位置情報を取得する。また、映像生成装置1は、自船4における前記GNSSアンテナの位置であるアンテナ位置を設定可能なアンテナ位置設定部26を備える。3次元シーン生成部22は、アンテナ位置に基づいて、図形41f,42f,・・・を表示するための3次元シーンデータ48を生成する。
これにより、付加表示情報を示す図形41f,42f,・・・の位置等が、自船4におけるGNSSアンテナの位置を考慮して決定されるので、表示位置のズレを防止することができる。
また、本実施形態の映像生成装置1は、自船4におけるカメラ3の位置である撮影位置を設定可能な撮影位置設定部25を備える。3次元シーン生成部22は、前記撮影位置に基づいて、図形41f,42f,・・・を表示するための3次元シーンデータ48を生成する。
これにより、付加表示情報を示す図形41f,42f,・・・の位置等が、自船4におけるカメラ3の位置を考慮して決定されるので、表示位置のズレを防止することができる。
また、本実施形態の映像生成装置1において、撮影位置設定部25は、カメラ3の高さを設定可能である。
これにより、カメラ3の高さを考慮して、付加表示情報を示す図形41f,42f・・・を生成することができる。従って、図形41f,42f,・・・が水面に潜ったり水面から浮いたりして見えるのを防止できるので、現実感を損なわない自然な表示を実現することができる。
また、本実施形態の映像生成装置1においては、姿勢取得部16は、自船4に設置された複数のGNSSアンテナが測位衛星から受信した電波の搬送波位相の位相差に基づいて前記姿勢情報を取得する。
これにより、自船4の姿勢を高精度で取得することができるので、違和感の少ない合成映像を得ることができる。
以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
データ合成部23において、3次元シーンデータ48と、映写スクリーン51と、を同時にレンダリングしないように構成してもよい。即ち、データ合成部23が、3次元シーンデータ48だけのレンダリング結果である2次元の映像(図形41f,42f,・・・の映像)と、映写スクリーン51だけのレンダリング結果である2次元の映像(撮影映像が映写スクリーン51に貼り付けられた映像)と、を別々に作成して、その後に2次元の映像同士を合成する構成としてもよい。この場合、3次元シーンデータ48のレンダリング処理は自船4の移動等に応じて随時行う一方、映写スクリーン51のレンダリング処理はカメラ3による映像のフレームレートに応じた短い時間間隔で行うようにすることができる。
カメラ3において、上記のパン/チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ3が前方以外の方向(例えば、後方)を撮影するように配置されてもよい。
上記のようにカメラ3の撮影方向が変動しない場合は、撮影画像と図形41f,42f,・・・との合成を、映像生成装置1(データ合成部23)では行わずに外部の装置で行うように構成することもできる。即ち、データ合成部23の代わりに図形出力部(表示出力部)を備え、この図形出力部は、図4の3次元シーンにおいて映写スクリーン51を省略した状態でレンダリングを行って、図形41f,42f,・・・だけの映像を生成する。この映像と、カメラ3の撮影映像と、を外部の合成装置によって合成することで、図6に示すような合成映像を得ることができる。
更に、カメラ3を、自船4の周囲を360度の全方位にわたって同時撮影が可能な構成としてもよい。
ユーザが合成映像の視点を変更する操作を行ったときに、それに追従するようにカメラ3のパン/チルト動作が自動的に行われても良い。
3次元シーン生成部22が3次元シーンデータ48を生成するにあたって、上記の実施形態では、図4で説明したように、仮想現実オブジェクト41v,42v,・・・が自船4の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト41v,42v,・・・を、船首基準ではなく、+z方向が常に真北となる真北基準で配置しても良い。この場合、回頭等によって自船4の船首方位が変化したときは、仮想現実オブジェクト41v,42v,・・・を再配置する代わりに、3次元仮想空間40での自船4の向きをヨー方向に変化させることになる。そして、このときのカメラ3の位置及び向きの変化を3次元仮想空間40においてシミュレートするとともに、これに連動して視点カメラ55の位置及び向きを変更してレンダリングを行うことで、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。
また、3次元仮想空間40の座標系は、自船4の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、+z方向が真北、+x方向が真東となるように定められてもよい。この場合、地球に固定された座標系の3次元仮想空間40において、自船4が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ3の位置及び向きの変化が3次元仮想空間40においてシミュレートされることになる。
映像生成装置1において、自船4の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、3次元シーン生成部22において、自船4が揺れても視点カメラ55の位置及び向きの変動を抑制するようにすることが考えられる。
データ合成部23が出力する図形(合成映像の一部を構成する図形)41f,42f,・・・は、水面に薄く貼り付くような平面的なものであってもよいし、水面からある程度の高さで突出するような立体的なものであってもよい。例えば、自船4の立寄エリア43を平面的な図形43fで表現することに代えて、立寄エリア43の輪郭を有するとともに所定の高さを有する直方体枠状の図形によって表現してもよい。同様に、例えばウェイポイント41を、平面的な図形41fに代えて、例えば水面から突出するような円柱状、角錐状等の任意の立体的な図形で表現してもよい。
撮影位置設定部25は、自船4におけるカメラ3の位置を、GNSSアンテナに対する相対位置として設定できるように構成してもよい。
映像生成装置1に接続される船舶機器(付加表示情報の情報源)は、図1で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。
本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。
1 映像生成装置
3 カメラ(撮影装置)
4 船舶(水上移動体)
15 位置取得部
16 姿勢取得部
17 付加表示情報取得部
22 3次元シーン生成部(3次元表示用データ生成部)
23 データ合成部(表示出力部)
42 ルート線
42f ルート線の図形
43 立寄エリア
43f 立寄エリアの図形
48 3次元シーンデータ(3次元表示用データ)
3 カメラ(撮影装置)
4 船舶(水上移動体)
15 位置取得部
16 姿勢取得部
17 付加表示情報取得部
22 3次元シーン生成部(3次元表示用データ生成部)
23 データ合成部(表示出力部)
42 ルート線
42f ルート線の図形
43 立寄エリア
43f 立寄エリアの図形
48 3次元シーンデータ(3次元表示用データ)
Claims (10)
- 撮影方向を変更可能であり、前記撮影方向に応じた撮影映像を生成する撮像装置と、
前記撮像装置が設置された水上移動体の位置を示す位置情報を取得する位置取得部と、
複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
前記位置情報、前記付加表示情報に含まれる前記複数の地点の位置に基づいて、3次元表示用データを生成する表示用データ生成部と、
前記撮影方向に応じた撮影映像と前記3次元表示用データとの合成映像を生成して出力する合成映像生成部と、
を備える映像生成装置。 - 請求項1に記載の映像生成装置であって、
前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部を備え、
前記表示用データ生成部は、前記姿勢情報に基づいて前記3次元表示用データを生成し、
前記合成映像生成部は、前記姿勢情報に基づいて前記合成映像を生成する、
映像生成装置。 - 請求項1または請求項2に記載の映像生成装置であって、
前記撮影方向の操作を受け付ける操作受付部を備え、
前記撮像装置は、前記操作に応じて前記撮影方向を決定する、
映像生成装置。 - 請求項1乃至請求項3のいずれかに記載の映像生成装置であって、
前記撮像装置が出力する映像と前記3次元表示用データとの合成映像の視点を定める視点カメラを備え、
前記合成映像生成部は、
前記視点カメラを中心としてその視線方向が中心軸となるように定義された2次元の仮想スクリーンに前記3次元表示用データを透視投影することで描画した図形を用いて前記合成映像を生成する、
映像生成装置。 - 請求項4に記載の映像生成装置であって、
前記視点カメラの向きは、前記撮影方向に常に一致するように自動的に変化する、
映像生成装置。 - 請求項4に記載の映像生成装置であって、
前記撮影方向は、前記視点カメラの向きに常に一致するように自動的に変化する、
映像生成装置。 - 請求項2に記載の映像生成装置であって、
前記姿勢取得部は、前記姿勢情報として前記水上移動体のヨー角を取得し、
前記表示用データ生成部は、前記3次元表示用データを、前記水上移動体の位置を基準位置にして設定し、前記ヨー角を用いて設定する、
映像生成装置。 - 請求項7に記載の映像生成装置であって、
前記表示用データ生成部は、前記ヨー角を用いて前記水上移動体の船首方位に一致するように設定する、
映像生成装置。 - 請求項1乃至請求項8のいずれかに記載の映像生成装置であって、
前記撮影方向は、前記撮像装置のパン動作またはチルト動作で決定される、
映像生成装置。 - 撮影方向を変更可能であり、前記撮影方向に応じた撮影映像を生成し、
水上移動体の位置を示す位置情報を取得し、
複数の地点の位置を示す情報を含む付加表示情報を取得し、
前記位置情報、前記付加表示情報に含まれる前記複数の地点の位置に基づいて、3次元表示用データを生成し、
前記撮影方向に応じた撮影映像と前記3次元表示用データとの合成映像を生成して出力する、
映像生成方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103148 | 2017-05-24 | ||
JP2017103148 | 2017-05-24 | ||
JP2019519581A JP6921191B2 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置、映像生成方法 |
JP2021121238A JP7225324B2 (ja) | 2017-05-24 | 2021-07-26 | 映像生成装置、および、映像生成方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021121238A Division JP7225324B2 (ja) | 2017-05-24 | 2021-07-26 | 映像生成装置、および、映像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023054014A true JP2023054014A (ja) | 2023-04-13 |
JP7488925B2 JP7488925B2 (ja) | 2024-05-22 |
Family
ID=64395705
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519581A Active JP6921191B2 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置、映像生成方法 |
JP2021121238A Active JP7225324B2 (ja) | 2017-05-24 | 2021-07-26 | 映像生成装置、および、映像生成方法 |
JP2023016751A Active JP7488925B2 (ja) | 2017-05-24 | 2023-02-07 | 映像生成装置、および、映像生成方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519581A Active JP6921191B2 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置、映像生成方法 |
JP2021121238A Active JP7225324B2 (ja) | 2017-05-24 | 2021-07-26 | 映像生成装置、および、映像生成方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11270512B2 (ja) |
EP (1) | EP3633319B1 (ja) |
JP (3) | JP6921191B2 (ja) |
CN (1) | CN110520692B (ja) |
WO (1) | WO2018216535A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019130940A1 (ja) * | 2017-12-25 | 2019-07-04 | 古野電気株式会社 | 映像生成装置及び映像生成方法 |
JPWO2021049221A1 (ja) * | 2019-09-09 | 2021-03-18 | ||
CN111258322B (zh) * | 2019-12-26 | 2024-06-11 | 北京海兰信数据科技股份有限公司 | 一种基于增强现实技术的船用驾驶辅助装置及方法 |
DE102020103466A1 (de) * | 2020-02-11 | 2021-08-12 | Raytheon Anschütz Gmbh | Verfahren zur Positionsbestimmung eines Wasserfahrzeugs mittels optischer Peilung |
EP3907470B1 (en) * | 2020-05-06 | 2023-02-22 | Fincantieri S.p.A. | System and method for supporting an operator for navigation |
WO2021261810A1 (ko) * | 2020-06-24 | 2021-12-30 | 주식회사 맵시 | 증강현실 및 3d 이미지를 이용한 항해 보조장치 |
EP4047312A1 (en) * | 2021-02-19 | 2022-08-24 | Furuno Electric Co., Ltd. | Augmented reality based tidal current display device |
US11808579B2 (en) | 2021-02-19 | 2023-11-07 | Furuno Electric Co., Ltd. | Augmented reality based tidal current display apparatus and method |
EP4047313B1 (en) * | 2021-02-19 | 2024-06-05 | Furuno Electric Co., Ltd. | Tidal current information display device |
US11852476B2 (en) | 2021-02-19 | 2023-12-26 | Furuno Electric Co., Ltd. | Tidal current information display apparatus and method |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0339744Y2 (ja) * | 1985-12-25 | 1991-08-21 | ||
GB8821570D0 (en) * | 1988-09-15 | 1989-03-30 | Plessey Co Plc | Course recommendation display |
US5101356A (en) * | 1989-11-21 | 1992-03-31 | Unisys Corporation | Moving vehicle attitude measuring system |
JP3045625B2 (ja) * | 1993-04-16 | 2000-05-29 | 川崎重工業株式会社 | 船舶の航行支援装置 |
JPH10206178A (ja) * | 1997-01-17 | 1998-08-07 | O Ke Service:Kk | 移動体の誘導システム |
US20030210228A1 (en) * | 2000-02-25 | 2003-11-13 | Ebersole John Franklin | Augmented reality situational awareness system and method |
JP2004212192A (ja) | 2002-12-27 | 2004-07-29 | Senaa Kk | 操船支援システム、操船支援プログラムおよび操船支援のための三次元像生成方法 |
JP4445313B2 (ja) * | 2004-04-01 | 2010-04-07 | 古野電気株式会社 | 船舶航行支援装置 |
US20050289559A1 (en) * | 2004-06-08 | 2005-12-29 | Daniel Illowsky | Method and system for vertical layering between levels in a processing unit facilitating direct event-structures and event-queues level-to-level communication without translation |
WO2008045134A2 (en) * | 2006-03-07 | 2008-04-17 | Dimensional Research, Inc. | Airborne situational awareness system |
JP4709684B2 (ja) * | 2006-04-13 | 2011-06-22 | 隼馬 今津 | 相手船動静監視装置 |
US8296001B1 (en) * | 2006-11-13 | 2012-10-23 | Garmin Switzerland Gmbh | Marine vessel navigation device, system and method |
JP5596393B2 (ja) * | 2010-03-31 | 2014-09-24 | 古野電気株式会社 | 画素データ生成装置、画像表示装置、レーダ装置、画素データ生成方法及び画素データ生成プログラム |
KR20110116842A (ko) * | 2010-04-20 | 2011-10-26 | 목포대학교산학협력단 | 증강현실을 이용한 선박 항법 시스템의 전자해도 표시 방법 |
US8265866B2 (en) * | 2010-12-15 | 2012-09-11 | The Boeing Company | Methods and systems for augmented navigation |
JP2012233743A (ja) * | 2011-04-28 | 2012-11-29 | Furuno Electric Co Ltd | 情報表示装置 |
KR101072395B1 (ko) * | 2011-07-21 | 2011-10-11 | 한국해양연구원 | 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법 |
CN104115199A (zh) * | 2012-02-10 | 2014-10-22 | 三菱电机株式会社 | 驾驶支援装置以及驾驶支援方法 |
JP6286772B2 (ja) * | 2014-02-28 | 2018-03-07 | 日本無線株式会社 | 情報配信装置、情報配信システム及び情報配信方法 |
JP2015215278A (ja) * | 2014-05-13 | 2015-12-03 | 古野電気株式会社 | 情報表示装置 |
JP6425913B2 (ja) * | 2014-05-13 | 2018-11-21 | 古野電気株式会社 | 情報表示装置 |
US9826164B2 (en) * | 2014-05-30 | 2017-11-21 | Furuno Electric Co., Ltd. | Marine environment display device |
US10444349B2 (en) * | 2014-09-02 | 2019-10-15 | FLIR Belgium BVBA | Waypoint sharing systems and methods |
FR3026500B1 (fr) * | 2014-09-30 | 2017-12-22 | Dcns | Systeme integre d'aide a la conduite et a la navigation d'un navire de combat |
JP6667943B2 (ja) * | 2014-10-17 | 2020-03-18 | 日本無線株式会社 | 画像生成装置 |
JP6628389B2 (ja) * | 2014-11-26 | 2020-01-08 | 国立研究開発法人 海上・港湾・航空技術研究所 | 操船支援システム及びそのシステムを搭載した船舶 |
CN105241457A (zh) * | 2015-08-10 | 2016-01-13 | 武汉理工大学 | 一种用于船舶驾驶的三维辅助导航系统建立方法 |
GB2561746B (en) * | 2015-11-13 | 2022-02-09 | Flir Systems | Video sensor fusion and model based virtual and augmented reality systems and methods |
US11328155B2 (en) * | 2015-11-13 | 2022-05-10 | FLIR Belgium BVBA | Augmented reality labels systems and methods |
GB2575561B (en) * | 2017-03-31 | 2022-06-08 | FLIR Belgium BVBA | Visually correlated radar systems and methods |
WO2018201097A2 (en) * | 2017-04-28 | 2018-11-01 | FLIR Belgium BVBA | Video and image chart fusion systems and methods |
-
2018
- 2018-05-15 WO PCT/JP2018/018645 patent/WO2018216535A1/ja active Application Filing
- 2018-05-15 CN CN201880025091.0A patent/CN110520692B/zh active Active
- 2018-05-15 JP JP2019519581A patent/JP6921191B2/ja active Active
- 2018-05-15 EP EP18806061.0A patent/EP3633319B1/en active Active
-
2019
- 2019-11-21 US US16/690,866 patent/US11270512B2/en active Active
-
2021
- 2021-07-26 JP JP2021121238A patent/JP7225324B2/ja active Active
- 2021-12-06 US US17/457,763 patent/US20220130117A1/en active Pending
-
2023
- 2023-02-07 JP JP2023016751A patent/JP7488925B2/ja active Active
- 2023-11-06 US US18/502,279 patent/US20240071017A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN110520692B (zh) | 2024-03-26 |
JP2021184614A (ja) | 2021-12-02 |
US20240071017A1 (en) | 2024-02-29 |
US20220130117A1 (en) | 2022-04-28 |
CN110520692A (zh) | 2019-11-29 |
EP3633319A1 (en) | 2020-04-08 |
JP7488925B2 (ja) | 2024-05-22 |
US11270512B2 (en) | 2022-03-08 |
JP7225324B2 (ja) | 2023-02-20 |
US20200090414A1 (en) | 2020-03-19 |
JPWO2018216535A1 (ja) | 2020-04-09 |
EP3633319B1 (en) | 2023-01-18 |
EP3633319A4 (en) | 2021-01-20 |
JP6921191B2 (ja) | 2021-08-18 |
WO2018216535A1 (ja) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7225324B2 (ja) | 映像生成装置、および、映像生成方法 | |
CN110574366B (zh) | 影像生成装置 | |
CN110998672B (zh) | 影像生成装置以及影像生成方法 | |
CN112640445B (zh) | 影像生成装置及影像生成方法 | |
JP7214402B2 (ja) | 映像生成装置及び映像生成方法 | |
JP6720409B2 (ja) | 映像生成装置 | |
JP7021259B2 (ja) | 映像生成装置及び映像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7488925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |