JP2021184614A - 映像生成装置、および、映像生成方法 - Google Patents

映像生成装置、および、映像生成方法 Download PDF

Info

Publication number
JP2021184614A
JP2021184614A JP2021121238A JP2021121238A JP2021184614A JP 2021184614 A JP2021184614 A JP 2021184614A JP 2021121238 A JP2021121238 A JP 2021121238A JP 2021121238 A JP2021121238 A JP 2021121238A JP 2021184614 A JP2021184614 A JP 2021184614A
Authority
JP
Japan
Prior art keywords
video generator
display data
ship
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021121238A
Other languages
English (en)
Other versions
JP7225324B2 (ja
Inventor
浩二 西山
Koji Nishiyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JP2021184614A publication Critical patent/JP2021184614A/ja
Priority to JP2023016751A priority Critical patent/JP7488925B2/ja
Application granted granted Critical
Publication of JP7225324B2 publication Critical patent/JP7225324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Ocean & Marine Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

【課題】自然で現実感の高い拡張現実の映像を得る。【解決手段】映像生成装置は、水上移動体の位置を示す位置情報を取得する位置取得部と、複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、位置情報、及び、付加表示情報に含まれる複数の地点の位置に基づき、付加表示情報を示す図形の少なくとも一部を含む3次元表示用データを生成する表示用データ生成部と、3次元表示用データを含む映像の視点を定める視点カメラと、視点カメラの視点から3次元表示用データを投影することで2次元に描画した図形を出力する表示出力部と、を備える。【選択図】 図1

Description

本発明は、映像生成装置に関する。詳細には、水上移動体の周囲の様子を表示する映像を生成するための映像生成装置に関する。
この種の映像生成装置は、例えば特許文献1に開示されている。この特許文献1の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。
特許文献1において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標(他船等)の位置を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応している。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記物標表示物と、が表示される構成となっている。
上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の環境を示す3次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、3次元仮想空間の点のそれぞれと、に基づいて、前記物標表示物を生成する。
米国特許出願公開第2015/0350552号明細書
しかし、上記特許文献1には、物標表示物を、前記映像上の、物標の位置情報と対応する点に表示することしか開示されておらず、例えば見易さを実現するために映像上にどのように物標表示物を表示するかについては、更に改善する余地があった。
また、上記特許文献1の構成では、水上移動体が波等によって動揺した際に生じる撮影装置の姿勢変化に関しては特段考慮がされておらず、その結果、映像上の物標表示物の表示位置が不自然になるおそれがあった。
本発明は以上の事情に鑑みてされたものであり、その目的は、自然で現実感の高い拡張現実の映像を得ることにある。
この発明の映像生成装置は、水上移動体の位置を示す位置情報を取得する位置取得部と、複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、位置情報、及び、付加表示情報に含まれる複数の地点の位置に基づき、付加表示情報を示す図形の少なくとも一部を含む3次元表示用データを生成する表示用データ生成部と、3次元表示用データを含む映像の視点を定める視点カメラと、視点カメラの視点から3次元表示用データを投影することで2次元に描画した図形を出力する表示出力部と、を備える。
この発明によれば、自然で現実感の高い拡張現実の映像を得ることができる。
本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。 船舶に備えられる各種の機器を示す側面図。 映像生成装置において表示の対象となる付加表示情報の例を説明する概念図。 3次元仮想空間に仮想現実オブジェクトを配置して生成される3次元シーンデータと、当該3次元仮想空間に配置される映写スクリーンと、を説明する概念図。 カメラによる撮影映像の例を示す図。 データ合成部が出力する合成映像を示す図。 図4の状態から船舶の姿勢がピッチ方向及びロール方向に変化した場合を示す概念図。 図7の場合の合成映像を示す図。
次に、図面を参照して本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る映像生成装置1の全体的な構成を示すブロック図である。図2は、船舶4に備えられる各種の機器を示す側面図である。
図1に示す映像生成装置1は、例えば図2に示すような船舶(水上移動体)4に搭載され、カメラ(撮影装置)3で撮影した映像をベースとして、当該船舶4の周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置1が生成した映像は、ディスプレイ2に表示される。
ディスプレイ2は、例えば、当該船舶4(自船)で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディスプレイ2は上記に限定されず、例えば、自船4から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船4の客室で乗客が鑑賞するためのディスプレイ、或いは乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイの表示部とすることが可能である。
映像生成装置1は、自船4に設置されたカメラ3によって撮影された自船4の周囲の映像と、自船4の周囲の付加表示情報(後に詳述)を仮想現実的に表現する図形と、を合成することにより、ディスプレイ2への出力映像である合成映像を生成する。
次に、主に図1を参照して、映像生成装置1に電気的に接続されるカメラ3及び各種の船舶機器について説明する。
カメラ3は、自船4の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ3はライブ出力機能を有しており、撮影結果としての動画データ(映像データ)をリアルタイムで生成して映像生成装置1に出力することができる。図2に示すように、カメラ3は、撮影方向が船体に対して水平前方となるように船舶4に設置される。
カメラ3は図略の回転機構を介して船舶4に取り付けられており、パン/チルト動作を指示する信号が映像生成装置1から入力されることにより、その撮影方向を、船舶4の船体を基準として所定の角度範囲で変更することができる。また、自船4の高さ及び姿勢は波等により様々に変化するので、それに伴って、カメラ3の高さが変化するとともに姿勢(撮影方向)も3次元的に変化することになる。
本実施形態の映像生成装置1は、上記のカメラ3のほか、船舶機器としてのGNSSコンパス(方位センサ、姿勢センサ)5、角速度センサ6、GNSS受信機7、加速度センサ8、AIS受信機9、ECDIS10、プロッタ11、レーダ装置12、及びソナー13等と電気的に接続されている。
GNSSコンパス5は、自船4に固定された複数のGNSSアンテナ(測位用アンテナ)を備える。GNSSコンパス5は、それぞれのGNSSアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のGNSSコンパス5は、各GNSSアンテナが受信した電波の搬送波位相の位相差に基づいてGNSSアンテナの位置関係を求めるように構成されている(この処理は公知であるので、詳細な説明は省略する)。これにより、自船4の船首方位を精度よく取得することができる。
GNSSコンパス5は、船舶4の姿勢を3次元的に取得することができる。言い換えれば、GNSSコンパス5は、船首方位(即ち、船舶4のヨー角)だけでなく、船舶4のロール角及びピッチ角を検出することができる。GNSSコンパス5で取得された自船4の姿勢情報は、映像生成装置1の姿勢取得部16や、当該姿勢情報を利用する他の船舶機器に出力される。
角速度センサ6は、例えば公知の振動ジャイロセンサから構成されており、GNSSコンパス5の姿勢検出間隔(例えば、1秒)より短い周期で、船舶4のヨー角速度、ロール角速度及びピッチ角速度を検出することができる。GNSSコンパス5が検出した角度と、角速度センサ6が検出した角速度の積分値と、を併用することにより、GNSSコンパス5だけを用いる場合よりも短い時間間隔で船舶4の姿勢を取得することができる。また、角速度センサ6は、上述の測位衛星からの電波が例えば橋等の障害物により遮られて、GNSSコンパス5による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段として機能する。
GNSS受信機7は、前記のGNSSアンテナが測位衛星から受信した電波に基づいて、自船4の位置(詳細には、GNSSアンテナの緯度、経度及び高さ)を求める。GNSS受信機7は、得られた位置情報を、映像生成装置1の位置取得部15や、当該位置情報を利用する他の船舶機器に出力する。
加速度センサ8は、例えば公知の静電容量検出型のセンサとして構成されており、GNSS受信機7の位置検出間隔(例えば、1秒)より短い周期で、船舶4のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。GNSS受信機7が検出した位置と、加速度センサ8が検出した加速度の2重積分値と、を併用することにより、GNSS受信機7だけを用いる場合よりも短い時間間隔で自船4の位置を取得することができる。また、加速度センサ8は、上述の測位衛星からの電波が遮られてGNSS受信機7による位置の検出が不能となっている場合に、位置情報を取得するための代替的な手段として機能する。
本実施形態では図2に示すように、角速度センサ6、GNSS受信機7及び加速度センサ8は、GNSSコンパス5に内蔵されたものが用いられている。ただし、角速度センサ6、GNSS受信機7及び加速度センサ8のうち全部又は一部が、GNSSコンパス5とは独立して設けられてもよい。
AIS受信機9は、他船や陸上局等から送信されるAIS情報を受信するものである。AIS情報には、自船4の周囲を航行している他船の位置(緯度・経度)、当該他船の長さ及び幅、当該他船の種類及び識別情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。
ECDIS10は、GNSS受信機7から自船4の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船4の周囲の情報を映像生成装置1に出力する。
プロッタ11は、GNSS受信機7から自船4の位置を継続して取得することにより、自船4の航行軌跡の情報を生成することができる。また、プロッタ11は、ユーザに複数のウェイポイント(自船4が通過する予定の地点)を設定させることにより、これらのウェイポイントを順次繋ぐようにして予定航路を生成することができる。
レーダ装置12は、自船4の周囲に存在する他船等の物標を探知することができる。また、このレーダ装置12は物標を捕捉及び追尾することが可能な公知の目標追尾機能(Target Tracking、TT)を有しており、当該物標の位置及び速度ベクトル(TT情報)を求めることができる。
ソナー13は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。
映像生成装置1は、ユーザが操作するキーボード31及びマウス32に接続されている。ユーザは、キーボード31及びマウス32を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ3のパン/チルト動作、合成映像の視点の設定等が含まれる。
次に、映像生成装置1の構成について、主に図1を参照して詳細に説明する。
図1に示すように、映像生成装置1は、撮影映像入力部21、位置取得部15、姿勢取得部16、付加表示情報取得部17、記憶部18、撮影位置設定部25、アンテナ位置設定部26、及び合成映像生成部20を備える。
具体的には、映像生成装置1は公知のコンピュータとして構成され、図示しないが、CPU、ROM、RAM、及びHDD等を備える。更に、映像生成装置1は、後述の3次元画像処理を高速で行うためのGPUを備えている。そして、例えばHDDには、本発明の映像合成処理を実行させるためのソフトウェアが記憶されている。このハードウェアとソフトウェアの協働により、映像生成装置1を、撮影映像入力部21、位置取得部15、姿勢取得部16、付加表示情報取得部17、記憶部18、撮影位置設定部25、アンテナ位置設定部26、及び合成映像生成部20等として機能させることができる。
撮影映像入力部21は、カメラ3が出力する映像データを、例えば30フレーム毎秒で入力することができる。撮影映像入力部21は、入力された映像データを、合成映像生成部20(後述のデータ合成部23)に出力する。
位置取得部15は、GNSS受信機7及び加速度センサ8の検出結果に基づいて、自船4の現在の位置をリアルタイムで取得する。
姿勢取得部16は、GNSSコンパス5及び角速度センサ6の検出結果に基づいて、自船4の現在の姿勢をリアルタイムで取得する。
付加表示情報取得部17は、AIS受信機9、ECDIS10、プロッタ11、レーダ装置12、及びソナー13等が映像生成装置1に出力する情報に基づいて、カメラ3で撮影した映像に対して付加的に表示する情報(付加表示情報)を取得する。この付加表示情報としては様々なものが考えられるが、例えば、自船4の予定航路として図3のように設定されるルート線42の情報とすることができる。なお、付加表示情報の詳細は後述する。
図1の記憶部18は、各種の情報を記憶するメモリとして構成されている。この記憶部18は、各種の付加表示情報を表現する仮想現実オブジェクトの3次元形状を、テンプレートとして記憶することができる。記憶部18が記憶する3次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、灯台等とすることができるが、これに限定されない。
撮影位置設定部25は、自船4におけるカメラ3の位置(撮影位置)、具体的には、船の長さ方向及び幅方向でのカメラ3の位置と、上下方向でのカメラの位置(カメラ3の高さ)と、を設定することができる。カメラ3の高さは、自船4において通常想定される喫水線からの高さとすることができるが、これに限定されず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカメラ3の位置を実際に計測した結果をキーボード31及びマウス32等を操作して入力することで行うことができる。
アンテナ位置設定部26は、自船4におけるGNSSアンテナの位置(アンテナ位置)を設定することができる。このアンテナ位置は、例えば、制御の基準として図2に示すように自船4に設定される基準点4aを基準とした、船の長さ方向、幅方向、及び上下方向での位置とすることができる。この基準点4aは様々に定めることができるが、本実施形態では、自船4の船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。
位置取得部15、姿勢取得部16、付加表示情報取得部17、記憶部18、撮影位置設定部25、及びアンテナ位置設定部26は、取得し、記憶し、又は設定された情報を、合成映像生成部20に出力する。
合成映像生成部20は、ディスプレイ2に映し出す合成映像を生成するものである。当該合成映像生成部20は、3次元シーン生成部(表示用データ生成部)22と、データ合成部(表示出力部)23と、を備える。
3次元シーン生成部22は、図4に示すように、3次元仮想空間40に、付加表示情報に対応する仮想現実オブジェクト41v,42v,・・・を配置することにより、仮想現実の3次元シーンを構築する。これにより、3次元シーンのデータである3次元シーンデータ(3次元表示用データ)48が生成される。なお、3次元シーンの詳細は後述する。
データ合成部23は、3次元シーン生成部22が生成した3次元シーンデータ48を描画することで付加表示情報を3次元的に表現する図形を生成するとともに、図6に示す合成映像、即ち、当該図形41f,42f,・・・とカメラ3の撮影映像とを合成した映像を出力する処理を行う。図6に示すように、この合成画像では、カメラ3で撮影された映像(図では説明の都合により破線で示されている)の海面に、付加表示情報を示す図形41f,42f,・・・が載置されるように重ねられている。データ合成部23は、生成された合成映像をディスプレイ2に出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。
次に、前述の付加表示情報取得部17で取得される付加表示情報について詳細に説明する。図3は、映像生成装置1において表示の対象となる付加表示情報の例を説明する概念図である。
付加表示情報は、カメラ3で撮影した映像に対して付加的に表示する情報であり、映像生成装置1に接続される船舶機器の目的及び機能に応じて様々なものが考えられる。例示すると、AIS受信機9に関しては、受信した上述のAIS情報(例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等)を付加表示情報とすることができる。ECDIS10に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プロッタ11に関しては、記録される自船4の軌跡、設定された予定航路、ウェイポイント、到着エリア(到着地を示す領域)、立寄エリア(立寄地を示す領域)の位置等を付加表示情報とすることができる。レーダ装置12に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー13に関しては、探知された魚群の位置を付加表示情報とすることができる。これらの情報は、船舶機器から映像生成装置1にリアルタイムで入力される。付加表示情報取得部17は、入力されるそれぞれの付加表示情報に対し、それを一意に特定して管理するための識別情報(例えば、識別番号)を付与する。
図3には、自船4の周囲に位置している付加表示情報の例が示されている。図3において、海面上(水面上)には、目的地を示すウェイポイント41,41と、目的地までの予定航路を示す折れ線状のルート線42と、が定められている。また、ルート線42の近傍には、多角形状(矩形状)の立寄エリア43が定められる。ウェイポイント41、ルート線42、及び立寄エリア43は、ユーザが予めプロッタ11を適宜操作し、各地点の位置を指定することにより設定される。
また、図3の例では、自船4の前方にやや離れた地点で他船44が自船4の右方へ向けて航行中であり、自船4の左斜め前の近くには仮想ブイ45があることが、AIS受信機9が取得したAIS情報により検出されている。なお、仮想ブイとは、設置が困難である等の事情により実際に海上に設けられていないが、ナビゲーション装置の画面には標識として表示される、仮想の(実体を持たない)ブイを意味する。
それぞれの付加表示情報には、少なくとも、それが配置される海面(水面)における1又は複数の地点の位置(緯度及び経度)を示す情報が含まれている。例えば、ルート線42を示す付加表示情報には、折れ線の屈曲部となる2箇所の地点の位置の情報が含まれている(屈曲部の地点の位置は、ウェイポイント41の位置と一致する)。立寄エリア43の付加表示情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれている。また、他船44を示す付加表示情報には、当該他船44の位置を示す情報が含まれている。
次に、3次元シーン生成部22による3次元シーンの構築、及び、データ合成部23による映像の合成について、図4を参照して詳細に説明する。図4は、3次元仮想空間40に仮想現実オブジェクト41v,42v,・・・を配置して生成される3次元シーンデータ48と、当該3次元仮想空間40に配置される映写スクリーン51と、を説明する概念図である。
3次元シーン生成部22によって仮想現実オブジェクト41v,42v,・・・が配置される3次元仮想空間40は、図4に示すように、自船4の適宜の基準位置(例えば、上述の基準点4a)を原点とする直交座標系で構成され、水平な面であるxz平面が海面(水面)を模擬するように設定されている。図4の例では、座標軸は、+z方向が常に船首方位と一致し、+x方向が右方向、+y方向が上方向となるように定められる。この3次元仮想空間40内の各地点(座標)は、自船4の周囲の現実の位置に対応するように設定される。
図4には、図3に示す自船4の周囲の状況を表現するために、仮想現実オブジェクト41v,42v,43v,44v,45vを3次元仮想空間40内に配置した例が示されている。各仮想現実オブジェクト41v,42v,43v,44v,45vは、船首方位を基準として、それが表す付加表示情報の自船4に対する相対位置を反映させるように、xz平面に接するように配置される。これらの仮想現実オブジェクト41v,42v,・・・が配置される位置を決定するにあたっては、図1に示すアンテナ位置設定部26で設定されたGNSSアンテナの位置を用いた計算が行われる。
他船44を示す仮想現実オブジェクト44vは、船舶の形状を有しており、記憶部18に予め記憶されている大型の船のモデルのテンプレートを利用して表現される。また、当該モデルの向きは、AIS情報で取得した他船44の向きを示すように配置されている。なお、AIS情報から得られた船の長さ及び幅の情報に基づいて、元のテンプレートのモデルを船の長さ方向及び幅方向に拡大/縮小変形させて用いてもよい。
仮想ブイ45を示す仮想現実オブジェクト45vも、他船44の仮想現実オブジェクト44vと同様に、記憶部18に予め記憶されているブイのモデルのテンプレートを利用して表現される。
ウェイポイント41の仮想現実オブジェクト41vは、薄い円板状の3次元形状で表現されている。ルート線42の仮想現実オブジェクト42vは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた3次元形状で表現されている。立寄エリア43の仮想現実オブジェクト43vは、立寄エリア43の輪郭を有する一定の厚みの板のような3次元形状で表現されている。これらの仮想現実オブジェクト41v,42v,43vについては、モデルのテンプレートを使用せずに、3次元形状がその都度作成される。
3次元シーン生成部22は、上記のようにして、3次元シーンデータ48を生成する。図4の例では、仮想現実オブジェクト41v,42v,・・・が自船4の位置を原点とした方位基準で配置されるので、図3の状態から自船4の位置(東西方向及び南北方向での位置)が変化したり、回頭等により船首方位が変化したりすると、当該仮想現実オブジェクト41v,42v,・・・を再配置した新しい3次元シーンが構築されて、3次元シーンデータ48が更新される。また、例えば図3の状態から他船44が移動する等して付加表示情報の内容が変更されると、最新の付加表示情報を反映するように3次元シーンデータ48が更新される。
その後、データ合成部23は、3次元仮想空間40に、カメラ3の撮影映像が映写される位置及び範囲を定める映写スクリーン51を配置する。この映写スクリーン51と仮想現実オブジェクト41v,42v,・・・の両方が視野に含まれるように後述の視点カメラ55の位置及び向きを設定することで、映像の合成を実現することができる。
データ合成部23は、自船4に搭載されるカメラ3の位置及び向きを3次元仮想空間40においてシミュレートするとともに、映写スクリーン51を、当該カメラ3に正対するように配置する。カメラ3の位置のシミュレートに関し、船体を基準とするカメラ3の位置は、図1に示す撮影位置設定部25の設定値に基づいて得ることができる。
カメラ3の位置及び向きのシミュレートにあたっては、上述したカメラ3のパン/チルト動作による向きの変化が考慮される。更に、当該シミュレートは、位置取得部15及び姿勢取得部16が取得した位置情報及び姿勢情報に基づき、船舶4の姿勢の変化及び高さの変化によるカメラ3の位置及び向きの変動が反映されるように行われる。データ合成部23は、カメラ3の位置及び向きの変化に連動して、3次元仮想空間40に配置される映写スクリーン51の位置及び向きを変化させる。
そして、データ合成部23は、3次元シーンデータ48及び映写スクリーン51に対して公知のレンダリング処理を施すことにより、2次元の画像を生成する。より具体的には、データ合成部23は、3次元仮想空間40に視点カメラ55を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台56を、当該視点カメラ55を頂点とし、その視線方向が中心軸となるように定義する。続いて、データ合成部23は、各オブジェクト(仮想現実オブジェクト41v,42v,・・・及び映写スクリーン51)を構成するポリゴンのうち、当該視錐台56の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ2での合成映像の表示領域に相当する2次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、2次元の画像を生成する。
このようにして生成された2次元の画像には、3次元シーンデータ48の描画が行われることにより得られた図形(言い換えれば、仮想現実オブジェクト41v,42v,・・・のレンダリング結果としての図形)が含まれる。また、2次元の画像の生成過程において、映写スクリーン51に相当する位置には、カメラ3の撮影映像が貼り付けられるように配置される。これにより、データ合成部23による映像の合成が実現される。映写スクリーン51は、カメラ3を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防止することができる。
視点カメラ55は合成映像の視点を定めるものであり、その位置及び向きは、ユーザがキーボード31及びマウス32等を用いて設定することができる。ただし、データ合成部23は、合成映像を生成するときのモードとして、視点カメラ55の位置及び向きが、カメラ3の位置及び向きと常に一致するように自動的に変化するモードとすることができる(視点追従モード)。この視点追従モードでは、視点カメラ55の視野全体が常に映写スクリーン51(即ち、カメラ3の撮影映像)で覆われることになるので、臨場感のある合成映像を実現することができる。
一方、データ合成部23は、視点カメラ55の位置及び向きを、カメラ3の位置及び向きと無関係に設定可能なモードとすることもできる(独立視点モード)。この独立視点モードでは、ユーザは、カメラ3の撮影視野から外れた位置にある付加表示情報を確認することができる。
次に、カメラ3で撮影した映像と合成映像との関係を、例を参照して説明する。図5は、カメラ3による撮影映像の例を示す図である。図6は、データ合成部23が出力する合成映像を示す図である。
図5には、図3に示す状況において、自船4のカメラ3が撮影した映像の例が示されている。この撮影映像には、海面に浮かぶ他船44rが写っている。また、映像の下部中央には、自船4の船首部分が写っている。
仮想ブイ45は上述のとおり仮想的なものであるので、図5に示すとおり、カメラ3に写ることはない。ウェイポイント41、ルート線42及び立寄エリア43も、プロッタ11での設定により作成されるものであるので、カメラ3による撮影映像には現れない。
そして、図5に示す撮影映像に対し、図4の3次元シーンデータ48のレンダリングによる上記の2次元の画像を合成した結果が、図6に示されている。ただし、図6では、カメラ3による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている(これは、合成映像を表す他の図においても同様である)。図6の合成映像では、付加表示情報を表現する図形41f,42f,43f,44f,45fが、撮影映像に重なるように配置されている。他船を表す図形44fは、撮影映像における他船44rの位置にほぼ重なるように配置されている。
上記の図形41f,42f,・・・は、図4に示す3次元シーンデータ48を構成する仮想現実オブジェクト41v,42v,・・・の3次元形状を、カメラ3と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ3による写実的な映像に対して図形41f,42f,・・・を重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。
図6に示すように、付加表示情報を仮想現実的に表現する図形41f,42f,・・・は、撮影映像の海面にあたかも置かれるかのように、合成映像上に配置されている。別の言い方をすれば、付加表示情報を仮想現実的に表現する図形41f,42f,・・・は、撮影映像に現れる水面から把握される3次元的な面の傾きに合わせた向きで表示される。特に、ウェイポイント41、ルート線42、及び立寄エリア43を示す図形41f,42f,43fは、薄い板が海面に貼り付けられるかのように配置されている。これは、図4に示す仮想現実オブジェクト41v,42v,・・・を、撮影位置設定部25(図1を参照)で設定された高さに基づいて計算された距離だけカメラ3に対して下方に位置しているxz平面に接するように配置するとともに、映写スクリーン51の位置を、カメラ3の位置及び向きを考慮して正しく配置することにより実現される。
次に、自船4の揺れに伴う合成映像の変化について説明する。図7は、図4の状態から船舶4の姿勢がピッチ方向及びロール方向に変化した場合を示す概念図である。図8は、図7の場合の合成映像を示す図である。
上述したとおり、カメラ3は自船4に取り付けられているので、その位置及び向きは、自船4の姿勢が波等により傾いたり、自船4が波に乗り上げたりすることに伴って変化する。本実施形態において、データ合成部23は、自船4に揺れ(ピッチング、ローリング及びヒービング)が生じた場合、姿勢取得部16が取得した自船4の姿勢の変化、及び、位置取得部15が取得した自船4の位置の上下方向の変化をシミュレートするように、3次元仮想空間40におけるカメラ3の位置及び向きを変更し、それに伴って映写スクリーン51の位置を変更する。
図7には、図4の状態から自船4の姿勢がピッチ方向及びロール方向に変化したときの様子が示されている。図7の例では、自船4は前下がりかつ左下がりとなるように傾いており、それを反映するように、カメラ3の位置及び向きが変化する。これに連動して、映写スクリーン51は、そのように位置及び向きが変化したカメラ3に正対するように移動する。
図7の例では、上述の視点追従モードにより、視点カメラ55の位置及び向きも、上記のように位置及び向きが変化したカメラ3に追従するように変化する。図7に対応する合成映像の例が図8に示され、この図に示すように、自船4の揺れに伴ってカメラ3の位置及び向きが異なっても、それに連動して映写スクリーン51の位置及び向きが変化するとともに、3次元シーンをレンダリングする視点カメラ55の位置及び向きが変化するので、違和感のない合成映像を継続的に得ることができる。
視点追従モードでは、自船4の揺れによってピッチ角又はロール角が所定値以上変化する毎に、また、自船4の高さが所定値以上変化する毎に、データ合成部23での3次元シーンデータ48の描画が更新され、最新の視点に基づく図形41f,42f,・・・が生成される。従って、海面が現れる位置及び向きが自船4の揺れにより変化するカメラ3の撮影映像に対し、図形41f,42f,・・・の表示を、当該海面に置かれた状態を維持するように適切に変化させることができる。
これにより、仮想の物体があたかも海面に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ2に映し出された海面を眺めることで、仮想現実を表す図形41f,42f,・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。
特に、図6及び図8に示すように、ユーザがプロッタ11を用いて設定した航路を示すルート線42を示す図形42fは、カメラ3による撮影映像の海面上に貼り付いたように表示される。よって、ユーザは、ディスプレイ2に表示された合成映像の海面を眺めることで、海面に描画された航路を(自船4との位置関係を含めて)現実感を伴って把握することができ、当該航路に沿った操船を直感的に行うことができる。なお、立寄エリア43を示す仮想現実オブジェクト43vも同様に、海面に貼り付いたように表示されるので、自船4を立寄エリア43に移動して停止させる操作を容易に行うことができる。
更に、仮想ブイ45は上述したように実体を持たないが、上記の合成映像において、それを表現する図形45fは、カメラ3による撮影映像の海面上に、実体を持って浮かんでいるかのように表示される。これにより、ユーザは、自船4等との関係で仮想ブイ45の位置を直感的に理解でき、操船がより容易になる。
本実施形態では、合成映像において、それぞれの図形41f,42f,・・・を、目立つように又は目立たないように、見え方を変えて表示することもできる。例えば、自船4の位置が予定航路から離れていることが検知された場合に、ルート線42の図形42fを点滅表示させることが考えられる。また、他船44の図形44fについて、自船4との衝突の危険度の高低に応じて、表示色を変化させたり、透明度を変化させたりすることが考えられる。衝突の危険度は、公知の様々な方法があるため詳細は説明しないが、例えば、自船と当該物標とが最も接近した際の距離、及び、自船と当該物標とが最も接近するまでの時間を計算により予測し、得られた予測距離及び予測時間に基づいて判定することができる。これにより、ユーザの視覚に訴える複数の情報の中で、例えば当該情報の重要度に応じて適宜に強弱を付けて表示することができ、ユーザフレンドリーな映像を提供できる。
本実施形態の映像生成装置1では、合成映像における付加表示情報の図形41f,42f,・・・の表示・非表示は、キーボード31及びマウス32等が操作されることにより、例えば、個々の付加表示情報毎に、情報の種類毎に、又は、情報源である船舶機器毎に、切り換えることができる。付加表示情報の表示・非表示の設定は、図1に示す記憶部18に記憶される。非表示が設定された付加表示情報に対応する仮想現実オブジェクトは、3次元シーン生成部22によって3次元シーンデータ48が生成される際に3次元仮想空間40に配置されないため、それに対応する図形が合成映像において現れなくなる。これにより、見易く整理された合成映像を得ることができる。
なお、図6の例では、付加表示情報として、ユーザにより設定されたウェイポイント、ルート線、立寄エリア、他船、及び仮想ブイが図形41f,42f,・・・により表示されているが、付加表示情報はこれらに限られるものではない。例えば、上記に加えて、到着エリア、魚群が探知された海域、航海禁止領域、危険海域、陸地、ランドマーク等が付加表示情報に含まれていてもよい。これにより、ユーザにとって有益な情報を、視覚的に把握し易い態様で表示することができる。
以上に説明したように、本実施形態の映像生成装置1は、位置取得部15と、姿勢取得部16と、付加表示情報取得部17と、3次元シーン生成部22と、データ合成部23と、を備える。位置取得部15は、カメラ3が設置された船舶(自船)4の地球上での位置を示す位置情報を取得する。姿勢取得部16は、自船4の姿勢を示す姿勢情報を取得する。付加表示情報取得部17は、複数の地点の位置を示す情報を含む付加表示情報(ルート線42及び立寄エリア43の情報)を取得する。3次元シーン生成部22は、前記位置情報、前記姿勢情報、及び、付加表示情報取得部17で取得された前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形42f,43fの少なくとも一部を、カメラ3が出力する映像の水面上に当該図形42f,43fを載置するように重ねて表示するための3次元シーンデータ48を生成する。データ合成部23は、3次元シーンデータ48を描画した図形42f,43fを出力する。
これにより、自船4の位置及び姿勢に基づいて、付加表示情報(ルート線42及び立寄エリア43)の位置等を示す3次元的な表示を図形42f,43fとして出力することができる。従って、この図形42f,43fを撮影映像に重ねるように表示することで、仮想現実的な合成映像を実現することができる(図6及び図8を参照)。ユーザは、この合成映像を見ることで、付加表示情報で示される状況を、位置関係を含めて直感的に把握し易くなる。また、付加表示情報の図形42f,43fが撮影映像の水面に沿うように配置される表示により、複数地点の間の関係(例えば、ルート線42の向き及び立寄エリア43の形状)を、ユーザが直感的に把握することができる。
また、本実施形態の映像生成装置1においては、付加表示情報を表す図形41f,42f,・・・の表示・非表示を、個別に、情報の種類毎に、又は、情報源である船舶機器毎に設定可能である。
これにより、仮想現実的に表示する図形41f,42f,・・・を、ユーザの好み等に応じて、選択的に表示又は非表示とすることができる。従って、図形が混み合って表示が分かりにくくなってしまうことを防止することができる。
また、本実施形態の映像生成装置1においては、前記付加表示情報には、ユーザが設定した自船4の航路であるルート線42の情報が含まれる。3次元シーン生成部22は、ルート線42を示す図形42fを表示するための3次元シーンデータ48を生成する。
これにより、合成映像において、カメラ3による映像の水面上に、航路を示す図形42fが載置されるように重ねて表示されるので、航路が延びる方向をユーザが把握し易くなる。よって、例えば設定した航路に沿った操船等が行い易くなる。
また、本実施形態の映像生成装置1においては、ルート線42は、ユーザが設定した複数のウェイポイント41を繋ぐように生成される。3次元シーン生成部22は、ルート線42を示す図形42fとともに、ウェイポイント41を示す図形41fを表示するための3次元シーンデータ48を生成する。
これにより、合成映像において、自船4の航路が延びる方向等とともに、ウェイポイント41に関する情報も容易に把握できる。よって、設定した航路に沿った操船等がより一層行い易くなる。
また、本実施形態の映像生成装置1においては、前記付加表示情報には、ユーザが設定した自船4の立寄地を示す領域である立寄エリア43が含まれる。3次元シーン生成部22は、立寄エリア43を示す図形43fを表示するための表示用データを生成する。
これにより、合成映像において、平面的な広がりを有する領域である立寄エリア43の図形43fを、撮影映像の水面に貼り付くように表示させることができる。よって、立寄エリア43の形状をユーザが把握し易くなるので、例えば、当該立寄エリア43に自船4を停船させる操作が行い易くなる。
また、本実施形態の映像生成装置1においては、前記付加表示情報には、他の水上移動体(他船44)に関する情報が含まれる。3次元シーン生成部22は、他船44と、自船4と、の衝突の危険度の高低に応じて、他船44を示す図形44fの表示の態様を異ならせる。
これにより、ユーザの視覚に訴える複数の情報の中で、例えば衝突の危険が高い他船44について他の物標よりも強調して表示することができ、適宜に強弱を付けたユーザフレンドリーな映像を提供できる。
また、本実施形態の映像生成装置1においては、3次元シーンデータ48の描画が、姿勢取得部16が取得した姿勢の変化に基づいて更新される。
これにより、自船4が波等により揺れる影響によってカメラ3の撮影映像が変化しても、図形41f,42f,・・・が撮影映像の水面上に載置された状態を維持するように表示されるので、違和感のない表示を実現することができる。
また、本実施形態の映像生成装置1の位置取得部15は、自船4に設置されたGNSSアンテナが測位衛星から受信した電波に基づいて前記位置情報を取得する。また、映像生成装置1は、自船4における前記GNSSアンテナの位置であるアンテナ位置を設定可能なアンテナ位置設定部26を備える。3次元シーン生成部22は、アンテナ位置に基づいて、図形41f,42f,・・・を表示するための3次元シーンデータ48を生成する。
これにより、付加表示情報を示す図形41f,42f,・・・の位置等が、自船4におけるGNSSアンテナの位置を考慮して決定されるので、表示位置のズレを防止することができる。
また、本実施形態の映像生成装置1は、自船4におけるカメラ3の位置である撮影位置を設定可能な撮影位置設定部25を備える。3次元シーン生成部22は、前記撮影位置に基づいて、図形41f,42f,・・・を表示するための3次元シーンデータ48を生成する。
これにより、付加表示情報を示す図形41f,42f,・・・の位置等が、自船4におけるカメラ3の位置を考慮して決定されるので、表示位置のズレを防止することができる。
また、本実施形態の映像生成装置1において、撮影位置設定部25は、カメラ3の高さを設定可能である。
これにより、カメラ3の高さを考慮して、付加表示情報を示す図形41f,42f・・・を生成することができる。従って、図形41f,42f,・・・が水面に潜ったり水面から浮いたりして見えるのを防止できるので、現実感を損なわない自然な表示を実現することができる。
また、本実施形態の映像生成装置1においては、姿勢取得部16は、自船4に設置された複数のGNSSアンテナが測位衛星から受信した電波の搬送波位相の位相差に基づいて前記姿勢情報を取得する。
これにより、自船4の姿勢を高精度で取得することができるので、違和感の少ない合成映像を得ることができる。
以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
データ合成部23において、3次元シーンデータ48と、映写スクリーン51と、を同時にレンダリングしないように構成してもよい。即ち、データ合成部23が、3次元シーンデータ48だけのレンダリング結果である2次元の映像(図形41f,42f,・・・の映像)と、映写スクリーン51だけのレンダリング結果である2次元の映像(撮影映像が映写スクリーン51に貼り付けられた映像)と、を別々に作成して、その後に2次元の映像同士を合成する構成としてもよい。この場合、3次元シーンデータ48のレンダリング処理は自船4の移動等に応じて随時行う一方、映写スクリーン51のレンダリング処理はカメラ3による映像のフレームレートに応じた短い時間間隔で行うようにすることができる。
カメラ3において、上記のパン/チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。また、カメラ3が前方以外の方向(例えば、後方)を撮影するように配置されてもよい。
上記のようにカメラ3の撮影方向が変動しない場合は、撮影画像と図形41f,42f,・・・との合成を、映像生成装置1(データ合成部23)では行わずに外部の装置で行うように構成することもできる。即ち、データ合成部23の代わりに図形出力部(表示出力部)を備え、この図形出力部は、図4の3次元シーンにおいて映写スクリーン51を省略した状態でレンダリングを行って、図形41f,42f,・・・だけの映像を生成する。この映像と、カメラ3の撮影映像と、を外部の合成装置によって合成することで、図6に示すような合成映像を得ることができる。
更に、カメラ3を、自船4の周囲を360度の全方位にわたって同時撮影が可能な構成としてもよい。
ユーザが合成映像の視点を変更する操作を行ったときに、それに追従するようにカメラ3のパン/チルト動作が自動的に行われても良い。
3次元シーン生成部22が3次元シーンデータ48を生成するにあたって、上記の実施形態では、図4で説明したように、仮想現実オブジェクト41v,42v,・・・が自船4の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト41v,42v,・・・を、船首基準ではなく、+z方向が常に真北となる真北基準で配置しても良い。この場合、回頭等によって自船4の船首方位が変化したときは、仮想現実オブジェクト41v,42v,・・・を再配置する代わりに、3次元仮想空間40での自船4の向きをヨー方向に変化させることになる。そして、このときのカメラ3の位置及び向きの変化を3次元仮想空間40においてシミュレートするとともに、これに連動して視点カメラ55の位置及び向きを変更してレンダリングを行うことで、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。
また、3次元仮想空間40の座標系は、自船4の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、+z方向が真北、+x方向が真東となるように定められてもよい。この場合、地球に固定された座標系の3次元仮想空間40において、自船4が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ3の位置及び向きの変化が3次元仮想空間40においてシミュレートされることになる。
映像生成装置1において、自船4の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、3次元シーン生成部22において、自船4が揺れても視点カメラ55の位置及び向きの変動を抑制するようにすることが考えられる。
データ合成部23が出力する図形(合成映像の一部を構成する図形)41f,42f,・・・は、水面に薄く貼り付くような平面的なものであってもよいし、水面からある程度の高さで突出するような立体的なものであってもよい。例えば、自船4の立寄エリア43を平面的な図形43fで表現することに代えて、立寄エリア43の輪郭を有するとともに所定の高さを有する直方体枠状の図形によって表現してもよい。同様に、例えばウェイポイント41を、平面的な図形41fに代えて、例えば水面から突出するような円柱状、角錐状等の任意の立体的な図形で表現してもよい。
撮影位置設定部25は、自船4におけるカメラ3の位置を、GNSSアンテナに対する相対位置として設定できるように構成してもよい。
映像生成装置1に接続される船舶機器(付加表示情報の情報源)は、図1で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。
本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。
1 映像生成装置
3 カメラ(撮影装置)
4 船舶(水上移動体)
15 位置取得部
16 姿勢取得部
17 付加表示情報取得部
22 3次元シーン生成部(3次元表示用データ生成部)
23 データ合成部(表示出力部)
42 ルート線
42f ルート線の図形
43 立寄エリア
43f 立寄エリアの図形
48 3次元シーンデータ(3次元表示用データ)

Claims (16)

  1. 水上移動体の位置を示す位置情報を取得する位置取得部と、
    複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
    前記位置情報、及び、前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形の少なくとも一部を含む3次元表示用データを生成する表示用データ生成部と、
    前記3次元表示用データを含む映像の視点を定める視点カメラと、
    前記視点カメラの視点から前記3次元表示用データを投影することで2次元に描画した前記図形を出力する表示出力部と、
    を備えることを特徴とする映像生成装置。
  2. 請求項1に記載の映像生成装置であって、
    前記3次元表示用データは、前記水上移動体の位置を基準位置にして設定される、
    映像生成装置。
  3. 請求項1または請求項2に記載の映像生成装置であって、
    前記水上移動体のヨー角を取得する姿勢取得部を備え、
    前記3次元表示用データは、前記ヨー角を用いて設定される、
    映像生成装置。
  4. 請求項3に記載の映像生成装置であって、
    前記姿勢取得部が取得した前記ヨー角の変化が閾値以上のとき、前記3次元表示用データの描画が更新される、
    映像生成装置。
  5. 請求項3または請求項4に記載の映像生成装置であって、
    前記姿勢取得部は、前記水上移動体のピッチ角またはロール角を取得し、
    前記3次元表示用データは、前記ピッチ角または前記ロール角を用いて設定される、
    映像生成装置。
  6. 請求項1または請求項2に記載の映像生成装置であって、
    前記3次元表示用データは、絶対座標系を用いて設定される、
    映像生成装置。
  7. 請求項1乃至請求項6のいずれかに記載の映像生成装置であって、
    前記視点カメラの位置及び向きは、映像生成装置の他の設定とは無関係に設定される、
    映像生成装置。
  8. 請求項1乃至請求項7のいずれかに記載の映像生成装置であって、
    前記視点カメラは、
    前記視点カメラの位置を前記水上移動体の位置および動きと無関係に設定する独立視点モードと、
    前記視線カメラの位置を前記水上移動体の位置および動きに応じた自動で設定する視点追従モードと、
    を選択的に実行する、
    映像生成装置。
  9. 請求項1乃至請求項7のいずれかに記載の映像生成装置であって、
    前記3次元表示用データから前記2次元に描写した図形と、前記水上移動体の周囲の映像とを合成するデータ合成部を備える、
    映像生成装置。
  10. 請求項1乃至請求項6のいずれかに記載の映像生成装置であって、
    前記3次元表示用データから前記2次元に描写した図形と、前記水上移動体の周囲の映像とを合成するデータ合成部と、を備え、
    前記視点カメラの位置及び向きは、前記映像を撮像する撮像装置の位置および向きと常に一致するように自動で設定される、
    映像生成装置。
  11. 請求項1乃至請求項10のいずれかに記載の映像生成装置であって、
    前記付加表示情報には、ユーザが設定した前記水上移動体の航路が含まれ、
    前記表示用データ生成部は、前記航路を示す図形を表示するための3次元表示用データを生成する、
    映像生成装置。
  12. 請求項11に記載の映像生成装置であって、
    前記航路は、ユーザが設定したウェイポイントを繋ぐように生成され、
    前記表示用データ生成部は、前記航路を示す図形とともに、前記ウェイポイントを示す図形を表示するための3次元表示用データを生成する、
    映像生成装置。
  13. 請求項1乃至請求項12のいずれかに記載の映像生成装置であって、
    前記付加表示情報には、ユーザが設定した前記水上移動体の立寄地又は到着地を示す領域が含まれ、
    前記表示用データ生成部は、前記立寄地又は前記到着地を示す図形を表示するための3次元表示用データを生成する、
    映像生成装置。
  14. 請求項1乃至請求項13のいずれかに記載の映像生成装置であって、
    前記付加表示情報には、他の水上移動体に関する情報が含まれ、
    前記表示用データ生成部は、前記水上移動体と、前記他の水上移動体と、の衝突の危険度の高低に応じて、前記他の水上移動体を示す図形の表示の態様を異ならせることを特徴とする映像生成装置。
  15. 請求項1乃至請求項14のいずれかに記載の映像生成装置であって、
    前記表示用データ生成部は、方位を示す目盛画像を更に生成し、
    前記図形の表示位置に応じて前記目盛画像の表示位置を決定する、
    映像生成装置。
  16. 水上移動体の位置を示す位置情報を取得し、
    複数の地点の位置を示す情報を含む付加表示情報を取得し、
    前記位置情報、及び、前記付加表示情報に含まれる複数の地点の位置に基づき、前記付加表示情報を示す図形の少なくとも一部を含む3次元表示用データを生成し、
    前記3次元表示用データを含む映像の視点を定め、
    前記視点から前記3次元表示用データを投影することで2次元に描画した前記図形を出力する、
    映像生成方法。
JP2021121238A 2017-05-24 2021-07-26 映像生成装置、および、映像生成方法 Active JP7225324B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023016751A JP7488925B2 (ja) 2017-05-24 2023-02-07 映像生成装置、および、映像生成方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017103148 2017-05-24
JP2017103148 2017-05-24
JP2019519581A JP6921191B2 (ja) 2017-05-24 2018-05-15 映像生成装置、映像生成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019519581A Division JP6921191B2 (ja) 2017-05-24 2018-05-15 映像生成装置、映像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023016751A Division JP7488925B2 (ja) 2017-05-24 2023-02-07 映像生成装置、および、映像生成方法

Publications (2)

Publication Number Publication Date
JP2021184614A true JP2021184614A (ja) 2021-12-02
JP7225324B2 JP7225324B2 (ja) 2023-02-20

Family

ID=64395705

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019519581A Active JP6921191B2 (ja) 2017-05-24 2018-05-15 映像生成装置、映像生成方法
JP2021121238A Active JP7225324B2 (ja) 2017-05-24 2021-07-26 映像生成装置、および、映像生成方法
JP2023016751A Active JP7488925B2 (ja) 2017-05-24 2023-02-07 映像生成装置、および、映像生成方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019519581A Active JP6921191B2 (ja) 2017-05-24 2018-05-15 映像生成装置、映像生成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023016751A Active JP7488925B2 (ja) 2017-05-24 2023-02-07 映像生成装置、および、映像生成方法

Country Status (5)

Country Link
US (3) US11270512B2 (ja)
EP (1) EP3633319B1 (ja)
JP (3) JP6921191B2 (ja)
CN (1) CN110520692B (ja)
WO (1) WO2018216535A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130940A1 (ja) * 2017-12-25 2019-07-04 古野電気株式会社 映像生成装置及び映像生成方法
EP4420930A3 (en) * 2018-12-11 2024-10-09 Sony Group Corporation Image processing device, image processing method, and image processing system
JPWO2021049221A1 (ja) * 2019-09-09 2021-03-18
CN111258322B (zh) * 2019-12-26 2024-06-11 北京海兰信数据科技股份有限公司 一种基于增强现实技术的船用驾驶辅助装置及方法
DE102020103466A1 (de) * 2020-02-11 2021-08-12 Raytheon Anschütz Gmbh Verfahren zur Positionsbestimmung eines Wasserfahrzeugs mittels optischer Peilung
EP3907470B1 (en) * 2020-05-06 2023-02-22 Fincantieri S.p.A. System and method for supporting an operator for navigation
EP4173942A4 (en) * 2020-06-24 2024-05-01 Mapsea Corp. NAVIGATION ASSISTANCE DEVICE USING AUGMENTED REALITY AND 3D IMAGES
US11852476B2 (en) 2021-02-19 2023-12-26 Furuno Electric Co., Ltd. Tidal current information display apparatus and method
EP4047312A1 (en) * 2021-02-19 2022-08-24 Furuno Electric Co., Ltd. Augmented reality based tidal current display device
US11808579B2 (en) 2021-02-19 2023-11-07 Furuno Electric Co., Ltd. Augmented reality based tidal current display apparatus and method
EP4047313B1 (en) * 2021-02-19 2024-06-05 Furuno Electric Co., Ltd. Tidal current information display device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215278A (ja) * 2014-05-13 2015-12-03 古野電気株式会社 情報表示装置
US20150350552A1 (en) * 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0339744Y2 (ja) * 1985-12-25 1991-08-21
GB8821570D0 (en) * 1988-09-15 1989-03-30 Plessey Co Plc Course recommendation display
US5101356A (en) * 1989-11-21 1992-03-31 Unisys Corporation Moving vehicle attitude measuring system
JP3045625B2 (ja) * 1993-04-16 2000-05-29 川崎重工業株式会社 船舶の航行支援装置
JPH10206178A (ja) * 1997-01-17 1998-08-07 O Ke Service:Kk 移動体の誘導システム
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
JP2004212192A (ja) 2002-12-27 2004-07-29 Senaa Kk 操船支援システム、操船支援プログラムおよび操船支援のための三次元像生成方法
JP4445313B2 (ja) * 2004-04-01 2010-04-07 古野電気株式会社 船舶航行支援装置
US7730482B2 (en) * 2004-06-08 2010-06-01 Covia Labs, Inc. Method and system for customized programmatic dynamic creation of interoperability content
US20070222665A1 (en) * 2006-03-07 2007-09-27 Koeneman Robert L Airborne Situational Awareness System
JP4709684B2 (ja) * 2006-04-13 2011-06-22 隼馬 今津 相手船動静監視装置
US8296001B1 (en) * 2006-11-13 2012-10-23 Garmin Switzerland Gmbh Marine vessel navigation device, system and method
JP5596393B2 (ja) * 2010-03-31 2014-09-24 古野電気株式会社 画素データ生成装置、画像表示装置、レーダ装置、画素データ生成方法及び画素データ生成プログラム
KR20110116842A (ko) * 2010-04-20 2011-10-26 목포대학교산학협력단 증강현실을 이용한 선박 항법 시스템의 전자해도 표시 방법
US8265866B2 (en) 2010-12-15 2012-09-11 The Boeing Company Methods and systems for augmented navigation
JP2012233743A (ja) * 2011-04-28 2012-11-29 Furuno Electric Co Ltd 情報表示装置
KR101072395B1 (ko) * 2011-07-21 2011-10-11 한국해양연구원 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법
DE112012005852T5 (de) * 2012-02-10 2014-11-27 Mitsubishi Electric Corporation Fahrerassistenzvorrichtung und Fahrerassistenzverfahren
JP6286772B2 (ja) * 2014-02-28 2018-03-07 日本無線株式会社 情報配信装置、情報配信システム及び情報配信方法
JP6425913B2 (ja) * 2014-05-13 2018-11-21 古野電気株式会社 情報表示装置
US10444349B2 (en) * 2014-09-02 2019-10-15 FLIR Belgium BVBA Waypoint sharing systems and methods
FR3026500B1 (fr) * 2014-09-30 2017-12-22 Dcns Systeme integre d'aide a la conduite et a la navigation d'un navire de combat
JP6667943B2 (ja) * 2014-10-17 2020-03-18 日本無線株式会社 画像生成装置
JP6628389B2 (ja) * 2014-11-26 2020-01-08 国立研究開発法人 海上・港湾・航空技術研究所 操船支援システム及びそのシステムを搭載した船舶
CN105241457A (zh) * 2015-08-10 2016-01-13 武汉理工大学 一种用于船舶驾驶的三维辅助导航系统建立方法
US11328155B2 (en) * 2015-11-13 2022-05-10 FLIR Belgium BVBA Augmented reality labels systems and methods
GB2561746B (en) * 2015-11-13 2022-02-09 Flir Systems Video sensor fusion and model based virtual and augmented reality systems and methods
GB2575561B (en) * 2017-03-31 2022-06-08 FLIR Belgium BVBA Visually correlated radar systems and methods
GB2601644B (en) * 2017-04-28 2023-02-08 FLIR Belgium BVBA Video and image chart fusion systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215278A (ja) * 2014-05-13 2015-12-03 古野電気株式会社 情報表示装置
US20150350552A1 (en) * 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device

Also Published As

Publication number Publication date
US20240071017A1 (en) 2024-02-29
JP2023054014A (ja) 2023-04-13
US11270512B2 (en) 2022-03-08
EP3633319A1 (en) 2020-04-08
US20220130117A1 (en) 2022-04-28
JP7488925B2 (ja) 2024-05-22
CN110520692B (zh) 2024-03-26
JP7225324B2 (ja) 2023-02-20
EP3633319A4 (en) 2021-01-20
US20200090414A1 (en) 2020-03-19
EP3633319B1 (en) 2023-01-18
CN110520692A (zh) 2019-11-29
JPWO2018216535A1 (ja) 2020-04-09
WO2018216535A1 (ja) 2018-11-29
JP6921191B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
JP6921191B2 (ja) 映像生成装置、映像生成方法
JP6840842B2 (ja) 映像生成装置
CN110998672B (zh) 影像生成装置以及影像生成方法
CN112640445B (zh) 影像生成装置及影像生成方法
JP7214402B2 (ja) 映像生成装置及び映像生成方法
JP6720409B2 (ja) 映像生成装置
JP7021259B2 (ja) 映像生成装置及び映像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7225324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150