JP2020144399A - 映像生成装置及び映像生成方法 - Google Patents
映像生成装置及び映像生成方法 Download PDFInfo
- Publication number
- JP2020144399A JP2020144399A JP2017103149A JP2017103149A JP2020144399A JP 2020144399 A JP2020144399 A JP 2020144399A JP 2017103149 A JP2017103149 A JP 2017103149A JP 2017103149 A JP2017103149 A JP 2017103149A JP 2020144399 A JP2020144399 A JP 2020144399A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- camera
- mesh
- ship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 239000002131 composite material Substances 0.000 claims abstract description 74
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 30
- 241000251468 Actinopterygii Species 0.000 claims description 6
- 206010052143 Ocular discomfort Diseases 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 19
- 238000003786 synthesis reaction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000002194 synthesizing effect Effects 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
15 位置取得部
16 姿勢取得部
17 付加表示情報取得部
20 合成映像生成部
41v,42v,・・・ 仮想現実オブジェクト
41f,42f,・・・ 図形
51 映写スクリーン
52 メッシュ
Claims (8)
- 水上移動体に設置される撮影装置が撮影した撮影映像を入力する撮影映像入力部と、
前記水上移動体の位置を示す位置情報を取得する位置取得部と、
前記水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
1又は複数の地点の位置を示す情報を含む付加表示情報を取得する付加表示情報取得部と、
前記位置情報及び前記姿勢情報に基づいて、3次元仮想空間に仮想カメラを配置し、当該3次元仮想空間に前記付加表示情報の少なくとも一部を3次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である2次元の仮想スクリーンでの位置に変換し、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成する合成映像生成部と、
を備えることを特徴とする映像生成装置。 - 請求項1に記載の映像生成装置であって、
前記合成映像生成部は、前記姿勢情報が変化した場合に、前記3次元仮想空間における前記映写スクリーン及び前記仮想カメラの位置及び向きを、前記撮影装置の位置及び向きの変化に対応するように移動させることを特徴とする映像生成装置。 - 請求項1又は2に記載の映像生成装置であって、
作成される前記メッシュの歪む方向及び歪み量の少なくとも何れかを変更可能に構成されていることを特徴とする映像生成装置。 - 請求項1から3までの何れか一項に記載の映像生成装置であって、
前記メッシュは、前記3次元仮想空間において湾曲状に配置されることを特徴とする映像生成装置。 - 請求項1から4までの何れか一項に記載の映像生成装置であって、
前記付加表示情報には、他の水上移動体、ランドマーク、予定航路、航路軌跡、ウェイポイント、立寄地、到着地、魚群が探知された海域、危険海域、航海禁止領域、ブイ、及び仮想ブイのうち少なくとも何れかが含まれることを特徴とする映像生成装置。 - 請求項1から5までの何れか一項に記載の映像生成装置であって、
前記付加表示情報が示す地点と前記水上移動体との間の距離に応じて、当該付加表示情報に対応して表示される前記図形の色を異ならせることを特徴とする映像生成装置。 - 請求項1から6までの何れか一項に記載の映像生成装置であって、
前記水上移動体に設置されたディスプレイ、携帯型コンピュータ、及びヘッドマウントディスプレイのうちの少なくとも何れかに対して前記合成映像を出力可能であることを特徴とする映像生成装置。 - 水上移動体に設置される撮影装置が撮影した撮影映像を入力し、
前記水上移動体の位置を示す位置情報を取得し、
前記水上移動体の姿勢を示す姿勢情報を取得し、
1又は複数の地点の位置を示す情報を含む付加表示情報を取得し、
前記位置情報及び前記姿勢情報に基づいて、3次元仮想空間に仮想カメラを配置し、当該3次元仮想空間に前記付加表示情報の少なくとも一部を3次元の仮想現実オブジェクトとして配置するとともに仮想の映写スクリーンを配置し、前記映写スクリーンを分割するメッシュであって前記撮影映像に生じるレンズ歪みと逆方向に歪んだメッシュを作成し、前記仮想カメラの位置及び向きに基づいて、前記仮想現実オブジェクトの頂点及び前記メッシュの頂点を、頂点シェーダにより、透視投影面である2次元の仮想スクリーンでの位置に変換し、前記仮想スクリーンにおける各頂点の位置に基づいて、前記撮影映像を分割した映像片を、対応する前記メッシュにピクセルシェーダにより配置することで、前記仮想現実オブジェクトを描画した図形を前記撮影映像に合成した合成映像を生成することを特徴とする映像生成方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103149A JP6857546B2 (ja) | 2017-05-24 | 2017-05-24 | 映像生成装置及び映像生成方法 |
CN201880033183.3A CN110998672B (zh) | 2017-05-24 | 2018-05-15 | 影像生成装置以及影像生成方法 |
PCT/JP2018/018646 WO2018216536A1 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置及び映像生成方法 |
JP2019519582A JPWO2018216536A1 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置及び映像生成方法 |
EP18805441.5A EP3633626A4 (en) | 2017-05-24 | 2018-05-15 | VIDEO IMAGE GENERATION DEVICE AND VIDEO IMAGE GENERATION METHOD |
US16/690,904 US11415991B2 (en) | 2017-05-24 | 2019-11-21 | Image generating device and image generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103149A JP6857546B2 (ja) | 2017-05-24 | 2017-05-24 | 映像生成装置及び映像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144399A true JP2020144399A (ja) | 2020-09-10 |
JP6857546B2 JP6857546B2 (ja) | 2021-04-14 |
Family
ID=64395488
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017103149A Active JP6857546B2 (ja) | 2017-05-24 | 2017-05-24 | 映像生成装置及び映像生成方法 |
JP2019519582A Withdrawn JPWO2018216536A1 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置及び映像生成方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519582A Withdrawn JPWO2018216536A1 (ja) | 2017-05-24 | 2018-05-15 | 映像生成装置及び映像生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11415991B2 (ja) |
EP (1) | EP3633626A4 (ja) |
JP (2) | JP6857546B2 (ja) |
CN (1) | CN110998672B (ja) |
WO (1) | WO2018216536A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7191595B2 (ja) | 2018-08-30 | 2022-12-19 | 株式会社 商船三井 | 映像生成装置及び映像生成方法 |
KR102031151B1 (ko) * | 2019-03-20 | 2019-10-15 | 씨벤티지 주식회사 | 선박의 효율 운항을 위한 항로 안내 방법 |
EP4030390A4 (en) * | 2019-09-09 | 2023-10-18 | Furuno Electric Co., Ltd. | SHIP INFORMATION DISPLAY SYSTEM, SHIP INFORMATION DISPLAY METHOD, IMAGE GENERATION DEVICE AND PROGRAM |
CN111464749B (zh) * | 2020-05-07 | 2021-05-25 | 广州酷狗计算机科技有限公司 | 进行图像合成的方法、装置、设备及存储介质 |
CN111915033A (zh) * | 2020-08-13 | 2020-11-10 | 日照古工船舶服务有限公司 | 一种船舶检修监控系统及方法 |
CN114500970B (zh) * | 2020-11-13 | 2024-04-26 | 聚好看科技股份有限公司 | 一种全景视频图像处理、显示方法及设备 |
JP2022088142A (ja) * | 2020-12-02 | 2022-06-14 | ヤマハ発動機株式会社 | 距離認識システムおよびその制御方法、船舶 |
CN116524157B (zh) * | 2023-04-28 | 2024-05-14 | 神力视界(深圳)文化科技有限公司 | 扩展现实合成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301897A (ja) * | 1993-04-16 | 1994-10-28 | Kawasaki Heavy Ind Ltd | 船舶の航行支援装置 |
JPH0887232A (ja) * | 1994-09-14 | 1996-04-02 | Ishikawajima Harima Heavy Ind Co Ltd | 操船シミュレータの模擬視界表示装置 |
JP2010003274A (ja) * | 2008-06-23 | 2010-01-07 | National Maritime Research Institute | 目視認識支援装置及び目視認識支援方法 |
JP2011227864A (ja) * | 2010-03-31 | 2011-11-10 | Asahi Kasei Corp | 画像視点変換装置、画像視点変換方法、画像視点変換プログラム |
JP2015215278A (ja) * | 2014-05-13 | 2015-12-03 | 古野電気株式会社 | 情報表示装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4346938B2 (ja) * | 2003-04-09 | 2009-10-21 | キヤノン株式会社 | 画像処理装置、方法、プログラム及び記憶媒体 |
JP3726239B1 (ja) * | 2004-07-13 | 2005-12-14 | 有 上條 | 画像処理プログラム及び装置 |
JP2011217057A (ja) * | 2010-03-31 | 2011-10-27 | Asahi Kasei Corp | レンズ歪み除去装置、方法およびプログラム |
JP2012058968A (ja) * | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
US20120229460A1 (en) * | 2011-03-12 | 2012-09-13 | Sensio Technologies Inc. | Method and System for Optimizing Resource Usage in a Graphics Pipeline |
US9093006B2 (en) * | 2011-06-30 | 2015-07-28 | Google Inc. | Image shader using style attribute references |
US9886790B2 (en) * | 2013-03-14 | 2018-02-06 | Robert Bosch Gmbh | System and method of shadow effect generation for concave objects with dynamic lighting in three-dimensional graphics |
JP6163358B2 (ja) * | 2013-05-31 | 2017-07-12 | 日本放送協会 | 水上水中撮像装置、及び水上水中撮像方法 |
US9335545B2 (en) * | 2014-01-14 | 2016-05-10 | Caterpillar Inc. | Head mountable display system |
US9826164B2 (en) | 2014-05-30 | 2017-11-21 | Furuno Electric Co., Ltd. | Marine environment display device |
JP6586824B2 (ja) * | 2015-08-27 | 2019-10-09 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US10043305B2 (en) * | 2016-01-06 | 2018-08-07 | Meta Company | Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component |
CN105913497B (zh) * | 2016-05-27 | 2018-09-07 | 杭州映墨科技有限公司 | 用于虚拟看房的虚拟现实空间移动定位系统及方法 |
US10535186B2 (en) * | 2016-08-30 | 2020-01-14 | Intel Corporation | Multi-resolution deferred shading using texel shaders in computing environments |
-
2017
- 2017-05-24 JP JP2017103149A patent/JP6857546B2/ja active Active
-
2018
- 2018-05-15 WO PCT/JP2018/018646 patent/WO2018216536A1/ja unknown
- 2018-05-15 JP JP2019519582A patent/JPWO2018216536A1/ja not_active Withdrawn
- 2018-05-15 CN CN201880033183.3A patent/CN110998672B/zh active Active
- 2018-05-15 EP EP18805441.5A patent/EP3633626A4/en active Pending
-
2019
- 2019-11-21 US US16/690,904 patent/US11415991B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301897A (ja) * | 1993-04-16 | 1994-10-28 | Kawasaki Heavy Ind Ltd | 船舶の航行支援装置 |
JPH0887232A (ja) * | 1994-09-14 | 1996-04-02 | Ishikawajima Harima Heavy Ind Co Ltd | 操船シミュレータの模擬視界表示装置 |
JP2010003274A (ja) * | 2008-06-23 | 2010-01-07 | National Maritime Research Institute | 目視認識支援装置及び目視認識支援方法 |
JP2011227864A (ja) * | 2010-03-31 | 2011-11-10 | Asahi Kasei Corp | 画像視点変換装置、画像視点変換方法、画像視点変換プログラム |
JP2015215278A (ja) * | 2014-05-13 | 2015-12-03 | 古野電気株式会社 | 情報表示装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018216536A1 (ja) | 2018-11-29 |
CN110998672A (zh) | 2020-04-10 |
EP3633626A1 (en) | 2020-04-08 |
US11415991B2 (en) | 2022-08-16 |
JP6857546B2 (ja) | 2021-04-14 |
CN110998672B (zh) | 2023-07-25 |
EP3633626A4 (en) | 2021-03-17 |
JPWO2018216536A1 (ja) | 2020-09-10 |
US20200089234A1 (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6857546B2 (ja) | 映像生成装置及び映像生成方法 | |
JP6840842B2 (ja) | 映像生成装置 | |
JP7488925B2 (ja) | 映像生成装置、および、映像生成方法 | |
JP7191595B2 (ja) | 映像生成装置及び映像生成方法 | |
JP6720409B2 (ja) | 映像生成装置 | |
JP7214402B2 (ja) | 映像生成装置及び映像生成方法 | |
JP7021259B2 (ja) | 映像生成装置及び映像生成方法 | |
JP7492059B2 (ja) | 周辺監視装置及び周辺監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6857546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |