JP2010041530A - 操縦支援装置 - Google Patents
操縦支援装置 Download PDFInfo
- Publication number
- JP2010041530A JP2010041530A JP2008203735A JP2008203735A JP2010041530A JP 2010041530 A JP2010041530 A JP 2010041530A JP 2008203735 A JP2008203735 A JP 2008203735A JP 2008203735 A JP2008203735 A JP 2008203735A JP 2010041530 A JP2010041530 A JP 2010041530A
- Authority
- JP
- Japan
- Prior art keywords
- altitude
- image
- bird
- cameras
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 79
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 50
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 101100169873 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DCK1 gene Proteins 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 7
- 241000251468 Actinopterygii Species 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 101000885387 Homo sapiens Serine/threonine-protein kinase DCLK2 Proteins 0.000 description 1
- 102100039775 Serine/threonine-protein kinase DCLK2 Human genes 0.000 description 1
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B49/00—Arrangements of nautical instruments or navigational aids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63H—MARINE PROPULSION OR STEERING
- B63H25/00—Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements
- B63H25/02—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring
- B63H2025/028—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring using remote control means, e.g. wireless control; Equipment or accessories therefor
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Combustion & Propulsion (AREA)
- Ocean & Marine Engineering (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【構成】カメラC_1〜C_4は、甲板および水面を跨ぐ視野を各々が有するように、船舶の上方の互いに異なる位置に設けられる。CPU12pは、カメラC_1〜C_4からそれぞれ出力された4つの被写界像を、基準高度を参照して合成する。船舶は高度の増大に伴って減少する広さを有し、CPU12pは、基準高度よりも大きい高度に対応する船舶の図形画像を合成処理によって作成された全周鳥瞰図画像に多重する。CPU12pはまた、グラフィック画像が多重された全周鳥瞰図画像の一部を、操船支援画像として表示装置16に向けて出力する。CPU12pはさらに、高度変更指示に応答して基準高度の大きさを変更する。
【効果】甲板および水面を跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
【選択図】図1
【効果】甲板および水面を跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
【選択図】図1
Description
この発明は、操縦支援装置に関し、特に、移動体の上方に設けられた複数のカメラからの出力に基づく複数の鳥瞰図画像を基準高度を参照して合成し、これによって生成された合成画像を表示装置から出力する、操縦支援装置に関する。
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、左前方の共通視野を部分的に捉える2個のカメラが、車両の前部および左側に設置される。これらのカメラからの出力画像は鳥瞰図画像に変換された後に互いに合成され、これによって共通視野画像を含む合成画像が作成される。
特開2008−48345号公報
しかし、背景技術は、移動体と外界とを跨ぐ視野で捉えられた被写界の鳥瞰図画像を合成することを想定しておらず、このような鳥瞰図画像に基づく合成画像の品質に限界がある。
それゆえに、この発明の主たる目的は、移動体と外界とを跨ぐ視野で捉えられた被写界を表す合成画像の品質を改善することができる、操縦支援装置を提供することである。
この発明に従う画像処理装置(10:実施例で相当する参照符号。以下同じ)は、移動体(100)および外界(WS)を跨ぐ視野(VW_1~VW_4)を各々が有するように移動体の上方の互いに異なる位置に設けられる複数のカメラ(C_1~C_4)、複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成手段(S7, S9)、合成手段によって作成された合成画像に表示処理を施す表示手段(S13)、および高度変更指示に応答して基準高度の大きさを変更する変更手段(S17)を備える。
複数のカメラは、移動体および外界を跨ぐ視野を各々が有するように、移動体の上方の互いに異なる位置に設けられる。合成手段は、複数のカメラからそれぞれ出力された複数の被写界像を、基準高度を参照して合成する。表示手段は、合成手段によって作成された合成画像に表示処理を施す。変更手段は、高度変更指示に応答して基準高度の大きさを変更する。
複数のカメラが互いに異なる位置に設けられることから、基準高度に存在する被写体を表す合成画像の品質を重視すると、基準高度と異なる高度に存在する被写体を表す合成画像の品質が低下する。
ただし、この発明では、基準高度の大きさが高度変更指示に応答して変更されるため、被写体が存在する注目平面に基準高度を合わせることで、注目平面を表す合成画像の品質の低下が回避される。つまり、基準高度の大きさを変更可能とすることで、移動体と外界とを跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
好ましくは、移動体は高度の増大に伴って減少する広さを有し、基準高度よりも大きい高度に対応する移動体の図形画像を合成手段によって作成された合成画像に多重する多重手段(S3, S11, S21)がさらに備えられ、表示手段は多重手段の多重処理の後に表示処理を実行する。
好ましくは、合成手段は複数の被写界像を基準高度に対応する複数の鳥瞰図画像に変換する変換手段(S7)を含む。
さらに好ましくは、複数のカメラの各々の視野は共通視野を有し、合成手段は変換手段によって変換された複数の鳥瞰図画像を共通視野において重複するように結合する結合手段をさらに含む(S9)。
好ましくは、移動体の移動速度および移動体の揺れの大きさの少なくとも1つを検出する第1検出手段(S37, S43)、および第1検出手段の検出結果を参照して高度変更指示を発行する第1発行手段(S41, S47)がさらに備えられる。
好ましくは、移動体は船舶に相当し、複数のカメラの各々の視野は船舶の甲板および水面を跨ぎ、変更手段は基準高度の大きさを甲板に相当する大きさと水面に相当する大きさとを含む複数の大きさの間で変更する。
さらに好ましくは、船舶が着岸/離岸操舵中のとき桟橋の高度を検出する第2検出手段(S33)、および第2検出手段の検出結果を参照して高度変更指示を発行する第2発行手段(S35)がさらに備えられる。
この発明に従う操縦支援プログラムは、移動体(100)および外界(WS)を跨ぐ視野(VW_1~VW_4)を各々が有するように移動体の上方の互いに異なる位置に設けられる複数のカメラ(C_1~C_4)を備える操縦支援装置(10)のプロセッサ(12p)に、複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ(S7, S9)、合成ステップによって作成された合成画像に表示処理を施す表示ステップ(S13)、および高度変更指示に応答して基準高度の大きさを変更する変更ステップ(S17)を実行させるための、操縦支援プログラムである。
この発明に従う操縦支援方法は、移動体(100)および外界(WS)を跨ぐ視野(VW_1~VW_4)を各々が有するように移動体の上方の互いに異なる位置に設けられる複数のカメラ(C_1~C_4)を備える操縦支援装置(10)によって実行される操縦支援方法であって、複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ(S7, S9)、合成ステップによって作成された合成画像に表示処理を施す表示ステップ(S13)、および高度変更指示に応答して基準高度の大きさを変更する変更ステップ(S17)を備える。
この発明によれば、基準高度の大きさが高度変更指示に応答して変更されるため、被写体が存在する注目平面に基準高度を合わせることで、注目平面を表す合成画像の品質の低下が回避される。つまり、基準高度の大きさを変更可能とすることで、移動体と外界とを跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1に示すこの実施例の操船支援装置10は、4個のカメラC_1〜C_4を含む。カメラC_1〜C_4はそれぞれ、共通のタイミング信号に同期して被写界像P_1〜P_4を1/30秒毎に出力する。出力された被写界像P_1〜P_4は、画像処理回路12によって取り込まれる。
操船支援装置10は、図2(A)〜図2(B)および図3(A)〜図3(B)に示す船舶100に搭載される。船舶100は、大まかには、船体102,船室104および船橋106によって構成される。船室104は船体102の上面ほぼ中央に箱型に形成され、船橋106は船室104の上面中央に箱形に形成される。船室104の広さは船体102の上面の広さよりも小さく、船橋106の広さもまた船室104の広さよりも小さい。このように、船舶100は、高度の増大に伴って減少する広さを有する。
カメラC_1は船橋106の外周前面の上端中央に設置され、カメラC_2は船橋106の外周右側面の上端中央に設置される。また、カメラC_3は船橋106の外周後面の上端中央に設置され、カメラC_4は船橋106の外周左側面の上端中央に設置される。カメラC_1の光軸は船橋106の前方向斜め下向きに延び、カメラC_2の光軸は船舶106の右方向斜め下向きに延びる。また、カメラC_3の光軸は船橋106の後方向斜め下向きに延び、カメラC_4の光軸は船舶100の左方向斜め下向きに延びる。
図4を参照して、カメラC_1は船橋106の前方を捉える視野VW_1を有し、カメラC_2は船橋106の右方を捉える視野VW_2を有し、カメラC_3は船橋106の後方を捉える視野VW_3を有し、そしてカメラC_4は船橋106の左方を捉える視野VW_4を有する。また、視野VW_1およびVW_2は共通視野VW_12を有し、視野VW_2およびVW_3は共通視野VW_23を有し、視野VW_3およびVW_4は共通視野VW_34を有し、そして視野VW_4およびVW_1は共通視野VW_41を有する。
視野VW_1は甲板DCK1の前部および船舶100の前方の水面(海面)WSを含み、視野VW_2は甲板DCK1の右部および船舶100の右方の水面WSを含む。また、視野VW_3は甲板DCK1の後部および船舶100の後方の水面WSを含み、視野VW_4は甲板DCK1の左部および船舶100の左方の水面WSを含む。つまり、甲板DCK1の状況および船舶100の周囲の水面WSの状況は、カメラC_1〜C_4によって把握される。
図1に戻って、画像処理回路12に設けられたCPU12pは、カメラC_1から出力された被写界像P_1に基づいて図5(A)に示す鳥瞰図画像BEV_1を生成し、カメラC_2から出力された被写界像P_2に基づいて図5(B)に示す鳥瞰図画像BEV_2を生成する。CPU12pはまた、カメラC_3から出力された被写界像P_3に基づいて図5(C)に示す鳥瞰図画像BEV_3を生成し、カメラC_4から出力された被写界像P_4に基づいて図5(D)に示す鳥瞰図画像BEV_4を生成する。
鳥瞰図画像BEV_1は視野VW_1を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像BEV_2は視野VW_2を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰図画像BEV_3は視野VW_3を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像BEV_4は視野VW_4を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
図5(A)〜図5(D)によれば、鳥瞰図画像BEV_1は鳥瞰図座標系X1・Y1を有し、鳥瞰図画像BEV_2は鳥瞰図座標系X2・Y2を有し、鳥瞰図画像BEV_3は鳥瞰図座標系X3・Y3を有し、そして鳥瞰図画像BEV_4は鳥瞰図座標系X4・Y4を有する。
このような鳥瞰図画像BEV_1〜BEV_4の各々を作成するにあたっては、操作パネル18の操作によって指定された基準高度が参照される。つまり、操作パネル18が操作されると、所望の高度が記述された高度変更指示が発行され、CPU12pは高度変更指示に記述された高度を基準高度として鳥瞰図画像BEV_1〜BEV_4を作成する。
上述のように、視野VW_1〜VW4の各々は、甲板DCK1および水面WSのような互いに異なる高度に存在する被写体を含む。甲板DCK1の高度が基準高度として指定された場合、鳥瞰図画像BEV_1〜BEV_4は、甲板DCK1の表面が高さ方向の原点(後述する原点Ow)であるとの想定の下で作成される。これに対して、水面WSの高度が基準高度として指定された場合、鳥瞰図BEV_1〜BEV_4は、水面WSが高さ方向の原点であるとの想定の下で作成される。こうして作成された鳥瞰図画像BEV_1〜BEV_4は、メモリ12mのワークエリアW1に保持される。
CPU12pは続いて、鳥瞰図画像BEV_1〜BEV4を座標変換によって互いに結合する。鳥瞰図画像BEV_2〜BEV_4は鳥瞰図画像BEV_1を基準として回転および/または移動し、この結果、図6に示す全周鳥瞰図画像がメモリ12mのワークエリアW2内に得られる。
図6において、重複エリアOL_12が共通視野VW_12を再現するエリアに相当し、重複エリアOL_23が共通視野VW_23を再現するエリアに相当する。また、重複エリアOL_34が共通視野VW_34を再現するエリアに相当し、そして重複エリアOL_41が共通視野VW_41を再現するエリアに相当する。
CPU12pはその後、船舶100の上部を模したグラフィック画像G1またはG2をワークエリアW2上の全周鳥瞰図画像の中央に多重し、重複エリアOL_12〜OL_41が四隅に位置する一部の画像を切り出す。切り出された画像は、船橋106内に設置された表示装置16に操船支援画像として与えられる。グラフィック画像G1が多重されたときは図7(A)に示す操船支援画像が表示装置16から出力され、グラフィック画像G2が多重されたときは図7(B)に示す操船支援画像が表示装置16から出力される。
グラフィック画像G1は、船体102(つまり甲板DCK1,船室104および船橋106)を上方から模した画像に相当する。また、グラフィック画像G2は、船室104および船橋106のみを上方から模した画像に相当する。グラフィック画像G1は、操作パネル18によって設定された基準高度が甲板DCK1の高度よりも低いときに選択され、グラフィック画像G2は、操作パネル18によって設定された基準高度が甲板DCK1の高度以上のときに選択される。
船舶100を桟橋LPに着岸させるとき、操船支援画像は図8(A)〜図8(D)に示す要領で変化する。ここでは、高度が甲板DCK1→桟橋LP→水面WSの順で低下することを前提とし、さらに、着岸のための操舵中は桟橋LPの高度が基準高度とされる一方、着岸の後は甲板DCK1の高度が基準高度とされることを前提とする。
操舵が行われている状態では、グラフィック画像G1がモニタ画面の中央に表示され、桟橋LPおよび水面WSを表す実画像がグラフィック画像G1の周囲に表示される(図8(A)〜図8(B)参照)。桟橋LPを表す実画像は、操舵とともにグラフィック画像G1に近づく。ただし、操舵中の基準高度は桟橋LPの高度に合わせられるため、水面WSを表す実画像の結合部分にズレが生じる。
船舶100が桟橋LPに着岸すると、グラフィック画像G1がグラフィック画像G2によって更新され、甲板DCK1,桟橋LPおよび水面WSを表す実画像がグラフィック画像G2の周囲に表示される(図8(C)〜図8(D)参照)。ただし、着岸後の基準高度は甲板DCK1の高度に合わせられるため、桟橋LPを表す実画像の結合部分ならびに水面WSを表す実画像の結合部分にズレが生じる。
鳥瞰図画像BEV_1〜BEV_4は、次の要領で作成される。なお、鳥瞰図画像BEV_1〜BEV_4はいずれも同じ要領で作成されるため、鳥瞰図画像BEV_1〜BEV_4を代表して鳥瞰図画像BEV3の作成要領を説明する。
図9を参照して、カメラC_3は、船橋106の外周後面の上端中央に、後方斜め下向きに配置される。カメラC_3の俯角を“θd”とすると、図8に示す角度θは“180°−θd”に相当する。また、角度θは、90°<θ<180°の範囲で定義される。
図9は、カメラ座標系X・Y・Zと、カメラC_3の撮像面Sの座標系Xp・Ypと、世界座標系Xw・Yw・Zwとの関係を示す。カメラ座標系X・Y・Zは、X軸,Y軸およびZ軸を座標軸とする三次元の座標系である。座標系Xp・Ypは、Xp軸およびYp軸を座標軸とする二次元の座標系である。世界座標系Xw・Yw・Zwは、Xw軸,Yw軸およびZw軸を座標軸とする三次元の座標系である。
カメラ座標系X・Y・Zでは、カメラC3の光学的中心を原点Oとして、光軸方向にZ軸が定義され、Z軸に直交しかつ地面に平行な方向にX軸が定義され、そしてZ軸およびX軸に直交する方向にY軸が定義される。撮像面Sの座標系Xp・Ypでは、撮像面Sの中心を原点として、撮像面Sの横方向にXp軸が定義され、撮像面Sの縦方向にYp軸が定義される。
世界座標系Xw・Yw・Zwでは、カメラ座標系XYZの原点Oを通る鉛直線と基準高度面との交点を原点Owとして、基準高度面と垂直な方向にYw軸が定義され、カメラ座標系X・Y・ZのX軸と平行な方向にXw軸が定義され、そしてXw軸およびYw軸に直交する方向にZw軸が定義される。また、Xw軸からX軸までの距離は“h”であり、Zw軸およびZ軸によって形成される鈍角が上述の角度θに相当する。
カメラ座標系X・Y・Zにおける座標を(x,y,z)と表記した場合、“x”,“y”および“z”はそれぞれ、カメラ座標系X・Y・ZにおけるX軸成分,Y軸成分およびZ軸成分を示す。撮像面Sの座標系Xp・Ypにおける座標を(xp,yp)と表記した場合、“xp”および“yp”はそれぞれ、撮像面Sの座標系Xp・YpにおけるXp軸成分およびYp軸成分を示す。世界座標系Xw・Yw・Zwにおける座標を(xw,yw,zw)と表記した場合、“xw”,“yw”および“zw”はそれぞれ、世界座標系Xw・Yw・ZwにおけるXw軸成分,Yw軸成分およびZw軸成分を示す。
また、図5(C)に示す鳥瞰図画像BEV_3の座標系である鳥瞰図座標系X3・Y3が定義される。鳥瞰図座標系X3・Y3は、X3軸及びY3軸を座標軸とする二次元の座標系である。鳥瞰図座標系X3・Y3における座標を(x3,y3)と表記した場合、鳥瞰図画像BEV_3を形成する各画素の位置は座標(x3,y3)によって表される。“x3”および“y3”はそれぞれ、鳥瞰図座標系X3・Y3におけるX3軸成分およびY3軸成分を示す。
基準高度面を表す二次元座標系Xw・Zwから鳥瞰図座標系X3・Y3への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“H”とすると、二次元座標系Xw・Zwの座標(xw,zw)と鳥瞰図座標系X3・Y3の座標(x3,y3)との間の変換式は、数4で表される。仮想カメラの高さHは予め決められている。
さらに、数4に基づいて数5が得られ、数5および数3に基づいて数6が得られ、そして数6に基づいて数7が得られる。数7は、撮像面Sの座標系Xp・Ypの座標(xp,yp)を鳥瞰図座標系X3・Y3の座標(x3,y3)に変換するための変換式に相当する。
撮像面Sの座標系Xp・Ypの座標(xp,yp)は、カメラC_3によって捉えられた被写界像P_3の座標を表す。したがって、カメラC_3からの被写界像P_3は、数7を用いることによって鳥瞰図画像BEV_3に変換される。実際には、被写界像P_3はまずレンズ歪み補正などの画像処理を施され、その後に数7によって鳥瞰図画像BEV_3に変換される。
CPU12pは、具体的には図11〜図12に示す画像処理タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ14(図1参照)に記憶される。
まずステップS1で基準高度を水面WSの高度に設定し、多重すべきグラフィック画像をステップS3で“G1”に設定する。ステップS5ではカメラC_1〜C_4から被写界像P_1〜P_4をそれぞれ取り込み、ステップS7では取り込まれた被写界像P_1〜P_4に基づいて鳥瞰図画像BEV_1〜BEV_4を作成する。ステップS7の処理ではステップS1または後述するステップS17で指定された基準高度が参照され、作成された鳥瞰図画像BEV_1〜BEV_4はワークエリアW1に確保される。
ステップS9では、ステップS7に作成された鳥瞰図画像BEV_1〜BEV_4を合成して全周鳥瞰図画像を作成し、作成された全周鳥瞰図画像をワークエリアW2に確保する。ステップS11では、ワークエリアW2に確保された全周鳥瞰図画像の中心に、ステップS1または後述するステップS21で選択されたグラフィック画像を多重する。ステップS13では、グラフィック画像が多重された全周鳥瞰図画像の一部をワークエリアW2から切り出し、切り出された画像を操船支援画像として表示装置16に向けて出力する。
ステップS15では高度変更指示が発行されたか否かを判別し、NOであればそのままステップS5に戻る一方、YESであればステップS17で基準高度を高度変更指示に従って変更する。ステップS19では変更後の基準高度が甲板DCK1の高度以上であるか否かを判別し、NOであればそのままステップS5に戻る一方、YESであれば多重すべきグラフィック画像をステップS21で“G2”に変更してからステップS5に戻る。
以上の説明から分かるように、カメラC_1〜C_4は、甲板DCK1および水面WSを跨ぐ視野を各々が有するように、船橋106の互いに異なる位置に設けられる。CPU12pは、カメラC_1〜C_4からそれぞれ出力された被写界像P_1〜P_4を、基準高度を参照して合成する(S7, S9)。船舶100は高度の増大に伴って減少する広さを有し、CPU12pは、基準高度よりも大きい高度に対応するグラフィック画像(船舶100の図形画像)を、合成処理によって作成された全周鳥瞰図画像に多重する(S3, S11, S21)。CPU12pはまた、グラフィック画像が多重された全周鳥瞰図画像の一部を、操船支援画像として表示装置16に向けて出力する(S13)。CPU12pはさらに、高度変更指示に応答して基準高度の大きさを変更する(S17)。
カメラC_1〜C_4が互いに異なる位置に設けられることから、基準高度に存在する被写体を表す合成画像の品質を重視すると、基準高度と異なる高度に存在する被写体を表す合成画像の品質が低下する。
ただし、この実施例では、基準高度の大きさが高度変更指示に応答して変更されるため、被写体が存在する注目平面に基準高度を合わせることで、注目平面を表す合成画像の品質の低下が回避される。つまり、基準高度の大きさを変更可能とすることで、甲板DCK1および水面WSを跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
なお、この実施例では、高度変更指示は操作パネル18の操作によって発行され、基準高度はこうして発行された高度変更指示に従って変更される。しかし、船舶100の移動速度を検知する速度センサ20,船舶100の揺れを検知する揺れセンサ22,船舶100の現在位置を検出するGPS装置24および高度を含む地図情報が保存されたデータベースDBを図13に示すように追加し、速度センサ20,揺れセンサ22またはGPS装置24の出力に基づいて高度変更指示を追加的に発行するようにしてもよい。この場合、好ましくは、CPU12pは、図14に示す切換え制御タスクをさらに実行する。
まずステップS31で船舶100が着岸または離岸のために操舵中であるか否かをGPS装置24および速度センサ20の出力に基づいて判別する。ここでNOであればそのままステップS37に進む一方、YESであればステップS33〜S35を経てステップS37に進む。ステップS33では、GPS装置24の出力とデータベースDBに保存された地図情報とに基づいて、桟橋LPの高度を検出する。また、ステップS35では、検出された桟橋LPの高度を記述した高度変更指示を発行する。
ステップS37では、速度センサ20によって検知された船舶100の移動速度が高速であるか否か(移動速度が基準を上回るか否か)を判別する。ステップS43では、揺れセンサ22によって検出された船舶100の揺れが大きいか否か(揺れが基準を上回るか 否か)を判別する。
ステップS37でYESであれば、現時点の基準高度が水面WSの高度に相当するか否かをステップS39で判別する。ここでYESであればそのままステップS31に戻る一方、NOであれば水面WSの高度が記述された高度変更指示をステップS41で発行してからステップS31に戻る。
ステップS43でYESであれば、現時点の基準高度が甲板DCK1の高度に相当するか否かをステップS45で判別する。ここでYESであればそのままステップS31に戻る一方、NOであれば甲板DCK1の高度が記述された高度変更指示をステップS47で発行してからステップS31に戻る。なお、ステップS37およびS43のいずれもNOであれば、そのままステップS31に戻る。
したがって、着岸または離岸のための操舵中は、桟橋LPを基準高度として作成された全周鳥瞰図画像の中心にグラフィック画像G1が多重される。また、高速移動時は、水面WSを基準高度として作成された全周鳥瞰図画像の中心にグラフィック画像G1が多重される。さらに、停船または低速移動時に揺れが生じると、甲板DCK1を基準高度として作成された全周鳥瞰図画像の中心にグラフィック画像G2が多重される。これによって、操縦性が向上する。
また、図1〜図12実施例では、カメラC_1〜C_4を船橋106の外周面の上端に配置するようにしているが、図15(A)〜図15(B)に示すような船舶200を準備し、カメラC_1は船首に斜め下向きに配置し、カメラC_2を船橋206の右斜め前方に斜め下向き配置し、カメラC_3を船橋206の後方に斜め下向き配置し、そしてカメラC_4を船橋206の左斜め前方に斜め下向き配置するようにしてもよい。この場合、視野VW_1〜VW_4は図16に示す要領で分布する。
カメラC_1を船首に配置することで、船首の下方に死角が生じる事態が回避される。また、カメラC_2およびC_4を船橋206の右斜め前方および左斜め前方に配置することで、甲板DCK2が漏れなく捉えられる。
さらに、この実施例では、船舶100を模したグラフィック画像G1またはG2を全周鳥瞰図画像に多重するようにしている。しかし、図17に示すように、魚群探知機28によって作成された魚影情報や水深センサ30によって検知された水深情報などの周辺環境情報を追加的に取り込み、取り込まれた周辺環境情報に基づく画像を全周鳥瞰図画像に多重するようにしてもよい。
この場合、好ましくは、CPU12pは、画像処理タスクにおいて図18に示すステップS51〜S57の処理を追加的に実行する。ステップS11の処理が完了すると、ステップS51で魚群探知機28から魚影情報を取り込み、取り込まれた魚影情報に基づく魚影画像をステップS53で全周鳥瞰図画像に多重する。続いて、ステップS55で水深センサ30から水深情報を取り込み、水深を示すキャラクタをステップS57で全周鳥瞰図画像に多重する。ステップS57の処理が完了すると、ステップS13に進む。このような処理を追加することで、娯楽性が向上する。
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列(座標変換行列)をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
10 …操船支援装置
C1〜C4 …カメラ
12 …画像処理回路
12p …CPU
12m …メモリ
14 …フラシュメモリ
16 …表示装置
100,200 …船舶
C1〜C4 …カメラ
12 …画像処理回路
12p …CPU
12m …メモリ
14 …フラシュメモリ
16 …表示装置
100,200 …船舶
Claims (9)
- 移動体および外界を跨ぐ視野を各々が有するように前記移動体の上方の互いに異なる位置に設けられる複数のカメラ、
前記複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成手段、
前記合成手段によって作成された合成画像に表示処理を施す表示手段、および
高度変更指示に応答して前記基準高度の大きさを変更する変更手段を備える、操縦支援装置。 - 前記移動体は高度の増大に伴って減少する広さを有し、
前記基準高度よりも大きい高度に対応する前記移動体の図形画像を前記合成手段によって作成された合成画像に多重する多重手段をさらに備え、
前記表示手段は前記多重手段の多重処理の後に前記表示処理を実行する、請求項1記載の操縦支援装置。 - 前記合成手段は前記複数の被写界像を前記基準高度に対応する複数の鳥瞰図画像に変換する変換手段を含む、請求項1または2記載の操縦支援装置。
- 前記複数のカメラの各々の視野は共通視野を有し、
前記合成手段は前記変換手段によって変換された複数の鳥瞰図画像を前記共通視野において重複するように結合する結合手段をさらに含む、請求項3記載の操縦支援装置。 - 前記移動体の移動速度および前記移動体の揺れの大きさの少なくとも1つを検出する第1検出手段、および
前記第1検出手段の検出結果を参照して前記高度変更指示を発行する第1発行手段をさらに備える、請求項1ないし4のいずれかに記載の操縦支援装置。 - 前記移動体は船舶に相当し、
前記複数のカメラの各々の視野は前記船舶の甲板および水面を跨ぎ、
前記変更手段は前記基準高度の大きさを前記甲板に相当する大きさと前記水面に相当する大きさとを含む複数の大きさの間で変更する、請求項1ないし5のいずれかに記載の送受支援装置。 - 前記船舶が着岸/離岸操舵中のとき桟橋の高度を検出する第2検出手段、および
前記第2検出手段の検出結果を参照して前記高度変更指示を発行する第2発行手段をさらに備える、請求項6記載の操縦支援装置。 - 移動体および外界を跨ぐ視野を各々が有するように前記移動体の上方の互いに異なる位置に設けられる複数のカメラを備える操縦支援装置のプロセッサに、
前記複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ、
前記合成ステップによって作成された合成画像に表示処理を施す表示ステップ、および
高度変更指示に応答して前記基準高度の大きさを変更する変更ステップを実行させるための、操縦支援プログラム。 - 移動体および外界を跨ぐ視野を各々が有するように前記移動体の上方の互いに異なる位置に設けられる複数のカメラを備える操縦支援装置によって実行される操縦支援方法であって、
前記複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ、
前記合成ステップによって作成された合成画像に表示処理を施す表示ステップ、および
高度変更指示に応答して前記基準高度の大きさを変更する変更ステップを備える、操縦支援方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008203735A JP2010041530A (ja) | 2008-08-07 | 2008-08-07 | 操縦支援装置 |
US12/680,772 US20100225761A1 (en) | 2008-08-07 | 2009-06-06 | Maneuvering Assisting Apparatus |
EP09804827A EP2196388A1 (en) | 2008-08-07 | 2009-06-26 | Maneuver support apparatus |
PCT/JP2009/061677 WO2010016340A1 (ja) | 2008-08-07 | 2009-06-26 | 操縦支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008203735A JP2010041530A (ja) | 2008-08-07 | 2008-08-07 | 操縦支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010041530A true JP2010041530A (ja) | 2010-02-18 |
Family
ID=41663563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008203735A Withdrawn JP2010041530A (ja) | 2008-08-07 | 2008-08-07 | 操縦支援装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20100225761A1 (ja) |
EP (1) | EP2196388A1 (ja) |
JP (1) | JP2010041530A (ja) |
WO (1) | WO2010016340A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015044449A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社新来島どっく | 自動車運搬船の操舵室構造 |
JP2016080698A (ja) * | 2014-10-17 | 2016-05-16 | 日本無線株式会社 | 画像生成装置 |
JP2019512423A (ja) * | 2016-03-31 | 2019-05-16 | エー・ピー・モラー−マースク エー/エス | コンテナ船 |
JP2019186869A (ja) * | 2018-04-17 | 2019-10-24 | 株式会社ザクティ | 船舶の撮影装置およびその校正方法 |
JP2020150459A (ja) * | 2019-03-14 | 2020-09-17 | 株式会社ザクティ | 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法 |
JP2020152180A (ja) * | 2019-03-19 | 2020-09-24 | ヤマハ発動機株式会社 | 船舶および船舶用撮像装置 |
JP2020155893A (ja) * | 2019-03-19 | 2020-09-24 | ヤマハ発動機株式会社 | 船舶用の表示装置、船舶および船舶用の画像表示方法 |
US11059549B2 (en) | 2019-03-19 | 2021-07-13 | Yamaha Hatsudoki Kabushiki Kaisha | Marine vessel and marine vessel operation support device |
JPWO2020075429A1 (ja) * | 2018-10-09 | 2021-09-02 | 古野電気株式会社 | 周辺監視装置及び周辺監視方法 |
KR20210136806A (ko) * | 2020-05-08 | 2021-11-17 | 주식회사 아비커스 | 선박 운항 지원 시스템 및 이를 포함하는 선박 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110279673A1 (en) * | 2007-11-28 | 2011-11-17 | Flir Systems, Inc. | Maritime controls systems and methods |
US10157452B1 (en) * | 2015-09-28 | 2018-12-18 | Amazon Technologies, Inc. | Image processing system for image rectification |
EP3206184A1 (en) | 2016-02-11 | 2017-08-16 | NXP USA, Inc. | Apparatus, method and system for adjusting predefined calibration data for generating a perspective view |
JP2019092002A (ja) | 2017-11-13 | 2019-06-13 | ヤマハ発動機株式会社 | 船舶用俯瞰画像生成装置およびそのキャリブレーション方法 |
WO2020071839A1 (ko) * | 2018-10-04 | 2020-04-09 | 씨드로닉스㈜ | 선박 및 항만 모니터링 장치 및 방법 |
JP2020161886A (ja) * | 2019-03-25 | 2020-10-01 | 株式会社ザクティ | 船舶の周辺確認システム |
KR102052013B1 (ko) * | 2019-06-12 | 2019-12-04 | 한국해양과학기술원 | 선박용 카메라 영상 합성 시스템 및 선박용 카메라 교정방법 |
KR102527496B1 (ko) | 2022-11-04 | 2023-05-02 | 한국해양과학기술원 | 극지 운항 선박의 통합 상태 모니터링 시스템 및 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0431098U (ja) * | 1990-07-09 | 1992-03-12 | ||
KR20020033816A (ko) * | 2000-07-19 | 2002-05-07 | 마츠시타 덴끼 산교 가부시키가이샤 | 감시시스템 |
JP3753681B2 (ja) * | 2000-07-19 | 2006-03-08 | 松下電器産業株式会社 | 監視システム |
JP4214219B2 (ja) * | 2002-11-26 | 2009-01-28 | 独立行政法人海上技術安全研究所 | 離接岸用操船支援装置 |
US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
JP4596978B2 (ja) * | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
JP4709684B2 (ja) * | 2006-04-13 | 2011-06-22 | 隼馬 今津 | 相手船動静監視装置 |
JP4248570B2 (ja) | 2006-08-21 | 2009-04-02 | 三洋電機株式会社 | 画像処理装置並びに視界支援装置及び方法 |
JP2008187566A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
-
2008
- 2008-08-07 JP JP2008203735A patent/JP2010041530A/ja not_active Withdrawn
-
2009
- 2009-06-06 US US12/680,772 patent/US20100225761A1/en not_active Abandoned
- 2009-06-26 EP EP09804827A patent/EP2196388A1/en not_active Withdrawn
- 2009-06-26 WO PCT/JP2009/061677 patent/WO2010016340A1/ja active Application Filing
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015044449A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社新来島どっく | 自動車運搬船の操舵室構造 |
JP2016080698A (ja) * | 2014-10-17 | 2016-05-16 | 日本無線株式会社 | 画像生成装置 |
JP2019512423A (ja) * | 2016-03-31 | 2019-05-16 | エー・ピー・モラー−マースク エー/エス | コンテナ船 |
JP2019186869A (ja) * | 2018-04-17 | 2019-10-24 | 株式会社ザクティ | 船舶の撮影装置およびその校正方法 |
JPWO2020075429A1 (ja) * | 2018-10-09 | 2021-09-02 | 古野電気株式会社 | 周辺監視装置及び周辺監視方法 |
JP7346436B2 (ja) | 2018-10-09 | 2023-09-19 | 古野電気株式会社 | 周辺監視装置及び周辺監視方法 |
JP2020150459A (ja) * | 2019-03-14 | 2020-09-17 | 株式会社ザクティ | 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法 |
JP7317531B2 (ja) | 2019-03-14 | 2023-07-31 | ヤマハ発動機株式会社 | 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法 |
JP2020155893A (ja) * | 2019-03-19 | 2020-09-24 | ヤマハ発動機株式会社 | 船舶用の表示装置、船舶および船舶用の画像表示方法 |
US11691697B2 (en) | 2019-03-19 | 2023-07-04 | Yamaha Hatsudoki Kabushiki Kaisha | Marine vessel and marine vessel imaging device |
US11059549B2 (en) | 2019-03-19 | 2021-07-13 | Yamaha Hatsudoki Kabushiki Kaisha | Marine vessel and marine vessel operation support device |
JP2020152180A (ja) * | 2019-03-19 | 2020-09-24 | ヤマハ発動機株式会社 | 船舶および船舶用撮像装置 |
KR20210136806A (ko) * | 2020-05-08 | 2021-11-17 | 주식회사 아비커스 | 선박 운항 지원 시스템 및 이를 포함하는 선박 |
KR102428886B1 (ko) * | 2020-05-08 | 2022-08-04 | 주식회사 아비커스 | 선박 운항 지원 시스템 및 이를 포함하는 선박 |
Also Published As
Publication number | Publication date |
---|---|
EP2196388A1 (en) | 2010-06-16 |
WO2010016340A1 (ja) | 2010-02-11 |
US20100225761A1 (en) | 2010-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010016340A1 (ja) | 操縦支援装置 | |
JP2010093605A (ja) | 操縦支援装置 | |
JP6388176B2 (ja) | 画像表示装置及び画像表示方法 | |
JP5120880B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4744823B2 (ja) | 周辺監視装置および俯瞰画像表示方法 | |
WO2010119734A1 (ja) | 画像処理装置 | |
US11415991B2 (en) | Image generating device and image generating method | |
JP2002209208A (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
JP2006287892A (ja) | 運転支援システム | |
JP2010109452A (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
JP2008172535A (ja) | 運転支援システム、画像処理装置及びずれ検出方法 | |
JP2008187564A (ja) | カメラ校正装置及び方法並びに車両 | |
JP5178454B2 (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
JP2010141836A (ja) | 障害物検知装置 | |
JP2008181330A (ja) | 画像処理装置及び画像処理方法 | |
JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP2009239754A (ja) | 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法 | |
JP2007150658A (ja) | 車載周辺画像表示装置 | |
JP2010258691A (ja) | 操縦支援装置 | |
JP5235127B2 (ja) | 遠隔操作システムおよび遠隔操作装置 | |
JP5861871B2 (ja) | 俯瞰画像提示装置 | |
JP2011114536A (ja) | 車両周辺画像提供装置 | |
JP2020132091A (ja) | 船舶の撮影装置、および該撮影装置を有する船舶 | |
JP2009205522A (ja) | プログラム、情報記憶媒体、情報変換システム | |
JP2010130413A (ja) | 周辺状況表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111101 |