JP2008141643A - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP2008141643A JP2008141643A JP2006327935A JP2006327935A JP2008141643A JP 2008141643 A JP2008141643 A JP 2008141643A JP 2006327935 A JP2006327935 A JP 2006327935A JP 2006327935 A JP2006327935 A JP 2006327935A JP 2008141643 A JP2008141643 A JP 2008141643A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- plane
- curved
- virtual stereoscopic
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims description 89
- 238000003384 imaging method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 abstract description 26
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 abstract description 11
- 240000004050 Pentaglottis sempervirens Species 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 6
- 230000002040 relaxant effect Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000001444 catalytic combustion detection Methods 0.000 description 161
- 238000000034 method Methods 0.000 description 42
- 239000013598 vector Substances 0.000 description 32
- 238000010586 diagram Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 22
- 238000013507 mapping Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】リアカメラ1とは異なる位置に設定した仮想カメラ8と、リアカメラ1により映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、リアカメラ1のカメラ映像データからモニタ3に映し出すモニタ画像データを生成する画像生成装置において、仮想立体スクリーン設定手段と仮想立体CCD設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、曲面化仮想立体面を用いた視点変換により、リアカメラ1のカメラ映像データからモニタ3に映し出すモニタ画像データを生成する手段とした。
【選択図】図1
Description
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面の接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、
前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする。
このように、視点変換により実カメラにより取得したカメラ映像データからモニタ画像データを生成するものである。このため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
さらに、仮想カメラから仮想立体投影面を見たとき、仮想立体撮像面の近景用撮像面に投影される画像は近景を上から眺めた俯瞰画像となる。また、仮想カメラから仮想立体投影面を見たとき、仮想立体撮像面の遠景用撮像面に投影される画像は遠景を眺めたパース画像となる。しかも、仮想立体投影面と仮想立体撮像面のうち、少なくとも一方は近景面と遠景面の接合域を曲面により滑らかにつないだ曲面化仮想立体面に設定されているため、俯瞰表示とパース表示の接合領域での急激な幾何学的変化が緩和される。つまり、曲面化仮想立体面を用いた視点変換により生成されるモニタ画像データは、近景の俯瞰表示と遠景のパース表示とをシームレスに接合するデータであるばかりでなく、近景の俯瞰表示と遠景のパース表示を滑らかに繋ぐように表示するデータとなる。
この結果、演算処理を簡単にしながら、近景の俯瞰表示と遠景のパース表示をシームレスに接合すると共に、俯瞰表示とパース表示の接合領域での急激な幾何学的変化を緩和することで、違和感を与えない滑らかなモニタ画像データを生成することができる。
図1は実施例1の車両のリアカメラに適用された画像生成装置を示す全体システム図である。図2は実施例1の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
実施例1は、視点変換手法に基づき作成したマッピングテーブルを予めROM23に記憶設定しておき、カメラ映像データをモニタ3に映し出すモニタ画像データとするために座標変換処理を行うようにした例である。しかし、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するようなシステムとした場合、このRAM24に、各画素等の座標変換式を記憶設定しておく。
・仮想撮像面(CCD)を立体化すると共に曲面化する。
・仮想投影面(スクリーン)を立体化すると共に曲面化する。
・曲面化形状(円筒半径)を制御することで見え方を制御する。
ことにある。
以下、実施例1の画像生成装置における作用として、[カメラ映像データからのモニタ映像生成作用]、[円筒半径の調整によるモニタ映像制御作用]、[円筒モデルを用いた視点変換手法]について説明する。
実施例1の画像生成装置にあっては、仮想立体スクリーンと仮想立体CCDのうち、その両方を共に曲面化仮想立体スクリーン7と曲面化仮想立体CCD9とし、この曲面化仮想立体スクリーン7と曲面化仮想立体CCD9を用いた視点変換により、リアカメラ1のカメラ映像データからモニタ3に映し出すモニタ画像データが生成される。
また、仮想カメラ8から曲面化仮想立体スクリーン7を見たとき、曲面化仮想立体CCD9の遠景用CCD92に投影される画像は遠景を眺めたパース画像となる。
実施例1の画像生成装置にあっては、運転者等による外部からの設定操作により、一部円筒曲面73,93の仮想的な円筒の半径R1,R2を、曲面化仮想立体スクリーン7と曲面化仮想立体CCD9との相似形を保つように同期して変化させる円筒半径調整操作ダイアル43を設けている。
実施例1の画像生成装置における相互変換処理の全体像を図6に示す。なお、図6は、カメラ:CC-445(クラリオン製)、デコーダ:PCCAP(I/Oデータ製)、を用いた場合の実施例を示している。
この一連の処理では、ピンホールカメラを前提とした変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図6内の矢印で示す6つの変換、すなわち、
・デコーダ間変換、
・y軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。
なお、二平面モデルによる視点変換手法については、本出願人が先に出願した特願2006−260425号の明細書の記載に譲るものとし、ここでは、円筒モデルを用いた視点変換手法について説明する。
二平面モデルによる視点変換手法において、二平面のつなぎ目をなめらかに処理する目的で、円筒型の仮想スクリーンを用いる手法について説明する。
図2が円筒型スクリーンを用いた概念図である。二平面モデルのつなぎ目に円筒の一部を切り出しあてがい、平面のつなぎ目は仮想カメラから見えないようにしている。同時に仮想CCDのつなぎ目もなめらかにしている。実際にはスクリーンあるいはCCDどちらか一方をなめらかにつなぐことで、得られる画像は相当程度滑らかになるため、両方とも曲面化する必要があるかは生成された映像を見て判断をすることになる。なお、実カメラは二平面モデルと同様であり、ここには示していない。
1. 原点を中心としてz軸及びy軸回転
2. 平行移動
の2段階処理により図7のように二平面のつなぎ目に合わせる。これら処理を施した円筒を「実円筒」と名付ける。したがって、本説明で扱う円筒の数学的な表記は、
・回転行列
・平行移動ベクトル
が基本となる。これに平面とのつなぎ目(或いは円筒の切り出し)位置として、
・接触角度(始点及び終点)
を付与して、切り出す円筒を定義する。詳細は3.2節で示す。
3.1 基本円筒とターゲット円筒の相互変換
3.1.1 実円筒の主軸
まず、ここでは前節で述べた回転処理及び平行移動処理について論じる。最初に示すのは実円筒の主軸である。なお、本説明では直線表現は、方向ベクトルdを、定点ベクトルPoをとした場合、
実円筒の主軸が定まったため、図9に示すような基本円筒の主軸を実円筒の主軸へ変換するための回転行列Rを求めることができる。具体的に実円筒の主軸方向が、
主軸の回転が決定できれば、次の問題は、基本円筒の原点を主軸線のどこに移動させるかという問題が残る。3.1.1節では、原点に最も近い位置を代表点Poとした。しかし後での便宜を考えれば、仮想カメラ位置vcに最も近い点を代表点とし、これを基本円筒空間の原点に対応させておくのが便利である。以下で例示するのはその手順である。
主軸上の任意の点pは前出の値と、媒介変数tにより、
これまでに得られた式を用いて、基本円筒とターゲット円筒の変換をまとめると次式のようになる。なお、円筒のスケール、即ち半径はこの変換では変化せず維持されている。
本節では平面に挟まれた円筒が平面と接している角度を求める(図10)。最初に実円筒の主軸上の任意点から各平面への垂線ベクトルを求めるが、大きさを無視すればこれらは各平面の法線ベクトルに平行で、反対向きになっているハズである。従って、各平面の法線ベクトルを式19或いは式20を利用して変換し、向きを反転させれば基本円筒空間内での方向ベクトルになる。このベクトルが基本円筒の有効領域切り出し条件を与える。具体的には、垂線ベクトルの方向は、
・二平面の法線ベクトルと代表点
・円筒の半径
である。
3.3.1 基本円筒の表現
本説明では、基本円筒は唯一、
任意の点(x,y,z)から円筒へ降ろす垂線はyz面に平行な面に含まれ、円筒の表面、
基本円筒空間内で直線が下記の式で与えられたとき、
直線と円筒が交わらないとき、円筒に最も近い直線上の点は式26において以下の媒介変数tで与えられる。
円筒表面上の任意の点を指定するためのuvマップについて、以下に2つの手法を示す。なお、標準的なuvマップとして、図11に示すように、x軸方向をu方向、yz平面内での円筒表面に沿った方向をv方向とする。このように設定した場合、u値は基本的にx値と同値と考えてよく、v値の値とyz値との変換が検討対象である。ただし、本来uv空間はxyz空間と独立しており、u値とx値が同値とはいっても、スケールの互換保証はないものとする。例えばuv値は無次元で、xyz値はメートル単位でもよい。
xyz空間でのuv値のスケール(基本長さ)をそれぞれ{uo,vo}xyzとした場合は、(uv)->(x,y,z)変換は、図11の場合、
二平面のつなぎ目補間のという目的で考えると、あらかじめ各平面で決められたuv値とスムーズにつながるように円筒表面にuvマッピングをしたい(図12参照)。その場合は、
4.1 立体スクリーンモデル
4.1.1 円筒の回転と平行移動
図13において平面1、2を具体的に、
3.2節の論に従い基本円筒空間内で主軸上の点から各平面への垂線ベクトルを求めると、
4.2.1 立体CCDの設定
ここではCCD形状を図13のようにし、CCD面の定義を、
これは、別の言い方をすれば、
条件1) vcを通り{CCD1,CCD2}で張られる平面上の点
条件2) 視線ベクトル(p2_CCD-Vc)がxz平面(0,-1,0)となす角度が(π/2)-θvc
ということである。さらに、単平面CCDの概念であった焦点距離は、立体CCDでは、
条件3) 焦点距離fはp2_CCD-Vcの長さ
と定義する。これら各条件を式化すると以下のようになる。
4.1.2節と同じように考えて、基本円筒空間内での各CCDの垂線ベクトルは、
4.2.3.1 二平面上のuvマップ
二平面モデルを基本とするため、まず図15に示す二平面モデルについて記述する。
仮想カメラCCD面内の点pvcはCCD内部座標を(u,v)として、
二平面モデルに4.2.1節で論じた円筒CCDを取り入れるには、図16で示すv1とv2の範囲にある(u,v)値についての円筒表面上のuv変換について論じる必要がある。まず、v1及びv2を決定する前段として、二平面モデルを明確にする。図15のOuvは実は図14のp2_CCDに対応した点であることから、
前節でuv値からPvcを求めた。このことは、画面上の任意の点uv値に対応した実空間での視線ベクトルが実空間で、
Pscreenが求められれば、後は実カメラCCD面上との対応点を求めることになる。これは直線と平面の交点を求める問題であり、前回の説明にあるため詳細を割愛する。なお、直線は、
本説明では、「二平面モデルのつなぎ目をなめらかにする」という課題に対して、二平面のつなぎ目に円筒型スクリーン或いは円筒型CCDを適用して、解決を図った。この説明で論じた内容は、円筒形状を用いて視点変換を行う場合の考え方と、実際に必要と思われる式群の導出である。先の出願にて論じた平面モデルに関わる内容は本説明には含まれていない。
実施例1の画像生成装置にあっては、下記に列挙する効果を得ることができる。
図17は実施例2の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
なお、他の構成は、実施例1と同様であるので、対応する構成に同一符号を付して説明を省略する。
実施例2の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン7の一部円筒曲面73の仮想的な円筒の半径R1を変化させる円筒半径調整操作ダイアル44を設けている。
図4(b)に示す場合は、俯瞰表示とパース表示の接合領域に幾何形状が急激に変化するモニタ映像となる。
これに対し、図18に示す場合、曲面化仮想立体スクリーン7の一部円筒曲面73の仮想的な円筒の半径R1を与えると、俯瞰表示とパース表示の接合領域の画像を滑らかに繋ぐことができる。加えて、仮想的な円筒の半径R1を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に引っ張る効果がある(図18の矢印は引っ張り方向)。
実施例2の画像生成装置にあっては、実施例1の(1)の効果に加え、下記に列挙する効果を得ることができる。
図19は実施例3の車両のリアカメラに適用された画像生成装置を示す全体システム図である。
なお、他の構成は、実施例1と同様であるので、対応する構成に同一符号を付して説明を省略する。
実施例3の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体CCD9の一部円筒曲面93の仮想的な円筒の半径R2を変化させる円筒半径調整操作ダイアル45を設けている。
図4(b)に示す場合は、俯瞰表示とパース表示の接合領域に幾何形状が急激に変化するモニタ映像となる。
これに対し、図20に示す場合、曲面化仮想立体CCD9の一部円筒曲面93の仮想的な円筒の半径R2を与えると、俯瞰表示とパース表示の接合領域の画像を滑らかに繋ぐことができる。加えて、仮想的な円筒の半径R2を大きくすると、俯瞰表示とパース表示の接合領域の画像を横方向に圧縮する効果がある(図20の矢印は圧縮方向)。
実施例3の画像生成装置にあっては、実施例1の(1)の効果に加え、下記に列挙する効果を得ることができる。
実施例4の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン7と曲面化仮想立体CCD9のうち、曲面化仮想立体面を設定する手段に、一部楕円筒曲面の仮想的な楕円筒の短軸長さ/長軸長さ/回転角度を調整制御する楕円筒調整操作ダイアルを設けている。
つまり、平面1或いは平面2の歪み領域(曲面相当領域)のうち、どちらか一方の領域だけを減らしたい場合には、楕円筒モデルにより対応することができる。例えば、平面2の歪み領域を減らす場合には、図21のように、楕円筒を回転させて、平面1,2の公差位置から接触線までの距離を、平面1接触距離<平面2接触距離という関係になるように設定する。
実施例4の画像生成装置にあっては、実施例1の(1)の効果に加え、下記に列挙する効果を得ることができる。
・エルミート(Hermite)曲線
・ベジェ(Bezier)曲線
・B-スプライン(B-spline)曲線
・カットマル-ロム(Catmul-Rom)曲線
これらは、一般にパラメトリック3次曲線(Parametric Cubic Curve)と呼ばれる。
実施例5の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン7と曲面化仮想立体CCD9のうち、曲面化仮想立体面を設定する手段に、曲面化仮想立体面の2次元平面内で自由曲線の両端の座標値/傾き/曲率を調整制御する自由曲線調整操作ダイアルを設けている。
この場合、図23及び図24に示すように、2次元平面内で自由曲線の両端の座標値/傾き/曲率を与え、その間を3次曲線で補間する。
実施例5の画像生成装置にあっては、実施例1の(1)の効果に加え、下記に列挙する効果を得ることができる。
実施例6の画像生成装置にあっては、運転者等による外部からの設定操作により、曲面化仮想立体スクリーン7と曲面化仮想立体CCD9のうち、曲面化仮想立体面を設定する手段に、曲面化仮想立体面の自由曲面の3次元曲面形状を調整制御する自由曲面調整操作ダイアルを設けている。
実施例6の画像生成装置にあっては、実施例1の(1)の効果に加え、下記に列挙する効果を得ることができる。
2 画像処理コントローラ
21 デコーダ間変換部
22 座標変換処理部
23 ROM
24 RAM
25 エンコーダ変換部
3 モニタ
4 調整操作ダイアル
41 仮想カメラ位置調整操作ダイアル
42 角度調整操作ダイアル
43,44,45 円筒半径調整操作ダイアル
7 曲面化仮想立体スクリーン
7’ 仮想立体スクリーン
71 近景用スクリーン
72 遠景用スクリーン
73 一部円筒曲面
8 仮想カメラ
9 曲面化仮想立体CCD
9’ 仮想立体CCD
91 近景用撮像面
92 遠景用撮像面
93 一部円筒曲面
a,b 仮想カメラ8の位置
c,d,c’,d’ 接触線
α スクリーン傾斜角度
β CCD傾斜角度
R1,R2 仮想的な円筒の半径
Claims (14)
- 実カメラとは異なる位置に設定した仮想カメラと、実カメラにより映し出される被写体側に設定した仮想投影面と、を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成するモニタ画像データ生成手段を備えた画像生成装置において、
前記仮想投影面として、近景用投影面と遠景用投影面を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記仮想カメラの仮想撮像面として、近景用撮像面と遠景用撮像面を有する仮想立体撮像面を設定する仮想立体撮像面設定手段と、を設け、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景面と遠景面との接合域を曲面により滑らかにつないだ曲面化仮想立体面を設定する手段とし、
前記モニタ画像データ生成手段は、曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記仮想立体投影面設定手段は、仮想的な円筒を近景用投影面と遠景用投影面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、仮想的な円筒を近景用撮像面と遠景用撮像面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、相似形による曲面化仮想立体投影面と曲面化仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項2に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段に、外部からの設定操作により、相似形による曲面化仮想立体投影面と曲面化仮想立体撮像面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記仮想立体投影面設定手段は、仮想的な円筒を近景用投影面と遠景用投影面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、近景用撮像面と遠景用撮像面の二平面が直線で交わる仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、曲面化仮想立体投影面と二平面が直線で交わる仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項4に記載された画像生成装置において、
前記仮想立体投影面設定手段は、外部からの設定操作により、曲面化仮想立体投影面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記仮想立体投影面設定手段は、近景用投影面と遠景用投影面の二平面が直線で交わる仮想立体投影面を設定し、
前記仮想立体撮像面設定手段は、仮想的な円筒を近景用撮像面と遠景用撮像面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部円筒曲面を有する曲面化仮想立体撮像面を設定し、
前記モニタ画像データ生成手段は、二平面が直線で交わる仮想立体投影面と曲面化仮想立体撮像面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項6に記載された画像生成装置において、
前記仮想立体撮像面設定手段は、外部からの設定操作により、曲面化仮想立体撮像面の仮想的な円筒の半径を調整制御する円筒半径調整操作手段を設けたことを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、仮想的な楕円筒を近景用面と遠景用面の二平面が交わる平面交線領域に接触させ、二平面と接触する接触線で切り出した一部楕円筒曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、一部楕円筒曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項8に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の仮想的な楕円筒の短軸長さ/長軸長さ/回転角度を調整制御する楕円筒調整操作手段を設けたことを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面の二平面が交わる平面交線領域を自由曲線によりつないだ自由曲線曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、自由曲線曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項10に記載された画像生成装置において、
前記自由曲線は、二平面との境界線が平面上に固定され、傾きが平面と一致しているパラメトリック3次曲線であり、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の2次元平面内で自由曲線の両端の座標値/傾き/曲率を調整制御する自由曲線調整操作手段を設けたことを特徴とする画像生成装置。 - 請求項10に記載された画像生成装置において、
前記自由曲線は、二平面との境界線が平面上に固定され、二平面とは有角を持って接合されているパラメトリック3次曲線であり、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、曲面化仮想立体面の2次元平面内で自由曲線の両端の交差角度値/両端の座標値/傾き/曲率を調整制御する自由曲線調整操作手段を設けたことを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、少なくとも一方の設定手段は、近景用面と遠景用面を基準として全体を滑らかに接合した自由曲面を有する曲面化仮想立体面を設定し、
前記モニタ画像データ生成手段は、自由曲面を有する曲面化仮想立体面を用いた視点変換により、実カメラのカメラ映像データからモニタに映し出すモニタ画像データを生成することを特徴とする画像生成装置。 - 請求項13に記載された画像生成装置において、
前記仮想立体投影面設定手段と前記仮想立体撮像面設定手段のうち、曲面化仮想立体面を設定する手段に、外部からの設定操作により、自由曲面の3次元形状を調整制御する自由曲面調整操作手段を設けたことを特徴とする画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327935A JP4927512B2 (ja) | 2006-12-05 | 2006-12-05 | 画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327935A JP4927512B2 (ja) | 2006-12-05 | 2006-12-05 | 画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008141643A true JP2008141643A (ja) | 2008-06-19 |
JP4927512B2 JP4927512B2 (ja) | 2012-05-09 |
Family
ID=39602620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006327935A Expired - Fee Related JP4927512B2 (ja) | 2006-12-05 | 2006-12-05 | 画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4927512B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609976A (zh) * | 2012-01-18 | 2012-07-25 | 浪潮(北京)电子信息产业有限公司 | 一种三维灰度图像的处理方法和系统 |
WO2013018173A1 (ja) * | 2011-07-29 | 2013-02-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN103155552A (zh) * | 2011-06-07 | 2013-06-12 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
JP2013149218A (ja) * | 2012-01-23 | 2013-08-01 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
JP2014165633A (ja) * | 2013-02-25 | 2014-09-08 | Suzuki Motor Corp | 画像表示装置 |
WO2015029110A1 (ja) * | 2013-08-26 | 2015-03-05 | 日立建機株式会社 | 作業機械の周囲監視装置 |
US9115482B2 (en) | 2012-03-29 | 2015-08-25 | Harnischfeger Technologies, Inc. | Collision detection and mitigation systems and methods for a shovel |
US9509939B2 (en) | 2014-06-04 | 2016-11-29 | Universal City Studios Llc | Display for immersive window effect |
US9852494B2 (en) | 2015-06-01 | 2017-12-26 | Toshiba Alpine Automotive Technology Corporation | Overhead image generation apparatus |
CN108357427A (zh) * | 2018-01-02 | 2018-08-03 | 深圳市智行畅联科技有限公司 | 一种车载设备及其倒车视频显示方法、及存储介质 |
CN112040181A (zh) * | 2020-08-19 | 2020-12-04 | 软通智慧科技有限公司 | 一种可视化区域确定方法、装置、设备及存储介质 |
JP7397262B2 (ja) | 2016-01-06 | 2023-12-13 | テキサス インスツルメンツ インコーポレイテッド | 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための3次元レンダリング |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2004021307A (ja) * | 2002-06-12 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2005311666A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
-
2006
- 2006-12-05 JP JP2006327935A patent/JP4927512B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2004021307A (ja) * | 2002-06-12 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2005311666A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103155552A (zh) * | 2011-06-07 | 2013-06-12 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
WO2013018173A1 (ja) * | 2011-07-29 | 2013-02-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9591280B2 (en) | 2011-07-29 | 2017-03-07 | Fujitsu Limited | Image processing apparatus, image processing method, and computer-readable recording medium |
JP5668857B2 (ja) * | 2011-07-29 | 2015-02-12 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JPWO2013018173A1 (ja) * | 2011-07-29 | 2015-02-23 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN102609976A (zh) * | 2012-01-18 | 2012-07-25 | 浪潮(北京)电子信息产业有限公司 | 一种三维灰度图像的处理方法和系统 |
JP2013149218A (ja) * | 2012-01-23 | 2013-08-01 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
US9115482B2 (en) | 2012-03-29 | 2015-08-25 | Harnischfeger Technologies, Inc. | Collision detection and mitigation systems and methods for a shovel |
US9598836B2 (en) | 2012-03-29 | 2017-03-21 | Harnischfeger Technologies, Inc. | Overhead view system for a shovel |
JP2014165633A (ja) * | 2013-02-25 | 2014-09-08 | Suzuki Motor Corp | 画像表示装置 |
WO2015029110A1 (ja) * | 2013-08-26 | 2015-03-05 | 日立建機株式会社 | 作業機械の周囲監視装置 |
CN105009572A (zh) * | 2013-08-26 | 2015-10-28 | 日立建机株式会社 | 作业机械的周围监视装置 |
JPWO2015029110A1 (ja) * | 2013-08-26 | 2017-03-02 | 日立建機株式会社 | 作業機械の周囲監視装置 |
CN105009572B (zh) * | 2013-08-26 | 2018-04-03 | 日立建机株式会社 | 作业机械的周围监视装置 |
US9509939B2 (en) | 2014-06-04 | 2016-11-29 | Universal City Studios Llc | Display for immersive window effect |
US9852494B2 (en) | 2015-06-01 | 2017-12-26 | Toshiba Alpine Automotive Technology Corporation | Overhead image generation apparatus |
JP7397262B2 (ja) | 2016-01-06 | 2023-12-13 | テキサス インスツルメンツ インコーポレイテッド | 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための3次元レンダリング |
CN108357427A (zh) * | 2018-01-02 | 2018-08-03 | 深圳市智行畅联科技有限公司 | 一种车载设备及其倒车视频显示方法、及存储介质 |
CN112040181A (zh) * | 2020-08-19 | 2020-12-04 | 软通智慧科技有限公司 | 一种可视化区域确定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4927512B2 (ja) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4927512B2 (ja) | 画像生成装置 | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
JP2008085446A (ja) | 画像生成装置および画像生成方法 | |
JP5222597B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
JP4125252B2 (ja) | 画像生成装置、画像生成方法、及び画像生成プログラム | |
TWI574224B (zh) | An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus | |
JP5320970B2 (ja) | 車両用表示装置および表示方法 | |
JP5044204B2 (ja) | 運転支援装置 | |
JP5046132B2 (ja) | 画像データ変換装置 | |
US20100110234A1 (en) | Image synthesis apparatus and image synthesis method | |
EP2820593A1 (en) | Method and system for adaptive perspective correction of ultra wide-angle lens images | |
JP6255928B2 (ja) | 俯瞰画像生成装置 | |
WO2014033886A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6257978B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
KR20130018868A (ko) | 화상생성장치 및 조작지원 시스템 | |
CN110651295B (zh) | 图像处理设备、图像处理方法和程序 | |
WO2016125371A1 (ja) | 画像生成装置、座標変換テーブル作成装置および作成方法 | |
KR20130025005A (ko) | 차량의 주변 영상 보정 장치 및 방법 | |
EP4028288A1 (en) | Sensor fusion based perceptually enhanced surround view | |
JP5020621B2 (ja) | 運転支援装置 | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5861871B2 (ja) | 俯瞰画像提示装置 | |
JP2019176402A (ja) | 画像処理装置 | |
WO2010007960A1 (ja) | 車載用カメラの視点変換映像システム及び視点変換映像取得方法 | |
US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4927512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |