JP2019056647A - 画像生成装置、画像生成プログラムおよび撮影車両 - Google Patents

画像生成装置、画像生成プログラムおよび撮影車両 Download PDF

Info

Publication number
JP2019056647A
JP2019056647A JP2017181771A JP2017181771A JP2019056647A JP 2019056647 A JP2019056647 A JP 2019056647A JP 2017181771 A JP2017181771 A JP 2017181771A JP 2017181771 A JP2017181771 A JP 2017181771A JP 2019056647 A JP2019056647 A JP 2019056647A
Authority
JP
Japan
Prior art keywords
vehicle
camera
distance
image generation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017181771A
Other languages
English (en)
Other versions
JP7002898B2 (ja
Inventor
吉田 光伸
Mitsunobu Yoshida
光伸 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2017181771A priority Critical patent/JP7002898B2/ja
Publication of JP2019056647A publication Critical patent/JP2019056647A/ja
Application granted granted Critical
Publication of JP7002898B2 publication Critical patent/JP7002898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

【課題】複数の画像を並べて正しい全体画像を生成できるようにする。
【解決手段】複数のカメラは、車両の外側に向けられ、且つ、車両の長さ方向に基準間隔で並べられ、且つ、車両の長さ方向と垂直に交わる縦断面において互いに向きが異なり、且つ、車両が基準距離を進む毎に撮影を行う。各帯状画像は、1つのカメラによって得られる複数の画像を前記車両の長さ方向に対応する方向に並べて得られる画像である。画像生成部は、各帯状画像を車両の長さ方向に対応する方向において調整画素数ずつずらして全体画像を生成する。調整画素数は、基準間隔と基準距離とに基づいて得られる画素数である。
【選択図】図13

Description

本発明は、複数の画像を並べて全体画像を生成する技術に関するものである。
トンネルを撮影するための従来の撮影車両には、複数のカメラが扇型状に配置されている。
複数のカメラが同時に撮影を行うことにより、撮影車両の進行方向においてトンネルの同じ位置の内面が映った複数の映像が得られる。つまり、トンネルの入口からの距離が同じ位置におけるトンネルの内面が映った複数の映像が得られる。そのため、展開図を生成することが可能である。
しかし、複数のカメラが扇型状に配置されると、複数のカメラの各視点が一致しない。すると、撮影車両がトンネルの壁に近づいた場合に、撮影されない部分が発生してしまう。
また、複数のカメラを扇型状に配置しようとすると配置場所が限られるため、大型のカメラを使用することが困難である。
特開2001−141660号公報 特開2016−218555号公報
本発明は、複数の画像を並べて正しい全体画像を生成できるようにすることを目的とする。
本発明の画像生成装置は、車両に設置された複数のカメラから得られる複数の帯状画像を並べて全体画像を生成する画像生成部を備える。
前記複数のカメラは、前記車両の外側に向けられ、且つ、前記車両の長さ方向に基準間隔で並べられ、且つ、前記車両の長さ方向と垂直に交わる縦断面において互いに向きが異なり、且つ、前記車両が基準距離を進む毎に撮影を行う。
各帯状画像は、1つのカメラによって得られる複数の画像を前記車両の長さ方向に対応する方向に並べて得られる画像である。
前記画像生成部は、各帯状画像を前記車両の長さ方向に対応する方向において調整画素数ずつずらして前記全体画像を生成する。
前記調整画素数は、前記基準間隔と前記基準距離とに基づいて得られる画素数である。
本発明によれば、複数の画像を並べて正しい全体画像を生成することができる。
実施の形態1における撮影車両100の左側面図。 実施の形態1における撮影車両100の平面図。 実施の形態1における撮影車両100の右側面図。 実施の形態1における撮影装置200の左斜視図。 実施の形態1における撮影装置200の右斜視図。 実施の形態1におけるカメラユニット210の表斜視図。 実施の形態1におけるカメラユニット210の裏斜視図。 実施の形態1における撮影装置200の撮像範囲を示す図。 実施の形態1における撮影装置200の撮像範囲を示す図。 実施の形態1における撮影装置200の撮像範囲を示す図。 実施の形態1における撮影装置200の撮像範囲を示す図。 実施の形態1における画像生成装置300の構成図。 実施の形態1における画像生成方法のフローチャート。 実施の形態1における帯状画像301を示す図。 実施の形態1におけるカメラユニット群201の撮像方向を示す図。 実施の形態1における<実施例1>を示す図。 実施の形態1における全体画像309を示す図。 実施の形態1における全体画像302を示す図。 実施の形態1における<実施例2>を示す図。 実施の形態1における<実施例2>の被写体間隔Laを示す図。 実施の形態1における<実施例3>を示す図。 実施の形態1における<実施例3>の壁面角度θを示す図。 実施の形態1における<実施例3>の被写体距離Laを示す図。 実施の形態1における<実施例4>の被写体距離Laを示す図。 実施の形態における画像生成装置300のハードウェア構成を示す図。
実施の形態および図面において、同じ要素および対応する要素には同じ符号を付している。同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態1.
撮影車両100および画像生成装置300について、図1から図24に基づいて説明する。
***構成の説明***
図1、図2および図3に基づいて、撮影車両100を説明する。
図1は、撮影車両100の左側面を示している。
図2は、撮影車両100の上面を示している。
図3は、撮影車両100の右側面を示している。
撮影車両100は、走行しながら周囲を撮影するための車両である。具体的には、撮影車両100がトンネルを走行している間に、トンネル内の壁面が撮影される。
撮影車両100は、道路を走行するためのタイヤ101の他に、軌道を走行するための車輪103を備える。これにより、撮影車両100は軌陸車として機能する。
タイヤ101には、後述するオドメータが設置されている。
撮影車両100は、パネルで覆われた荷台110を備える。
荷台110の中には、後述する撮影装置が設置されている。
荷台110のパネルには、撮影装置の撮影方向に対応する部分にスリット111(U1〜U5、R1〜R4、L1〜L5)が設けられている。
スリット111Uxは、後述するカメラユニット210Uxのためのスリット111である。
スリット111Rxは、後述するカメラユニット210Rxのためのスリット111である。
スリット111Lxは、後述するカメラユニット210Lxのためのスリット111である。
図3において、スリット111R1とスリット111R2との間隔はDaであり、スリット111R2とスリット111R3との間隔はDbであり、スリット111R3とスリット111R4との間隔はDcである。
スリットの間隔は、カメラユニット210(後述するカメラ)の間隔と一致する。
荷台110の前部には、オペレーション室120が設けられている。
オペレーション室120において、オペレータは撮影装置などを操作する。
荷台110の後部には、レーザスキャナ112が設置されている。
図4および図5に基づいて、撮影装置200を説明する。
図4は、撮影装置200の左側を示す斜視図である。
図5は、撮影装置200の右側を示す斜視図である。
撮影装置200は、3つのカメラユニット群201(L、R、U)を備える。
カメラユニット群201Lは、上段に配置されて左方向を撮影するカメラユニット群201である。
カメラユニット群201Rは、中段に配置されて右方向を撮影するカメラユニット群201である。
カメラユニット群201Uは、下段に配置されて上方向を撮影するカメラユニット群201である。
各カメラユニット群201は、複数のカメラユニット210から成る。
カメラユニット群201Lは、5つのカメラユニット210(L1〜L5)から成る。
カメラユニット群201Rは、4つのカメラユニット210(R1〜R5)から成る。
カメラユニット群201Uは、5つのカメラユニット210(U1〜U5)から成る。
図5において、カメラユニット210R1とカメラユニット210R2との間隔はDaであり、カメラユニット210R2とカメラユニット210R3との間隔はDbであり、カメラユニット210R3とカメラユニット210R4との間隔はDcである。
図6および図7に基づいて、カメラユニット210を説明する。
カメラユニット210は、フレーム211とカメラ212と制御ボックス213と照明214とアクリル板215とを備える。
カメラ212、制御ボックス213および照明214は、フレーム211に取り付けられている。
アクリル板215は、カメラ212の撮影方向に配置されている。
カメラ212は、撮影によって画像を得る。
具体的には、カメラ212はラインカメラである。ラインカメラは、1回の撮影で1列の画像を得るカメラである。ラインカメラは、ラインセンサまたはラインセンサカメラともいう。
制御ボックス213は、カメラ212を制御するための基板および配線を収納する。
照明214は、カメラ212の撮影方向を照らす。具体的には、照明214は、レーザ照明である。
壁面にキズがあるか否かを調べる場合、カメラ212の撮影方向に斜めから光を照射するとキズが見えやすくなる。そのため、照明214は、カメラ212からずれた位置に固定され、カメラ212の撮影方向を斜めから照らす。
アクリル板215は、透明な板であり、カメラ212を保護する。
図4および図5に戻り、カメラユニット群201の説明を続ける。
図4および図5において、前後方向は撮影車両100の長さ方向に相当し、左右方向は撮影車両100の幅方向に相当する。
各カメラユニット群201において、複数のカメラ212は、以下のように構成されている。
複数のカメラ212は、撮影車両100の外側に向けられている。
複数のカメラ212は、撮影車両100の長さ方向に基準間隔で並べられている。基準間隔は、撮影車両100の長さ方向におけるカメラ212間の距離である。
複数のカメラ212は、撮影車両100の長さ方向と垂直に交わる縦断面において互いに向きが異なる。
複数のカメラ212は、撮影車両100が基準距離を進む毎に撮影を行う。具体的には、複数のカメラ212は、撮影車両100のオドメータからパルスが出力される毎に撮影を行う。オドメータは、撮影車両100が基準距離を進む毎にパルスを出力する。
図8、図9、図10および図11に基づいて、撮影装置200の撮影範囲209を説明する。
図8は、図4に対応しており、カメラユニット群201Uの撮影範囲209U(1〜5)を破線で示している。
図9は、図4に対応しており、カメラユニット群201Lの撮影範囲209L(1〜5)を一点鎖線で示している。
図10は、図5に対応しており、カメラユニット群201Rの撮影範囲209R(1〜4)を二点鎖線で示している。
図11は、撮影車両100の荷台110に設置された撮影装置200を撮影車両100の後方から見た様子を示している。図11が示す平面は、撮影車両100の長さ方向と垂直に交わる縦断面に相当する。
破線はカメラユニット群201Uの撮影範囲209Uを示し、一点鎖線はカメラユニット群201Lの撮影範囲209Lを示し、二点鎖線はカメラユニット群201Rの撮影範囲209Rを示している。
矢印付きの弧は、撮影装置200の全体の撮影範囲209を示している。撮影装置200の全体の撮影範囲209は約268度に及ぶ。
図12に基づいて、画像生成装置300の構成を説明する。
画像生成装置300は、プロセッサ901とメモリ902と補助記憶装置903といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ901は、演算処理を行うIC(Integrated Circuit)であり、他のハードウェアを制御する。例えば、プロセッサ901は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、またはGPU(Graphics Processing Unit)である。
メモリ902は揮発性の記憶装置である。メモリ902は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ902はRAM(Random Access Memory)である。メモリ902に記憶されたデータは必要に応じて補助記憶装置903に保存される。
補助記憶装置903は不揮発性の記憶装置である。例えば、補助記憶装置903は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。補助記憶装置903に記憶されたデータは必要に応じてメモリ902にロードされる。
画像生成装置300は、画像生成部310を備える。画像生成部310は、帯状画像生成部311および全体画像生成部312を備える。これらの要素はソフトウェアで実現される。
補助記憶装置903には、画像生成部310としてコンピュータを機能させるための画像生成プログラムが記憶されている。画像生成プログラムは、メモリ902にロードされて、プロセッサ901によって実行される。
さらに、補助記憶装置903にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ902にロードされて、プロセッサ901によって実行される。
つまり、プロセッサ901は、OSを実行しながら、画像生成プログラムを実行する。
画像生成プログラムを実行して得られるデータは、メモリ902、補助記憶装置903、プロセッサ901内のレジスタまたはプロセッサ901内のキャッシュメモリといった記憶装置に記憶される。
メモリ902はデータを記憶する記憶部391として機能する。但し、他の記憶装置が、メモリ902の代わりに、又は、メモリ902と共に、記憶部391として機能してもよい。
画像生成装置300は、プロセッサ901を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ901の役割を分担する。
画像生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータで読み取り可能に記録することができる。言い換えると、画像生成プログラムは、不揮発性の記録媒体にコンピュータで読み取り可能に格納することができる。
***動作の説明***
画像生成装置300の動作は画像生成方法に相当する。また、画像生成方法の手順は画像生成プログラムの手順に相当する。
画像生成方法において、画像生成部310は、撮影車両100に設置された複数のカメラ212から得られる複数の帯状画像を並べて全体画像を生成する。帯状画像および全体画像については後述する。
図13に基づいて、画像生成方法を説明する。
ステップS110において、帯状画像生成部311は、カメラ212毎に帯状画像を生成する。
帯状画像は、1つのカメラ212によって得られる複数の画像を撮影車両100の長さ方向に対応する方向に並べて得られる画像である。
具体的には、帯状画像は、1つのラインカメラによって得られる複数のライン画像を撮影車両100の長さ方向に対応する方向に並べて得られる画像である。
帯状画像生成部311は、カメラ212毎に帯状画像を以下のように生成する。
記憶部391には、ライン画像群が記憶されている。ライン画像群は、1つのラインカメラによって得られた複数のライン画像である。ライン画像は、1回の撮影で得られる1列の画像である。
帯状画像生成部311は、ライン画像群から各ライン画像を撮影時刻順に選択し、各ライン画像を撮影車両100の長さ方向に対応する方向に並べる。これによって得られる画像が帯状画像である。記憶部391は、各帯状画像を記憶する。
図14に、帯状画像301を示す。
帯状画像301は、複数の画像をX軸方向に並べた画像である。Y軸方向に長い各画像がライン画像である。
X軸は、撮影車両100の長さ方向に対応する方向を示す。撮影車両100の長さ方向は、撮影車両100の進行方向に相当する。
Y軸は、撮影車両100の高さ方向または撮影車両100の幅方向に対応する方向を示す。
図13に戻り、ステップS120を説明する。
ステップS120において、全体画像生成部312は、複数の帯状画像を並べて全体画像を生成する。
全体画像生成部312は、全体画像を以下のように生成する。
全体画像生成部312は、撮影車両100の高さ方向に対応する方向または撮影車両100の幅方向に対応する方向に複数の帯状画像を並べる。
但し、全体画像生成部312は、各帯状画像を撮影車両100の長さ方向に対応する方向において調整画素数ずつずらす。これによって得られる画像が全体画像である。
調整画素数は、基準間隔と基準距離とに基づいて得られる画素数である
基準間隔は、撮影車両100の長さ方向におけるカメラ212間の距離である。
基準距離は、前回の撮影時から今回の撮影時までに撮影車両100が進む距離である。
図15に、トンネルを走行する撮影車両100を正面から見た様子を示す。
中段のカメラユニット群201は、撮影車両100の右側の壁面を撮影する。
中段のカメラユニット群201において、各カメラは、撮影車両100の高さ方向において向きが異なる。
そのため、全体画像生成部312は、中段のカメラユニット群201の撮影で得られる複数の帯状画像を撮影車両100の高さ方向に対応する方向に並べる。
また、上段のカメラユニット群は、左方の壁面を撮影する。
上段のカメラユニット群において、各カメラは、撮影車両100の高さ方向において向きが異なる。
そのため、全体画像生成部312は、上段のカメラユニット群の撮影で得られる複数の帯状画像を撮影車両100の高さ方向に対応する方向に並べる。
また、下段のカメラユニット群は、上方の壁面を撮影する。
下段のカメラユニット群において、各カメラは、撮影車両100の幅方向において向きが異なる。
そのため、全体画像生成部312は、下段のカメラユニット群の撮影で得られる複数の帯状画像を撮影車両100の幅方向に対応する方向に並べる。
なお、各カメラの撮影範囲が撮影車両100の高さ方向または撮影車両100の幅方向において重なる場合、全体画像生成部312は、撮影範囲の重なりに対応する画素数を算出する。そして、全体画像生成部312は、撮影車両100の高さ方向または撮影車両100の幅方向に対応する方向おいて隣り合う帯状画像を算出した画素数だけ重ね合う。
図16に、撮影車両100を上方から見た様子を示す。
撮影車両100の長さ方向において、各カメラ212の位置は異なる。
カメラ(1)とカメラ(2)との距離はDaであり、カメラ(2)とカメラ(3)との距離はDbであり、カメラ(3)とカメラ(4)との距離はDcである。
距離Da、距離Dbおよび距離Dcを基準間隔という。
そのため、同じ時間帯に得られた複数の帯状画像を単純に並べると、カメラ間隔分、各帯状画像に映った壁面がずれる。
つまり、同じ時間帯に得られた複数の帯状画像を単純に並べると、トンネルの展開図として正しい全体画像が得られない。
図17に、同じ時間帯に得られた複数の帯状画像を単純に並べて得られる全体画像309を示す。帯状画像(n)は、カメラ(n)の撮影で得られた帯状画像である。
全体画像309は、以下のように、トンネルの展開図として正しい全体画像ではない。
撮影車両100の長さ方向に対応する方向xにおいて、帯状画像(1)と帯状画像(2)とに映った壁面(のひび割れ)の位置は画素数Saだけずれる。
撮影車両100の長さ方向に対応する方向xにおいて、帯状画像(2)と帯状画像(3)とに映った壁面(のひび割れ)の位置は画素数Sbだけずれる。
撮影車両100の長さ方向に対応する方向xにおいて、帯状画像(3)と帯状画像(4)とに映った壁面(のひび割れ)の位置は画素数Scだけずれる。
画素数Sa、画素数Sbおよび画素数Scを調整画素数という。
全体画像生成部312は、各帯状画像を撮影車両100の長さ方向に対応する方向において調整画素数ずつずらす。
図18に、各帯状画像を撮影車両100の長さ方向に対応する方向において調整画素数ずつずらして得られる全体画像302を示す。
全体画像302において、各帯状画像に映った壁面(のひび割れ)の位置は一致している。
撮影車両100の長さ方向に対応する方向xにおいて、帯状画像(2)は帯状画像(1)と画素数Saだけずれている。
撮影車両100の長さ方向に対応する方向xにおいて、帯状画像(3)は帯状画像(2)と画素数Sbだけずれている。
撮影車両100の長さ方向に対応する方向xにおいて、帯状画像(4)と帯状画像(3)と画素数Scだけずれている。
画素数Sa、画素数Sbおよび画素数Scを調整画素数という。
以下に、調整画素数を算出するための式を説明する。
調整画素数は、予め算出されて記憶部391に記憶される。または、調整画素数は、全体画像生成部312によって算出されて記憶部391に記憶される。
<実施例1>
図16の状態における調整画素数の算出式を説明する。
図16の状態において、条件(1−1)から条件(1−4)が成り立つ。
条件(1−1):オドメータ102は撮影車両100が基準距離を進む毎にパルスを出力し、各カメラ212はオドメータ102がパルスを出力する毎に撮影を行う。
条件(1−2):撮影車両100の長さ方向におけるカメラ間の距離(Da、DbおよびDc)、すなわち、基準間隔は既知である。
条件(1−3):撮影車両100の高さ方向と垂直に交わる横断面において、各カメラの向きが撮影車両100の幅方向に対して傾いていないる。図16が示す平面は横断面に相当する。
条件(1−4):撮影車両100は壁面と平行に走行する。
調整画素数は、以下の式で表すことができる。
調整画素数 = 基準間隔 / 基準距離
例えば、基準間隔が30センチメートルであり、基準距離が0.5ミリメートルである場合、調整画素数は600画素である。
<実施例2>
図19の状態における調整画素数の算出式を説明する。
図19の状態において、条件(2−1)から条件(2−4)が成り立つ。
条件(2−1):オドメータ102は撮影車両100が基準距離を進む毎にパルスを出力し、各カメラ212はオドメータ102がパルスを出力する毎に撮影を行う。
条件(2−2):撮影車両100の長さ方向におけるカメラ間の距離(Da、DbおよびDc)、すなわち、基準間隔は既知である。
条件(2−3):撮影車両100の高さ方向と交わる横断面において、各カメラの向きが撮影車両100の幅方向に対して傾いている。横断面における各カメラの傾きは既知である。図19が示す断面は横断面に相当する。
条件(2−4):撮影車両100は壁面と平行に走行する。
被写体距離Lpは、縦断面において各カメラから壁面までの距離である。
計測距離Lmは、縦断面においてレーザスキャナ112から壁面までの距離であり、レーザスキャナ112によって計測される。
相対距離Lrは、縦断面においてレーザスキャナ112から各カメラまでの距離である。
図20に、カメラ(1)とカメラ(2)との被写体間隔Laを示す。
被写体間隔Laは、横断面において、隣り合うカメラのうちの前方のカメラ(1)によって撮影される箇所と、隣り合うカメラのうちの後方のカメラ(2)によって撮影される箇所との距離である。
第1距離差Dは前方のカメラ(1)の距離差であり、第2距離差Dは後方のカメラ(2)の距離差である。カメラの距離差は、実際に撮影される壁面とカメラの向きが撮影車両100の幅方向に対して傾いていない場合にカメラによって撮影される壁面との距離である。
前方のカメラ(1)が前方に傾いている場合、第1距離差Dは正の値となる。前方のカメラ(1)が後方に傾いている場合、第1距離差D1負の値となる。
後方のカメラ(2)が後方に傾いている場合、第2距離差Dは正の値となる。後方のカメラ(2)が前方に傾いている場合、第2距離差Dは負の値となる。
第1傾き角度ωは前方のカメラ(1)の傾き角度であり、第2傾き角度γは後方のカメラ(2)の傾き角度である。傾き角度は、横断面において撮影車両100の幅方向に対するカメラの傾きの角度である。
全体画像生成部312は、以下の式を計算することによって調整画素数を算出する。
調整画素数 = 被写体間隔/基準距離
被写体間隔 = 基準間隔 + 第1距離差 + 第2距離差
第1距離差 = 被写体距離 × tan(ω)
第2距離差 = 被写体距離 × tan(γ)
<実施例3>
図21の状態における調整画素数の算出式を説明する。
図21の状態において、条件(3−1)から条件(3−4)が成り立つ。
条件(3−1):オドメータ102は撮影車両100が基準距離を進む毎にパルスを出力し、各カメラ212はオドメータ102がパルスを出力する毎に撮影を行う。
条件(3−2):撮影車両100の長さ方向におけるカメラ間の距離(Da、DbおよびDc)、すなわち、基準間隔は既知である。
条件(3−3):撮影車両100の高さ方向と垂直に交わる横断面において、各カメラの向きが撮影車両100の幅方向に対して傾いていない。図21が示す平面は横断面に相当する。
条件(3−4):撮影車両100は壁面と平行に走行しない。
被写体距離Lnは、縦断面においてカメラ(n)から壁面までの距離である。
計測距離Lmは、縦断面においてレーザスキャナ112から壁面までの距離であり、レーザスキャナ112によって計測される。
相対距離Lrは、縦断面においてレーザスキャナ112から各カメラまでの距離である。
図22に、壁面角度θを示す。
壁面角度θは、撮影車両100の長さ方向と壁面の長さ方向とが成す角度である。
第1計測距離Lmは、先の計測で得られた計測距離Lmである。
第2計測距離Lmは、後の計測で得られた計測距離Lmである。
計測間隔Dmは、先の計測から後の計測までに撮影車両100が進んだ距離である。
全体画像生成部312は、以下の式を計算することによって壁面角度θを算出する。
壁面角度θ = arctan((Lm−Lm)/Dm)
計測間隔Dm = パルス数 × 基準距離
パルス数は、先の計測から後の計測までにオドメータ102から出力されたパルスの数である。
図23に、カメラ(1)とカメラ(2)との被写体間隔Laを示す。
被写体間隔Laは、横断面において、隣り合うカメラのうちの前方のカメラ(1)によって撮影される箇所と、隣り合うカメラのうちの後方のカメラ(2)によって撮影される箇所との距離である。
全体画像生成部312は、以下の式を計算することによって調整画素数を算出する。
調整画素数 = 被写体間隔/基準距離
被写体間隔 = 基準間隔/cosθ
<実施例4>
実施例2と実施例3との組み合わせにおける調整画素数の算出式を説明する。
条件(4−1)から条件(4−4)が成り立つ。
条件(4−1):オドメータ102は撮影車両100が基準距離を進む毎にパルスを出力し、各カメラ212はオドメータ102がパルスを出力する毎に撮影を行う。
条件(4−2):撮影車両100の長さ方向におけるカメラ間の距離(Da、DbおよびDc)、すなわち、基準間隔は既知である。
条件(4−3):撮影車両100の高さ方向と交わる横断面において、各カメラの向きが撮影車両100の幅方向に対して傾いている。横断面における各カメラの傾きは既知である。
条件(4−4):撮影車両100は壁面と平行に走行しない。
図24に、カメラ(1)とカメラ(2)との被写体間隔Laを示す。
第1距離差Dは前方のカメラ(1)の距離差であり、第2距離差Dは後方のカメラ(2)の距離差である。カメラの距離差は、実際に撮影される箇所とカメラが撮影車両100の幅方向に対して傾いていない場合に撮影される箇所との距離である。
暫定間隔Da’は、<実施例3>における被写体間隔である。
第1被写体距離Lは、横断面においてカメラ(1)から壁面までの距離である。
第2被写体距離Lは、横断面においてカメラ(2)から壁面までの距離である。
壁面角度θは、撮影車両100の長さ方向と壁面の長さ方向とが成す角度である。
第1傾き角度ωは前方のカメラ(1)の傾き角度であり、第2傾き角度γは後方のカメラ(2)の傾き角度である。傾き角度は、横断面において撮影車両100の幅方向に対するカメラの角度である。
全体画像生成部312は、以下の式を計算することによって調整画素数を算出する。
調整画素数 = 被写体間隔 / 基準距離
被写体間隔 = 第1距離差 +第2距離差 + 暫定間隔
第1距離差 = 第1被写体距離 × tan(ω)/cos(θ)
第2距離差 = 第2被写体距離 × tan(δ)/cos(θ)
暫定間隔 = 基準間隔/cos(θ)
***実施の形態1の効果***
複数のカメラを撮影車両100の長さ方向に並べることにより、各カメラの視点を一致させることができる。その結果、複数の帯状画像を並べて全体画像を生成することが容易になる。また、大型のカメラを使用することが可能になる。
各帯状画像を撮影車両100の長さ方向に対応する方向において調整画素数ずつずらして並べることにより、正しい全体画像を生成することができる。
各カメラがオドメータと同期して撮影を行うことにより、撮影車両100の速度を考慮せずに調整画素数を求めることができる。
***実施の形態の補足***
図25に基づいて、画像生成装置300のハードウェア構成を説明する。
画像生成装置300は処理回路990を備える。
処理回路990は、画像生成部310を実現するハードウェアである。
処理回路990は、専用のハードウェアであってもよいし、メモリ902に格納されるプログラムを実行するプロセッサ901であってもよい。
処理回路990が専用のハードウェアである場合、処理回路990は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGAまたはこれらの組み合わせである。
ASICはApplication Specific Integrated Circuitの略称であり、FPGAはField Programmable Gate
Arrayの略称である。
画像生成装置300は、処理回路990を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路990の役割を分担する。
画像生成装置300において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
このように、処理回路990はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
100 撮影車両、101 タイヤ、102 オドメータ、103 車輪、110 荷台、111 スリット、112 レーザスキャナ、120 オペレーション室、200 撮影装置、201 カメラユニット群、209 撮影範囲、210 カメラユニット、211 フレーム、212 カメラ、213 制御ボックス、214 照明、215 アクリル板、300 画像生成装置、301 帯状画像、302 全体画像、309 全体画像、310 画像生成部、311 帯状画像生成部、312 全体画像生成部、391 記憶部、901 プロセッサ、902 メモリ、903 補助記憶装置、990 処理回路。

Claims (10)

  1. 車両に設置された複数のカメラから得られる複数の帯状画像を並べて全体画像を生成する画像生成部を備える画像生成装置であって、
    前記複数のカメラは、前記車両の外側に向けられ、且つ、前記車両の長さ方向に基準間隔で並べられ、且つ、前記車両の長さ方向と垂直に交わる縦断面において互いに向きが異なり、且つ、前記車両が基準距離を進む毎に撮影を行い、
    各帯状画像は、1つのカメラによって得られる複数の画像を前記車両の長さ方向に対応する方向に並べて得られる画像であり、
    前記画像生成部は、各帯状画像を前記車両の長さ方向に対応する方向において調整画素数ずつずらして前記全体画像を生成し、
    前記調整画素数は、前記基準間隔と前記基準距離とに基づいて得られる画素数である
    画像生成装置。
  2. 前記車両の高さ方向と垂直に交わる横断面において各カメラの向きが前記車両の幅方向に対して傾いてなく、且つ、前記車両が壁面と平行に走行する場合、前記調整画素数は、前記基準間隔を前記基準距離で割って得られる値である
    請求項1に記載の画像生成装置。
  3. 前記車両の高さ方向と垂直に交わる横断面において各カメラの向きが前記車両の幅方向に対して傾いており、且つ、前記車両が壁面と平行に走行する場合、前記画像生成部は、前記基準間隔と第1傾き角度と第2傾き角度と被写体距離とを用いて被写体間隔を算出し、前記被写体間隔を前記基準距離で割って前記調整画素数を算出し、
    前記第1傾き角度は、隣り合うカメラのうちの前方のカメラの傾きの角度であり、
    前記第2傾き角度は、隣り合うカメラのうちの後方のカメラの傾きの角度であり、
    前記被写体距離は、前記縦断面における各カメラから前記壁面までの距離であり、
    前記被写体間隔は、前記横断面において前記前方のカメラによって撮影される箇所と前記後方のカメラによって撮影される箇所との距離である
    請求項1に記載の画像生成装置。
  4. 前記車両の高さ方向と垂直に交わる横断面において各カメラの向きが前記車両の幅方向に対して傾いてなく、且つ、前記車両が壁面と平行に走行しない場合、前記画像生成部は、前記基準間隔と壁面角度とを用いて被写体間隔を算出し、前記被写体間隔を前記基準距離で割って前記調整画素数を算出し、
    前記壁面角度は、前記車両の長さ方向と前記壁面の長さ方向とが成す角度であり、
    前記被写体間隔は、前記横断面において隣り合うカメラのうちの前方のカメラによって撮影される箇所と隣り合うカメラのうちの後方のカメラによって撮影される箇所との距離である
    請求項1に記載の画像生成装置。
  5. 前記車両の高さ方向と垂直に交わる横断面において各カメラの向きが前記車両の幅方向に対して傾いており、且つ、前記車両が壁面と平行に走行しない場合、前記画像生成部は、第1傾き角度と第1被写体距離と第2傾き角度と第2被写体距離と壁面角度と前記基準間隔とを用いて被写体間隔を算出し、前記被写体間隔を前記基準距離で割って前記調整画素数を算出し、
    前記第1傾き角度は、隣り合うカメラのうちの前方のカメラの傾きの角度であり、
    前記第1被写体距離は、前記縦断面における前記前方のカメラから前記壁面までの距離であり、
    前記第2傾き角度は、隣り合うカメラのうちの後方のカメラの傾きの角度であり、
    前記第2被写体距離は、前記縦断面における前記後方のカメラから前記壁面までの距離であり、
    前記壁面角度は、前記車両の長さ方向と前記壁面の長さ方向とが成す角度であり、
    前記被写体間隔は、前記横断面において前記前方のカメラによって撮影される箇所と前記後方のカメラによって撮影される箇所との距離である
    請求項1に記載の画像生成装置。
  6. 前記複数のカメラは、前記車両のオドメータからパルスが出力される毎に撮影を行い、
    前記オドメータは、前記車両が前記基準距離を進む毎にパルスを出力する
    請求項1から請求項5のいずれか1項に記載の画像生成装置。
  7. 車両に設置された複数のカメラから得られる複数の帯状画像を並べて全体画像を生成する画像生成処理をコンピュータに実行させるための画像生成プログラムであって、
    前記複数のカメラは、前記車両の外側に向けられ、且つ、前記車両の長さ方向に基準間隔で並べられ、且つ、前記車両の長さ方向と垂直に交わる縦断面において互いに向きが異なり、且つ、前記車両が基準距離を進む毎に撮影を行い、
    各帯状画像は、1つのカメラによって得られる複数の画像を前記車両の長さ方向に対応する方向に並べて得られる画像であり、
    前記画像生成処理は、各帯状画像を前記車両の長さ方向に対応する方向において調整画素数ずつずらして前記全体画像を生成し、
    前記調整画素数は、前記基準間隔と前記基準距離とに基づいて得られる画素数である
    画像生成プログラム。
  8. パネルで覆われた荷台を備える撮影車両であり、
    前記荷台の中には、撮影装置が設置され、
    前記撮影装置は、カメラユニットを備え、
    前記カメラユニットは、複数のカメラを備え、
    前記複数のカメラのそれぞれは、前記撮影車両の長さ方向と前記撮影車両の高さ方向とにおいて互いにずれた位置に設けられ、
    前記荷台は、各カメラの撮影方向に対応する部分にスリットを有する
    ことを特徴とする撮影車両。
  9. 前記撮影車両の長さ方向においてスリットの間隔はカメラの間隔と一致する
    請求項8に記載の撮影車両。
  10. 前記撮影装置は、上撮影用のカメラユニットと左撮影用のカメラユニットと右撮影用のカメラユニットとを備え、
    上撮影用のカメラユニットと左撮影用のカメラユニットと右撮影用のカメラユニットとのそれぞれが、複数のカメラを備え、
    前記荷台は、前記上撮影用のカメラユニットの各カメラの撮影方向に対応する部分と、前記左撮影用のカメラユニットの各カメラの撮影方向に対応する部分と、前記右撮影用のカメラユニットの各カメラの撮影方向に対応する部分とのそれぞれにスリットを有する
    請求項8または請求項9に記載の撮影車両。
JP2017181771A 2017-09-21 2017-09-21 画像生成装置、画像生成プログラムおよび撮影車両 Active JP7002898B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017181771A JP7002898B2 (ja) 2017-09-21 2017-09-21 画像生成装置、画像生成プログラムおよび撮影車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017181771A JP7002898B2 (ja) 2017-09-21 2017-09-21 画像生成装置、画像生成プログラムおよび撮影車両

Publications (2)

Publication Number Publication Date
JP2019056647A true JP2019056647A (ja) 2019-04-11
JP7002898B2 JP7002898B2 (ja) 2022-01-20

Family

ID=66107440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017181771A Active JP7002898B2 (ja) 2017-09-21 2017-09-21 画像生成装置、画像生成プログラムおよび撮影車両

Country Status (1)

Country Link
JP (1) JP7002898B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021102859A (ja) * 2019-12-25 2021-07-15 三菱電機株式会社 車両及び撮影方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256633A (ja) * 1991-06-13 1993-10-05 East Japan Railway Co 鉄道トンネル覆工変状撮影方法
JPH0658738A (ja) * 1992-08-06 1994-03-04 Mitsubishi Electric Corp 3次元形状入力方式
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc 3次元物体形状認識方法及び装置
JPH11229800A (ja) * 1998-02-12 1999-08-24 Central Japan Railway Co トンネル壁面撮影装置
JP2004012152A (ja) * 2002-06-03 2004-01-15 Asia Air Survey Co Ltd 構造物の壁面調査装置
JP2010223753A (ja) * 2009-03-24 2010-10-07 Tokyo Electric Power Co Inc:The 画像処理装置、長尺物用検査装置及びコンピュータプログラム
WO2011033569A1 (ja) * 2009-09-17 2011-03-24 富士通株式会社 画像処理装置及び画像処理方法
KR101079894B1 (ko) * 2011-05-04 2011-11-04 유겐가이샤 지텍 터널 벽면 전개화상 취득 시스템
JP2014095627A (ja) * 2012-11-09 2014-05-22 West Nippon Expressway Engineering Shikoku Co Ltd 道路構造物の表面を調査する装置
JP2015170989A (ja) * 2014-03-07 2015-09-28 西日本高速道路エンジニアリング関西株式会社 トンネル壁面撮影装置
JP2016218555A (ja) * 2015-05-15 2016-12-22 三菱電機株式会社 撮像装置、撮像車両および通路沿い画像生成装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256633A (ja) * 1991-06-13 1993-10-05 East Japan Railway Co 鉄道トンネル覆工変状撮影方法
JPH0658738A (ja) * 1992-08-06 1994-03-04 Mitsubishi Electric Corp 3次元形状入力方式
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc 3次元物体形状認識方法及び装置
JPH11229800A (ja) * 1998-02-12 1999-08-24 Central Japan Railway Co トンネル壁面撮影装置
JP2004012152A (ja) * 2002-06-03 2004-01-15 Asia Air Survey Co Ltd 構造物の壁面調査装置
JP2010223753A (ja) * 2009-03-24 2010-10-07 Tokyo Electric Power Co Inc:The 画像処理装置、長尺物用検査装置及びコンピュータプログラム
WO2011033569A1 (ja) * 2009-09-17 2011-03-24 富士通株式会社 画像処理装置及び画像処理方法
KR101079894B1 (ko) * 2011-05-04 2011-11-04 유겐가이샤 지텍 터널 벽면 전개화상 취득 시스템
JP2014095627A (ja) * 2012-11-09 2014-05-22 West Nippon Expressway Engineering Shikoku Co Ltd 道路構造物の表面を調査する装置
JP2015170989A (ja) * 2014-03-07 2015-09-28 西日本高速道路エンジニアリング関西株式会社 トンネル壁面撮影装置
JP2016218555A (ja) * 2015-05-15 2016-12-22 三菱電機株式会社 撮像装置、撮像車両および通路沿い画像生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021102859A (ja) * 2019-12-25 2021-07-15 三菱電機株式会社 車両及び撮影方法
JP7329435B2 (ja) 2019-12-25 2023-08-18 三菱電機株式会社 車両及び撮影方法

Also Published As

Publication number Publication date
JP7002898B2 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP7448921B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
JP6373111B2 (ja) トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両
JP3715588B2 (ja) 構造物の壁面調査装置
TWI637164B (zh) 透明板狀體表面檢查用攝像系統
JP2007081695A (ja) 移動体撮像装置
JP6214271B2 (ja) 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
JP3765862B2 (ja) 車両用環境認識装置
CN106030680A (zh) 自身位置计算装置以及自身位置计算方法
JP2006214854A (ja) 路面画像作成装置と作成方法
JP7002898B2 (ja) 画像生成装置、画像生成プログラムおよび撮影車両
JP2008304248A (ja) 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム
JP5938327B2 (ja) 路面撮影システム及びトンネル壁面撮影システム
JPWO2020247195A5 (ja)
JP2007049276A (ja) 車載パノラマカメラシステム
CN101446641B (zh) 距离测量系统和距离测量方法
JP2007327803A (ja) 車両周辺監視装置
JP6456239B2 (ja) 撮像装置、撮像車両および通路沿い画像生成装置
JP6927694B2 (ja) トンネル覆工画像作成システム、および、トンネル覆工画像作成方法
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP7279438B2 (ja) 撮像装置、車両及び撮像方法
JP2005038035A (ja) 画像処理装置、画像処理方法およびプログラム
JP3239351B2 (ja) 距離測定装置及び距離測定方法
JPWO2019114889A5 (ja)
JP2004117186A (ja) 3次元形状測定装置
JP2638249B2 (ja) 車両用距離検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211228

R150 Certificate of patent or registration of utility model

Ref document number: 7002898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150