JP2020106275A - ステレオカメラおよび電動モビリティ - Google Patents

ステレオカメラおよび電動モビリティ Download PDF

Info

Publication number
JP2020106275A
JP2020106275A JP2018241972A JP2018241972A JP2020106275A JP 2020106275 A JP2020106275 A JP 2020106275A JP 2018241972 A JP2018241972 A JP 2018241972A JP 2018241972 A JP2018241972 A JP 2018241972A JP 2020106275 A JP2020106275 A JP 2020106275A
Authority
JP
Japan
Prior art keywords
pair
stereo camera
distance
detection range
lens units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018241972A
Other languages
English (en)
Inventor
星矢 清水
Seiya Shimizu
星矢 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Whill Inc
Original Assignee
Whill Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Whill Inc filed Critical Whill Inc
Priority to JP2018241972A priority Critical patent/JP2020106275A/ja
Priority to PCT/JP2019/050587 priority patent/WO2020138072A1/ja
Publication of JP2020106275A publication Critical patent/JP2020106275A/ja
Priority to US17/355,862 priority patent/US20210321079A1/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

【課題】一対のカメラの並設方向の視野角の限界に近いエリアの距離の誤差を補正し、正確な距離を算出する。
【解決手段】ステレオカメラ1は、一対のレンズユニット4R,4Lと、一対のレンズユニット4R,4Lを介して一対の画像を取得する撮像素子5R,5Lと、一対の画像に基づき、一対の画像の重複範囲である検出範囲DA内の複数の位置の距離を計算する距離計算部6dと、複数の位置の算出距離に、検出範囲DAにおける一対のレンズユニット4R,4Lの並設方向の位置に応じた補正を行う距離補正部6eと、を備え、補正が、検出範囲DAにおける並設方向の端部に近い程、算出距離の低減量が大きくなるものである。
【選択図】図1

Description

本発明は、ステレオカメラおよび電動モビリティに関するものである。
従来、ステレオカメラによってステレオ画像を取得し、物体の距離をステレオ画像から算出する技術が知られている(例えば、特許文献1,2参照。)。ステレオ画像を構成する右画像および左画像には、一対のカメラの各々のレンズの光学特性および製造誤差に起因する歪みが生じる。特許文献1,2では、右画像および左画像の各々の歪みを補正し、補正された右画像および左画像を距離の算出に使用している。
特開2011−022072号公報 特開2008−298589号公報
ステレオカメラにおいて物体の距離dは、一例として、下式から算出される。
距離d=基線長b×焦点距離f/視差θ
このように、視差θから算出される距離dには、基線長bおよび視差θが影響を与えるが、視野角の限界に近いエリアにおいて、基線長b、視差θ等に基づく上記距離dの計算と実際との差異が極めて大きくなる。特許文献1,2の技術は、前述したように、一対のカメラの各々の画像の歪みを補正することはできるが、並設方向の位置に依存する距離の誤差を補正することはできない。
本発明は、上述した事情に鑑みてなされたものであって、一対のカメラの並設方向の視野角の限界に近いエリアの距離の誤差を補正し、正確な距離を算出することができるステレオカメラおよびこれを備える電動モビリティを提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第1態様は、一対のレンズユニットと、該一対のレンズユニットを介して一対の画像を取得する撮像素子と、前記一対の画像に基づき、該一対の画像の重複範囲である検出範囲内の複数の位置の距離を計算する距離計算部と、該距離計算部によって算出された前記複数の位置の算出距離に、前記検出範囲における前記一対のレンズユニットの並設方向の位置に応じた補正を行う距離補正部と、を備え、前記補正が、前記検出範囲における前記並設方向の端部に近い程、前記算出距離の低減量が大きくなるものである、ステレオカメラである。
本態様において、撮像素子によって取得される一対の画像は、一対のレンズユニットに相当する一対の視点から検出範囲を見た、視差を有する画像である。距離計算部は、検出範囲内の各位置の視差から検出範囲内の各位置の距離を計算する。距離計算部によって算出される算出距離には、一対のレンズユニットの並設方向の計算上の位置等に依存する誤差が生じる。位置が検出範囲の並設方向の端部に近い程、その位置の視差はより小さくなり、誤差により算出距離はより大きくなる。
距離補正部は、並設方向の位置に応じて前記算出距離を小さくする方向に補正し、且つ、位置が検出範囲の並設方向の端部に近い程、距離の低減量が大きくなるように、算出距離を補正する。これにより、前記誤差の影響を低減し、正確な距離を算出することができる。
上記態様において、好ましくは、前記一対の画像の各々の歪みを補正する歪補正部がさらに設けられ、前記距離計算部が、前記歪補正部によって補正された前記一対の画像から前記距離を計算する。
一対の画像の各々には、レンズユニットのレンズ歪み等に起因する歪みが生じる。一対の画像の歪みは歪補正部によって補正される。このように、歪みが補正された一対の画像を用いることによって、検出範囲内の各位置の距離をより正確に算出することができる。
上記態様において、補正データを記憶する記憶部がさらに設けられ、前記補正データは、当該ステレオカメラの光軸に対する前記並設方向の角度である方位角と対応付けられた補正係数を含み、該補正係数は、前記方位角が当該ステレオカメラの前記検出範囲の限界に近付くにつれて小さくなり、前記距離補正部は、前記距離計算部によって算出された前記算出距離に前記補正係数を乗算してもよい。
この構成によれば、距離計算部によって算出された算出距離に補正係数を乗算するだけの簡便な計算によって、算出距離を適切に補正することができる。
上記態様において、好ましくは、前記方位角が前記検出範囲の限界に近い程、前記方位角に対する前記補正係数の変化率が大きくなる。
距離計算部によって算出される算出距離の実際の距離との差は、方位角が検出範囲の限界に近付くにつれて、より大きな増大率で増大する。上記構成によれば、補正係数によって距離をより正確に補正することができる。
上記態様において、好ましくは、前記方位角の大きさが65°以上の前記検出範囲において、前記補正係数が0.6以下である。
前述したように、算出距離の誤差は、方位角の大きさ(絶対値)が大きくなる検出範囲内の並設方向の端部において大きくなる。検出範囲の端部における算出距離の大きな誤差を精度良く補正するために、補正係数は、上記条件を満たすことが好ましい。
上記態様において、好ましくは、前記一対のレンズユニットの各々の前記並設方向の視野角が140°以上である。
距離補正部による距離の補正は、広角のレンズユニットを用いて取得された一対の画像から距離を算出する上で、特に有用である。
本発明の第2態様は、モビリティ本体と、該モビリティ本体を支持する車輪と、前記モビリティ本体に取付けられた上記いずれかに記載のステレオカメラと、を備える電動モビリティである。
本態様によれば、モビリティ本体の周辺の検出範囲内の物体に対する距離がステレオカメラによって検出される。したがって、ステレオカメラによって検出された距離に基づいて、検出範囲内の回避対象の存在を把握することができる。回避対象は、例えば、人、障害物、壁、溝、家具等である。
また、当該ステレオカメラは、距離計算部によって算出された複数の位置の算出距離に、一対のレンズユニットの並設方向の位置に応じた補正を行う距離補正部を備え、前記補正は、検出範囲におけるレンズユニットの並設方向の端部に近い程、算出距離の低減量が大きくなるものである。このように検出範囲におけるレンズユニットの並設方向の端部において算出距離が補正され、これは電動モビリティの周囲の回避対象の存在を正確に把握するために有利である。
第2態様において、好ましくは、前記ステレオカメラの前記一対のレンズユニットの一方の先端レンズが他方の先端レンズに対して上方に配置されている。
物体の距離を検出することができる検出範囲は、一方のレンズユニットを介して取得される画像と他方のレンズユニットを介して取得される画像との重複範囲である。一対のレンズユニットが横方向に並んでいるのではなく、一対のレンズユニットの一方の先端レンズが他方の先端レンズに対して上方に配置されている構成は、車輪の幅方向外側の死角および電動モビリティの側面等の幅方向外側の死角を少なくする上で有利である。
上記態様において、好ましくは、前記一方の前記先端レンズが前記他方の前記先端レンズに対して車両前後方向における前側に位置している。
当該構成は、上記のように死角が少なくなった状態で、ステレオカメラの検出範囲を電動モビリティの後方に広げることができる。例えば、一対のレンズユニットの一方の真下に他方が配置されていると、他方のレンズユニットによって一方のレンズユニットの真下の視野が妨げられる。上記構成は、一方のレンズユニットの下方の視野の妨げを防止又は少なくするために有利である。
第2態様において、好ましくは、前記一対のレンズユニットの光軸がそれぞれ斜め下方に向かって延びている。
当該構成は、電動モビリティの幅方向外側のエリア、車輪の幅方向外側のエリア等の物体の存在を正確に認識する上で有利である。
前記態様において、好ましくは、前記ステレオカメラの前記一対のレンズユニットがそれぞれ車両前方を向いている。
当該構成は、前記一対のレンズユニットの光軸がそれぞれ斜め下方に向かって延びている状態で、車両前方の物体の存在も正確に認識することができる。
第2態様において、好ましくは、前記ステレオカメラの前記一対のレンズユニットが互いに上下方向および/又は車両前後方向に並んでいる。
物体の距離を検出することができる検出範囲は、一方のレンズユニットを介して取得される画像と他方のレンズユニットを介して取得される画像との重複範囲である。一対のレンズユニットが横方向に並んでいるのではなく、一対のレンズユニットが互いに上下方向および/又は車両前後方向に並んでいる構成は、車輪の幅方向外側の死角および電動モビリティの側面等の幅方向外側の死角を少なくする上で有利である。
第2態様において、好ましくは、前記ステレオカメラが、前記モビリティ本体のアームレスト又はコントロールアームに取付けられ、前記アームレストおよび前記コントロールアームは、運転者が腕および手の少なくとも一方を載せるものである。
運転者は自らの手の位置および腕の位置を容易に視認することができる。また、運転者は、自らの手の位置および腕の位置を見ていない場合でも、自らの手の大凡の位置および腕の大凡の位置を直感的に認識することもできる。このため、コントロールアームやアームレストにステレオカメラが設けられる当該構成は、ステレオカメラの壁等との衝突を防止する上で有利である。
第2態様において、好ましくは、2つの前記ステレオカメラが前記モビリティ本体に左右対称となるように取付けられている。
2つのステレオカメラによって、左右両方の車輪の幅方向外側の回避対象の有無が監視される。運転者が目視確認によって左右両側の回避対象を全て確実に把握することは難しいので、上記構成は家屋内およびオフィス内で極めて有用である。
第2態様において、好ましくは、前記車輪が前輪であり、前記ステレオカメラの前記検出範囲が、前記前輪の車両幅方向外側のエリアを含む。
この構成によれば、前輪の周辺に存在する回避対象を把握することができる。
第2態様において、好ましくは、前記モビリティ本体に設けられ前記車輪又は他の車輪を駆動するモータと、前記モータを制御する制御ユニットと、がさらに設けられ、前記制御ユニットが、前記距離補正部によって補正された距離に基づいて前記併設方向の位置に対応する方位角が前記検出範囲の限界に近いエリアの回避対象を検出し、該回避対象を回避するための回避動作を行う。
例えば、一対のレンズユニットが上下方向に並ぶように配置され、一対のレンズユニットが前方に向いている場合は、電動モビリティの車輪の幅方向外側のエリアが、方位角が検出範囲の限界に近いエリアに入る。当該構成では、方位角が検出範囲の限界に近いエリアにおいて回避対象が正確に検出され、これは電動モビリティの周囲に存在する物体を正確に把握する上で有利である。
第2態様において、好ましくは、前記方位角が前記検出範囲の限界に近いエリアは、前記検出範囲の限界に対応する限界方位角と、前記限界方位角から前記ステレオカメラの光軸側に15°移動した位置である限界近接方位角との間のエリアである。
第2態様において、好ましくは、前記電動モビリティは、一人が着座して乗るものである。
本発明によれば、一対のカメラの並設方向の視野角の限界に近いエリアの距離の誤差を補正し、正確な距離を算出することができるという効果を奏する。
本発明の一実施形態に係るステレオカメラの全体構成を示すブロック図である。 ステレオカメラに関するパラメータを説明する図である。 X方向角(方位角)が異なる2つの位置の視差の差異を説明する図である。 補正データにおける補正係数群の一例を示す図である。 (a)点群から構成されたモデルと、(b)(a)視差から算出された距離に基づいて再構成されたモデルと、(c)補正データを用いて補正された距離に基いて再構成されたモデルとを示す図である。 本発明の一実施形態に係る電動モビリティの前方斜視図である。 本実施形態の前記電動モビリティの後方斜視図である。 本実施形態の前記電動モビリティの平面図である。 本実施形態の前記電動モビリティの一部の部品を取外した状態のモビリティ本体の底面図である。 本実施形態の前記電動モビリティの前輪の幅方向内側から見た図である。 本実施形態の前記電動モビリティの前記前輪、サスペンション等の平面図である。 本実施形態の電動モビリティの制御ユニットのブロック図である。 本実施形態の電動モビリティの側面図である。 本実施形態の電動モビリティの要部平面図である。 本実施形態の電動モビリティの要部正面図である。 本実施形態の電動モビリティの側面図である。
以下に、本発明の一実施形態に係るステレオカメラ1およびこれを備える電動モビリティ100について図面を参照して説明する。
本実施形態に係るステレオカメラ1は、図1に示されるように、一対のカメラ2R,2Lと、一対のカメラ2R,2Lによって取得された一対の画像を処理する画像処理装置3とを備えている。
一方のカメラ2Rは、レンズユニット4Rと、レンズユニット4Rを介してレンズユニット4Rの視野の画像(右画像)を取得する撮像素子5Rとを備えている。他方のカメラ2Lは、レンズユニット4Lと、レンズユニット4Lを介してレンズユニット4Lの視野の画像(左画像)を取得する撮像素子5Lとを備えている。一対のレンズユニット4R,4Lは、カメラ本体6(図6および図13参照。)によって支持され、カメラ本体6の内部に撮像素子5R,5Lが設けられている。各撮像素子5R,5Lは、CMOSイメージセンサ等の周知のセンサである。各撮像素子5R,5Lは、画像処理装置3に接続されている。
一対のレンズユニット4R,4Lの光軸LAは、相互に平行又は略平行である。各レンズユニット4R,4Lは、魚眼レンズのような広角レンズである。各カメラ2R,2Lの視野角(全画角)は、140°以上であることが好ましく、160°以上であることがより好ましく、180°以上であることがさらに好ましい。
以下の説明において、XYZ直交座標系を用いる。X方向は、レンズユニット4R,4Lの並設方向であり、Z方向は、レンズユニット4R,4Lの光軸LAに平行な方向であり、Y方向は、X方向およびZ方向に直交する方向である。
ステレオカメラ1は、一対の撮像素子5R,5Lによって、視差を有する一対の画像を取得する。説明の便宜上、一対の画像の各々の横方向はX方向に対応し、一対の画像の各々の縦方向は、Y方向に対応する。一対の撮像素子5R,5Lの撮像範囲の内、相互に重複する範囲が、一対の画像から距離dを算出することができる検出範囲DAである。
ステレオカメラ1は、単一の撮像素子によって一対の画像を取得するように構成されていてもよい。例えば、単一の撮像素子の一側の撮像領域に一方のレンズユニット4Rによって像が形成され、単一の撮像素子の他側の撮像領域に他方のレンズユニット4Lによって像が形成されてもよい。
図2は、ステレオカメラ1に関するパラメータを説明している。基線長bは、カメラ2R,2L(レンズユニット4R,4L)の光軸LA間の距離である。距離dは、検出範囲DA内の位置Pのカメラ中心Cからの距離である。カメラ中心Cは、一対のレンズユニット4R,4L間の中心である。視差θは、一対のレンズユニット4R,4Lから見た位置Pの方向の差である。X方向角(方位角)αは、レンズユニット4Lから位置Pを見たときの光軸LAに対するX方向の角度である。X方向角(方位角)βは、レンズユニット4Rから位置Pを見たときの光軸LAに対するX方向の角度である。光軸LAは、カメラ中心Cを通るステレオカメラ1の光軸である。ステレオカメラ1の光軸LAは、カメラ2R,2Lの一方の光軸であってもよい。視差θおよびX方向角α,βの間には、θ=|α−β|の関係が成立する。Y方向角(仰角)γは、レンズユニット4R,4Lから位置Pを見たときのY方向の角度である。
画像処理装置3は、図1に示されるように、CPU(中央演算処理装置)のようなプロセッサを少なくとも有する処理部3Aと、RAM、ROM、および不揮発性メモリ等を有する記憶部3Bとを備える。
処理部3Aは、一対の画像の各々の歪みを補正する歪補正部6aと、歪みが補正された一対の画像間のずれを補正するずれ補正部6bと、歪みおよびずれが補正された一対の画像から視差画像を作成する視差画像作成部6cと、視差画像から距離dを計算する距離計算部6dと、距離dを補正する距離補正部6eと、補正された距離d’に基づいて点群データ(3次元画像)を作成する3次元画像作成部6fとを備えている。各部6a,6b,6c,6d,6e,6fの後述する機能は、記憶部3Bに格納されている画像処理プログラム(図示せず)に従って処理部3Aのプロセッサが処理を実行することによって、実現される。
記憶部3Bには、ステレオカメラ1の内部パラメータ7R,7Lおよび外部パラメータ8が予め記憶されている。
内部パラメータ7Rは、カメラ2Rの固有の光学特性に関するパラメータであり、例えば、カメラ2Rの光学中心、焦点距離およびレンズ歪み等に関する補正を行うための行列又は関数として表現される。内部パラメータ7Lは、カメラ2Lの固有の光学特性に関するパラメータであり、例えば、カメラ2Lの光学中心、焦点距離およびレンズ歪み等に関する補正を行うための行列又は関数として表現される。
外部パラメータ8は、一対のカメラ2R,2Lの相対位置および相対姿勢の補正を行うためのパラメータであり、例えば、回転行列および並進行列として表現される。
内部パラメータ7R,7Lおよび外部パラメータ8は、例えば、チェスボードのような格子パターンが描かれたボードを使用した公知のカメラキャリブレーションによって求められる。
また、記憶部3Bには、距離dの誤差の補正用の補正テーブル9が予め記憶されている。補正テーブル9において、X方向角(方位角)αとX方向角(方位角)βとの各組み合わせに補正係数が対応付けられている。なお、X方向角α,βのうち例えば一方のX方向角(方位角)αに補正係数が対応付けられていてもよい。
図3に示されるように、距離dが等しい2つの位置P1,P2を考える。位置P1は、X方向において検出範囲DAの中心(カメラ中心Cの正面)に存在する。位置P2は、X方向において位置P1よりも検出範囲DAの端の近くに存在する。図3の例において、各カメラ2R,2Lの視野角は180°(−90°〜+90°)である。つまり、ステレオカメラ1から見た検出範囲(角度範囲)DAも180°程度である。電動モビリティ100用のステレオカメラ1の場合、視野角は、140°(−70°〜+70°)以上であればよく、160°(−80°〜+80°)以上であることがより好ましい。位置P2の視差θ2は、位置P1の視差θ1に比べて小さくなる。視差θ1に対する視差θ2の比率は、基線長bと、位置P2のX方向角α,βおよびY方向角γと、によって一意に決まる。この比率が、補正係数である。したがって、補正係数は、0よりも大きく1以下の値である。
補正テーブル9は、ステレオカメラ1の光学設計(基線長b)に応じて決まる。したがって、同一の光学設計(基線長b)のステレオカメラ1には共通の補正テーブル9を使用することができる。
図4は、補正係数の一例を示している。図4において、1つの点が1つの補正係数を表している。図4に示されるように、X方向角α,βが視野角の限界(±90°)に近付くにつれて、補正係数は減少する。例えば、検出範囲DAにおいて、視野角であるX方向角αが±90°に近いエリアにおいて、補正係数が減少する。この例において、補正係数は、X方向角α,βおよびY方向角γのうち、X方向角α,βのみに依存して変化する。
なお、補正係数が、X方向角α,βのみではなく、Y方向角γにも依存して変化するものであってもよい。
一例において、X方向角(方位角)α,βの少なくとも一方の大きさ(絶対値)が75°以上の範囲では、補正係数は、0.3以下である。また、X方向角(方位角)α,βの少なくとも一方の大きさ(絶対値)が70°以上の範囲では、補正係数は、0.4以下である。また、X方向角α,βの少なくとも一方の大きさ(絶対値)が65°以上の範囲では、補正係数は、0.6以下である。
歪補正部6aは、撮像素子5Rから右画像を受信し、撮像素子5Lから左画像を受信する。右画像には、カメラ2Rのレンズ歪み等に起因する歪みが生じる。左画像には、カメラ2Lのレンズ歪み等に起因する歪が生じる。歪補正部6aは、カメラ2Rの内部パラメータ7Rに基づいて右画像の歪みを補正し、カメラ2Lの内部パラメータ7Lに基づいて左画像の歪みを補正する。
カメラ2R,2L間の相対位置および相対姿勢には、製造誤差等が原因で設計値からのずれが生じる。このカメラ2R,2L間の物理的(幾何学的)なずれに起因するずれが右画像と左画像との間に生じる。ずれ補正部6bは、外部パラメータ8に基づいて、右画像と左画像との間のずれを補正する。例えば、ずれ補正部6bは、外部パラメータ8に基づいて、右画像および左画像の一方を回転および並進させる。
視差画像作成部6cは、歪みおよびずれが補正された右画像および左画像から検出範囲DA内の各位置の視差θを算出し、各画素が視差θの情報を有する視差画像を作成する。
例えば、左画像を基準に視差画像を作成する場合、視差画像作成部6cは、左画像の1つの画像を注目画素に設定し、注目画素と対応する右画像の画素をステレオマッチングによって検出し、注目画素と対応する画素との間のX方向のずれ量(画素数)を算出する。左画像における各画素のX方向の位置は、X方向角αに相当する。右画像における各画素のX方向の位置は、X方向角βに相当する。したがって、X方向のずれ量は、視差θに相当する。視差画像作成部6cは、X方向のずれ量を左画像の注目画素に与える。視差画像作成部6cは、左画像の検出範囲DA内の全ての画素を順番に注目画素に設定し、同じ処理を繰り返すことによって、視差画像を作成する。
距離計算部6dは、視差画像の各画素の視差θおよび基線長bから距離dを計算する。例えば、距離計算部6dは、下式(1)から距離dを算出する。
d=b/θ …(1)
距離補正部6eは、距離計算部6dによって算出された各画素の距離(算出距離)dを補正データを用いて補正する。
具体的には、距離補正部6eは、例えば視差画像の各画素のX方向角(方位角)αに対応する補正係数を補正テーブル9から選択する。補正テーブルにおいて補正係数がY方向角γにも対応付けられている場合、距離補正部6eは、各画素のX方向角(方位角)αおよびY方向角(仰角)γに対応する補正係数を補正テーブル9から選択する。次に、距離補正部6eは、選択された補正係数を距離dに乗算することによって、補正された距離d’を得る。前述したように、補正係数は0よりも大きく1以下の値である。したがって、距離補正部6eは、距離dを小さくなる方向に補正し、補正された距離d’は補正前の距離d以下である。X方向角α,βが視野角の限界に近い程、補正係数は小さくなり、距離dに対する距離d’の低減量が大きくなる。
3次元画像作成部6fは、視差画像の各画素のX方向およびY方向の位置ならびに補正された距離d’に基づいて、点群データ(点群画像)を作成する。点群データは、検出範囲DA内の各画素に対応する点の3次元座標を含むデータである。点群データ内の各点を3次元座標空間にマッピングすることによって点群画像を作成することができる。3次元画像作成部6fは、点群データに代えて、又はこれに加えて、各画素が距離d’の情報を有する距離画像データを作成してもよい。
図5(a)から(c)は、画像処理装置3による画像処理のシミュレーション結果を示している。
図5(a)は、点群から構成される直方体のモデルMを示している。
モデルMの各点の座標に基づいて視差θを計算し、視差θから距離dを算出した。
図5(b)は、距離dに基づいて再構成されたモデルM’の点群画像である。図5(b)において、X方向角α,βが0°に近い中心部分では、モデルM’は、モデルMと類似の形状を有する。一方、X方向角α,βが視野角の限界に近い部分では、視差θから算出される距離dが、実際の距離よりも大きいため、モデルM’X方向に大きく変形し、発散したようになる。このエリアでは、実際にはステレオカメラ1の近くに存在する物体が、点群画像上ではステレオカメラ1から遠くに存在する物体として認識されることを意味する。
図5(c)は、補正された距離d’に基づいて再構成されたモデルM”の点群画像である。図5(c)において、広い視野角(−90°〜+90°)の全範囲において、モデルM”は、モデルMの形状を正確に再現している。
このように、一対の画像の視差θから算出される距離dには、X方向角α,βおよびY方向角γに依存する誤差が生じる。誤差を生じさせる支配的要因は、図5(b)から明らかなように、X方向角α,βである。本実施形態によれば、補正テーブル9を用いて距離dが距離d’に補正され、X方向角α,βが視差角の限界に近い程(すなわち、位置が検出範囲DAのX方向の端部に近い程)、距離dに対する距離d’の低減量が大きくなる。これにより、X方向角α,βに依存する距離dの誤差を補正し、正確な距離d’を算出することができる。
一対の画像の視差θから算出される距離dには、Y方向角γに依存する誤差が生じる場合もある。したがって、図5(a)〜(c)に示されるように、Y方向角γの方向にも補正係数が変化する補正テーブル9を使用した場合には、Y方向角γに依存する距離dの誤差も補正し、より正確な距離d’を算出することができる。
式(1)から分かるように、視差θから算出される距離dの実際の距離との誤差は、例えばX方向角(方位角)αが視野の限界に近付くにつれて、つまり、X方向角(方位角)αが検出範囲DAの限界に近付くにつれて、より大きな増大率で増大する。したがって、補正テーブル内の補正係数は、図4および図5(a),(b)に示されるように、X方向角(方位角)αが検出範囲DAの限界に近付くにつれて、より大きな減少率で減少することが好ましい。
このような補正係数によれば、距離dの誤差をより高精度に補正し、より正確な距離d’を得ることができる。
本実施形態においては、距離補正部6eが、検出範囲DA内の全ての位置の距離dを補正することしたが、これに代えて、検出範囲DAの所定領域内の位置の距離dのみを補正してもよい。
所定領域とは、X方向角α,βに依存する距離dの誤差が大きくなる、検出範囲DAのX方向の両端部の領域である。例えば、所定領域は、X方向角α,βの少なくとも一方の大きさ(絶対値)が、60°以上の領域である。
本実施形態においては、距離補正部6eが、補正テーブル9を用いて距離dを補正することとしたが、これに代えて、基線長bおよびX方向角α,βから、補正された距離d’を算出してもよい。
例えば、距離補正部6eは、基線長b、X方向角α,βおよびY方向角γを変数とする所定の関数から、補正された距離d’を算出してもよい。所定の関数は、X方向角α,βが視野角の限界に近い程、距離dに対する距離d’の低減量が大きくなるように、設計されている。このような所定の関数は、例えば、実験的に、又はシミュレーションによって決定される。
本発明の一実施形態に係る電動モビリティ100が、図面を用いながら以下説明されている。
この電動モビリティ100は、図6〜図9に示されるように、一対の前輪10と、一対の後輪20と、前輪(車輪)10および後輪(車輪)20によって支持されたモビリティ本体30とを備える。モビリティ本体30は、例えば、前輪10および後輪20によって支持されたボディ31と、ボディ31に取付けられた座席ユニット40と、一対の前輪10および一対の後輪20の少なくとも一方を駆動するためのモータ50とを有する。本実施形態では、モータ50はボディ31に取付けられ、座席ユニット40はボディ31から取外せる。この電動モビリティ100は一人が着座して乗るものである。
図8および図9に示す車両前後方向は以下の説明で前後方向として説明される場合があり、図8および図9に示す車両幅方向は以下の説明で幅方向又は左右方向として説明される場合がある。なお、車両前後方向とモビリティ本体30の前後方向は一致しており、車両幅方向とモビリティ本体30の幅方向は一致している。本実施形態では、一対の前輪10の径方向の中心は車両幅方向に並んでおり、一対の後輪20の径方向の中心も車両幅方向に並んでおり、車両前後方向は車両幅方向と直交している。
本実施形態では、一対の後輪20はそれぞれモータ50と接続され、各モータ50は対応する後輪20を駆動する。各モータ50の駆動力は対応する前輪10に動力伝達手段によって伝達される。動力伝達部材はベルト、ギヤ等である。
各前輪10は、図9〜図11に示すように、車軸11およびサスペンション12を用いてボディ31に支持されている。また、前輪10の接地面は、前輪10の周方向に並ぶ複数のローラ13によって形成されている。
サスペンション12は、支持部材12aと、コイルスプリング等の付勢部材12bとを有する。支持部材12aの一端側はボディ31の前端側に支持され、支持部材12aは車両幅方向に延びる第1の軸線A1周りに傾動可能である。付勢部材12bは支持部材12aの他端側を車両前方に向かって付勢している。前輪10の車軸11は支持部材12aに固定されている。また、図11に示すように、前後方向に直角である水平線HLに対して、車軸11の中心軸線である第2の軸線A2は前方に傾いている。平面視において第2の軸線A2と水平線HLとのなす角度αが2°〜15°となっていることが好ましいが、条件によってはその他の角度であってもよい。
本実施形態では、付勢部材12bの付勢力に抗して支持部材12aの他端はボディ31に対し車両後方に移動できる。このため、ローラ13の接地面との衝突によって生ずる振動がより効果的に低減される。なお、前輪10はトーイン状態に配置されていなくてもよい。振動の低減は、ステレオカメラ1による物体の検出の正確性を向上する上で有利である。
各前輪10は、車軸11に取付けられたハブ14と、ハブ14に支持された複数のローラ支軸(図示せず)とを備え、複数のローラ13はそれぞれローラ支軸に回転可能に支持されている。なお、ハブ14が車軸11にベアリング等を用いて取付けられていてもよく、ハブ14が車軸11に緩衝部材、中間部材等を用いて取付けられていてもよい。各ローラ支軸の軸線は、車軸11の径方向に交差する方向に延びている。
各ローラ13は対応するローラ支軸の軸線周りに回転する。つまり、各前輪10は走行面に対して全方向に移動する全方向車輪である。
各ローラ13の外周面はゴム状弾性を有する材料を用いて形成され、各ローラ13の外周面にはその周方向に延びる複数の溝が設けられている(図10および図11参照)。
本実施形態では、各後輪20は、図示しない車軸と、車軸に取付けられたハブ21と、ハブ21の外周側に設けられ、外周面がゴム状弾性を有する材料を用いて形成された外周部材22とを有するが、前輪10と同様に全方向車輪を用いてもよい。後輪20の車軸はモータ50の主軸と共通でもよい。
ボディ31の構造は適宜変更可能である。本実施形態では、地面に沿って延びるベース部32と、ベース部32の後端側から上方に延びている座席支持部33とを有する。座席支持部33は車両前方に傾斜しており、座席支持部33の上端側に座席ユニット40が取付けられている。
本実施形態のベース部32は、前輪10のサスペンション12および後輪20のモータ50を支持している金属製のベースフレーム32aと、ベースフレーム32aを少なくとも部分的に覆うプラスチック製のカバー部32bとを有する。カバー部32bは、座席ユニット40に座る運転者の足を載せる部分、荷物を載置する部分等として使用される。カバー部32bは、一対の前輪10をそれぞれ上方から覆う一対のフェンダー32cも備えている。各フェンダー32cは、一例では、前輪10を覆う機能だけを有する。各フェンダー32cは、他の例では、ボディ31の剛性を強化する機能も有する。また、各フェンダー32cが前輪10の一部のみを覆う場合もある。
本実施形態では、座席ユニット40はその下部にシャフト40aを有し、シャフト40aが座席支持部33の上端側に取付けられる。座席支持部33の背面には充電可能なバッテリBAが取付けられ、座席支持部33内には後述する制御ユニット60が配置されている。
座席ユニット40は、運転者が座る座面部41と、背凭れ部42と、右のコントロールアーム43と、左のコントロールアーム43とを有する。
各コントロールアーム43の上面にはアームレスト43aが固定されている。例えば、運転者は一対のコントロールアーム43のアームレスト43aに両腕をそれぞれ置く。また、運転者は一対のコントロールアーム43の上端に両手をそれぞれ置く。本実施形態ではコントロールアーム43とアームレスト43aの両方が設けられているが、コントロールアーム43又はアームレスト43aのみが設けられていてもよい。この場合、運転者は、コントロールアーム43の上に腕および手の少なくとも一方を置き、又は、アームレスト43aの上に腕および手の少なくとも一方を置く。
右側のコントロールアーム43の上端には操作レバー44aを有する操作部44が設けられている。力が加えられていない状態では、操作レバー44aは操作部44内に配置された付勢部材(図示せず)によって中立位置に配置される。運転者は、右手によって、操作レバー44aを中立位置に対して右方向、左方向、前方向、および後方向に変位させることができる。
操作レバー44aの変位方向および変位量に応じた信号が操作部44から後述する制御ユニット60に送信され、受信する信号に応じて制御ユニット60が各モータ50を制御する。例えば、操作レバー44aが中立位置に対し前方向に変位すると、各モータ50を車両前方に向かって回転させる信号が送信される。これにより、電動モビリティは操作レバー44aの変位量に応じた速度で前進する。また、操作レバー44aが中立位置に対し左斜め前方に変位すると、左側のモータ50を右側のモータ50よりも遅い速度で車両前方に向かって回転させる信号が送信される。これにより、電動モビリティが操作レバー44aの変位量に応じた速度で左に曲がりながら前進する。
左側のコントロールアーム43の上端には、電動モビリティに関する各種設定を行うための設定部45が設けられている。各種設定の例として、最高速度の設定、運転モードの設定、電動モビリティのロックの設定がある。
左右のコントロールアーム43の各々には報知装置46が設けられている。各報知装置46は音声発生装置、表示装置、振動発生装置等である。振動発生装置はコントロールアーム43の上端側の一部、操作部44、設定部45等を例えば数十Hzで振動させるものである。
制御ユニット60は、図12に示すように、各モータ50を駆動するモータドライバ70と、制御装置80とを有する。
モータドライバ70はバッテリBAに接続されている。また、モータドライバ70は各モータ50にも接続されており、モータドライバ70は各モータ50に駆動電力を供給する。
制御装置80は、図12に示すように、CPU、RAM等を有する制御部81と、不揮発性メモリ、ROM等を有する記憶装置82と、送受信部83とを有する。記憶装置82には電動モビリティを制御するための走行制御プログラム82aが格納されている。制御部81は走行制御プログラム82aに基づき作動する。制御部81は、操作部44および設定部45からの信号に基づき、各モータ50を駆動するための駆動信号をモータドライバ70に送信する。
2つのステレオカメラ1が右のコントロールアーム43の上端側および左のコントロールアーム43の上端側にそれぞれ取付けられている。2つのステレオカメラ1の各撮像素子5R,5Lは画像処理装置3に接続され、本実施形態では画像処理装置3は制御装置80内に設けられている。画像処理装置3が制御装置80外に設けられていてもよい。
一例では、図14に示すように、左側のコントロールアーム43に設けられたステレオカメラ1の検出範囲DAに、少なくとも左側の前輪10の一部又は左側の前輪10のフェンダー32cの一部が入る。また、当該検出範囲DAには、左側の前輪10に対して幅方向外側のエリアが入る。
同様に、右側のコントロールアーム43に設けられたステレオカメラ1の検出範囲DAに、少なくとも、右側の前輪10の一部又は右側の前輪10のフェンダー32cの一部が入る。また、当該検出範囲DAには、右側の前輪10に対して幅方向外側のエリアが入る。
ここで、例えば図13に示すように、ステレオカメラ1の検出範囲DAは、一対の撮像素子5R,5Lによる撮像範囲が重複する範囲である。
また、図14に示すように、ステレオカメラ1の各レンズユニット4R,4Lの光軸LAは、幅方向外側に向かって斜めに延びている。具体的には、図14に示す平面視において、各レンズユニット4R,4Lの光軸LAは、前後方向に対して角度βをなす方向に延びている。一例では、角度βは5°〜30°である。
また、図6、図13等に示されるように、ステレオカメラ1の一対のレンズユニット4R,4Lの一方の先端レンズ4Raが他方の先端レンズ4Laに対して上方に配置されている。つまり、先端レンズ4Raは先端レンズ4Laよりも高い位置に配置されている。
また、図13等に示されるように、一方の先端レンズ4Raが他方の先端レンズ4Laに対して車両前後方向における前側に位置している。つまり、先端レンズ4Raは先端レンズ4Laよりも前側に配置されている。
また、図13等に示されるように、一対のレンズユニット4R,4Lの光軸LAがそれぞれ斜め下方に向かって延びている。
また。図8、図13等に示されるように、一対のレンズユニット4R,4Lがそれぞれ車両前方を向いている。なお、前記角度βが40°以下であり、レンズユニット4R,4Lの光軸LAが水平方向と成す角度が40°以下であれば、一対のレンズユニット4R,4Lが車両前方を向いていると言える。なお、前記各角度は30°以下であることが好ましい。
別の言い方をすると、ステレオカメラ1の一対のレンズユニット4R,4Lが互いに上下方向および/又は車両前後方向に並んでいる。
図14は検出範囲DAの一部を示しており、検出範囲DAは図14に示す範囲の前方にも存在する。図14に示すように、本実施形態では、左側のステレオカメラ1の検出範囲DAには、左側の前輪10の一部、左側の前輪10のフェンダー32cの一部、および左側の前輪10に対し幅方向外側の走行面が入っている。走行面に障害物、壁、溝等の回避対象が存在する場合、ステレオカメラ1の検出範囲DAにこれら回避対象が入る。右側のステレオカメラ1の検出範囲DAも左側のステレオカメラ1の検出範囲DAと同様である。
制御装置80の制御部81は、記憶装置82に格納されている回避制御プログラム82bに基づき作動する。制御部81は、3次元画像作成部6fにより作成された点群データ(点群画像)において、前輪10又はフェンダー32cが接触する可能性のある回避対象を検出する。回避対象は、例えば、障害物、人、動物、植物である。障害物は、例えば、壁、大きな石、段差等である。他の例では、制御部81は、距離画像中において、前輪10が落下する又は嵌る可能性のある段差、穴、溝等の回避対象を検出する。
図13では、ステレオカメラ1のX方向角(方位角)αにおいて、各カメラ2R,2Lの視野角は140°(±70°)程度である。このため、ステレオカメラ1から見た検出範囲(角度範囲)DAも140°程度である。
ここで、前述の前輪10又はフェンダー32cが接触する可能性のある回避対象は、検出範囲DAにおけるX方向角αが70°近いエリアにあらわれる可能性が高い。例えば、X方向角αが65°以上のエリアに回避対象があらわれる可能性が高い。
制御部81は、例えば検出範囲DAにおける所定の範囲AR1に前輪10又はフェンダー32cが接触する可能性のある回避対象が検出された時に、回避動作のための制御指令によって各モータ50を制御する。他の例では、制御部81は、例えば検出範囲DAにおける所定の範囲AR1に前輪10又はフェンダー32cが接触する可能性のある回避対象が検出された時に、報知装置46を作動させる。また、制御部81は、例えば検出範囲DAにおける所定の範囲AR1に前輪10が落下する又は嵌る可能性のある回避対象を検出した時に、回避動作のための制御指令によって各モータ50を制御する。他の例では、制御部81は、例えば検出範囲DAにおける所定の範囲AR1に前輪10が落下する又は嵌る可能性のある回避対象を検出した時に、報知装置46を作動させる。回避動作の例は、各モータ50の回転速度の低下、停止、回避対象側への電動モビリティの移動を制限するための各モータの制御等である。他の例では、回避動作として、制御部81は報知装置46によって左右のコントロールアーム43の上端部を振動させる。さらに他の例では、回避動作として、制御部81は報知装置46によって警報音を発生させる。
制御部81は、例えば、左右のうち一方について、例えば検出範囲DAにおける所定の範囲AR1に前輪10又はフェンダー32cの接触、落下、又は嵌りの可能性を検出した時に、当該一方のコントロールアーム43の上端部を報知装置46によって振動させる。これにより、運転者は接触、落下、又は嵌りの可能性がある方向を直感的に認識することができる。
なお、ステレオカメラ1の検出範囲DAのどこかで回避対象が検出された時に前記回避動作が行われてもよい。
ここで、ステレオカメラ1の画像処理装置3は、X方向角(方位角)αが視野の限界に近いエリアにおいて、距離計算部6dによって得られる距離dを大幅に補正する。これにより、X方向角(方位角)αが視野の限界に近いエリアについても、正確な距離検出を行うことが可能となる。
また、図13において、ステレオカメラ1のX方向角(方位角)αにおいて、各カメラ2R,2Lの視野角が180°(±90°)程度である場合は、後輪20の幅方向外側のエリアにあらわれる回避対象の検出も可能となる。後輪20が全方向車輪である場合もあり、その場合、後輪20の幅方向外側のエリアにあらわれる回避対象の検出は特に有用である。
このように、本実施形態の構成を用いると、ステレオカメラ1の検出範囲DAには、前輪10の幅方向外側のエリアが入る。一例では、ステレオカメラ1の検出範囲DAには、少なくとも、前輪10の一部又は前輪10のフェンダー32cの一部が入る。当該構成は、前輪10の幅方向外側に存在する回避対象と前輪10との関係を確実に把握する上で極めて有用である。
また、前輪10の幅方向外側の走行面における前輪10の近傍を運転者が目視するためには、運転者は姿勢を変える必要がある。本実施形態では、前輪10の幅方向外側の走行面における前輪10の近傍がステレオカメラ1の検出範囲DAに入っているので、運転者による監視の負担が軽減される。
特に、家屋内又はオフィス内において電動モビリティを運転する際に、運転者は、家具、壁等の回避対象との接触に気を付ける必要がある。また、運転者は、階段等の回避対象への侵入に気を付ける必要がある。家屋内又はオフィス内には様々な種類の回避対象が存在する。このため、運転者が目視確認によってこれら回避対象を全て確実に把握することは難しい。従って、本実施形態の構成は家屋内やオフィス内で極めて有用である。
なお、左側の後輪20の一部および左側の後輪20のフェンダーの一部の少なくとも一方が左側のステレオカメラ1の検出範囲DAに入るように、左側のステレオカメラ1が例えば座席ユニット40、ボディ31、座席ユニット40又はボディ31から延びるポール、左のコントロールアーム43、そのアームレスト43a等に取付けられていてもよい。
また、右側の後輪20の一部および右側の後輪20のフェンダーの一部の少なくとも一方が右側のステレオカメラ1の検出範囲DAに入るように、右側のステレオカメラ1が例えば座席ユニット40、ボディ31、座席ユニット40又はボディ31から延びるポール、右のコントロールアーム43、そのアームレスト43a等に取付けられていてもよい。
また、図13に示すように、ステレオカメラ1の一対のレンズユニット4R,4Lは、互いに横方向に並んでいるのではなく、互いに上下方向に並んでいる。前述のようにステレオカメラ1の検出範囲DAは一対の撮像素子5R,5Lによる撮像範囲が重複する範囲である。このため、一対のレンズユニット4R,4Lが互いに上下方向に並ぶように配置されている本実施形態の構成は、図15に示すように前輪10の幅方向外側の死角を少なくする又は無くす上で有利である。
家屋内又はオフィス内において電動モビリティの方向転換等を行う際に、多くの場合、電動モビリティの周りに広いスペースが無い。さらに、運転者が電動モビリティに座りながら机で作業をする場合、電動モビリティの前端側が机の下に入り込む。この場合、前輪10の幅方向外側の走行面における前輪10の近傍は、運転者から極めて見え難い。これらの状況の中で、前輪10の幅方向外側の死角を少なくする上記構成は極めて有用である。
なお、一対のレンズユニット4R,4Lが互いに前後方向に並んでいてもよく、一対のレンズユニット4R,4Lが互いに上下方向および前後方向に並んでいてもよい。これらの構成も前輪10の幅方向外側の死角を少なくする又は無くす上で有利である。
また、本実施形態では、各ステレオカメラ1のレンズユニット4R,4Lの幅方向の位置は、対応する前輪10の幅方向の位置と重複している。なお、本実施形態では、レンズユニット4R,4Lの幅方向の位置は、レンズユニット4R,4Lが存在している幅方向の範囲であり、前輪10の幅方向の位置は、前輪10が存在している幅方向の範囲である。この構成は、図15に示すように前輪10の幅方向外側の死角を少なくする上で有利である。
なお、別の例では、各ステレオカメラ1のレンズユニット4R,4Lが、対応する前輪10の幅方向外側の走行面の上方に配置される。当該構成は前輪10の幅方向外側の死角をより少なくすることができ、又は、無くすことができる。
また、本実施形態では、各ステレオカメラ1が、対応するコントロールアーム43に取付けられている。コントロールアーム43は運転者の手および腕が乗せられる部分である。各コントロールアーム43は、座席ユニット40に着座した運転者の胴に対して幅方向外側に配置されることが多い。また、各コントロールアーム43は、座席ユニット40に着座した運転者の大腿に対して幅方向外側に配置されることが多い。このため、上記構成は、運転者の身体によって各ステレオカメラ1の検出範囲DAが妨げられる可能性を低減する。
なお、座席ユニット40に、一対のコントロールアーム43の代わりに一対のアームレスト43aを設けることも可能である。例えば、ステレオカメラ1をアームレスト43aの前端部に設けることが可能である。当該構成も本実施形態と同様の作用効果を奏する。
また、運転者は自らの手の位置および腕の位置を容易に視認することができる。また、運転者は、自らの手の位置および腕の位置を見ていない場合でも、自らの手の大凡の位置および腕の大凡の位置を直感的に認識することもできる。このため、コントロールアーム43やアームレスト43aにステレオカメラ1が設けられる本実施形態の構成は、ステレオカメラ1の壁等との衝突を防止する上で有利である。即ち、本実施形態の構成は、ステレオカメラ1の破損、位置ずれ等を防止する上で有利である。
また、ステレオカメラ1の各レンズユニット4R,4Lの光軸LAが、幅方向外側に向かって斜めに延びている。このため、前輪10の幅方向外側のより広いエリアがステレオカメラ1の検出範囲DAに入る。当該構成は、前輪10の幅方向外側に存在する回避対象と前輪10との関係を確実に把握する上で極めて有用である。
本実施形態では、一対の前輪10はトーイン状態になっている。つまり、電動モビリティが前方に向かって直進している状態において、前輪10の後端側は前端側よりも幅方向外側に配置されている。本実施形態は、前輪10の幅方向外側を詳細に監視することを可能とする。このため、電動モビリティが前方に向かって直進している状態において、前輪10の前端側は接触しないが前輪10の後端側が接触する回避対象を検出することができる。例えば、家屋内又はオフィス内において低速で電動モビリティを前方に直進させる際に、このような回避対象として机の脚等が検出される。
前述のように、前輪10又はフェンダー32cが接触する可能性のある回避対象は、検出範囲DAにおけるX方向角αが70°近いエリアにあらわれる可能性が高い。つまり、検出範囲DAにおけるカメラ2R,2Lの視野角の限界の近くに前記回避対象があらわれる可能性が高い。前輪10がトーイン状態であることによる前輪10の前端側と後端側との車両幅方向の位置の差は小さい。しかし、本実施形態では、画像処理装置3が、X方向角(方位角)αが視野の限界に近いエリアにおいて、距離計算部6dによって得られる距離dを大幅に補正する。これにより、トーイン状態である前輪10が接触する可能性のある回避対象の検出を正確に行うことができる。
各ステレオカメラ1は、ステー(取付部材)94によって、対応するコントロールアーム43に取付けられている。ステー94は、コントロールアーム43の幅方向の内側の面にボルトBによって固定さている固定部94aと、固定部94aの端から幅方向外側に延びる延設部94bとを有する。ステー94は板状部材を屈曲して形成されている。一例では、固定部94aと延設部94bとが成す角度が前記角度βと等しい。この構成を採用すると、各レンズユニット4R,4Lの光軸LAを斜め外側に向ける場合に、各レンズユニット4R,4Lの光軸LAと前後方向とのなす角度βの設定が容易になる。
なお、ステレオカメラ1がコントロールアーム43の上端部内に配置されていてもよい。例えば、コントロールアーム43に設けられた中空部内にステレオカメラ1が配置される。この場合、コントロールアーム43の上端部の前面に透明なカバーが取付けられ、カバーに対して内側に一対のレンズユニット4R,4Lが配置される。この場合でも、前述と同様の作用効果の達成を目的として、ステレオカメラ1を配置することができる。
また、一例では、固定部94aに長穴94cが設けられ、ボルトBが長穴94cを挿通する。長穴94cは円弧形状を有する。この場合、ボルトBを緩めることによって、ステレオカメラ1の検出範囲DAを前後方向に容易に調節することができる。また、固定部94aと延設部94bとを他の部材を介してボルト等で接続し、これにより固定部94aと延設部94bとの角度が調節可能であってもよい。この場合、ステレオカメラ1の各レンズユニット4R,4Lの光軸LAの向く方向を車両幅方向に容易に調節できる。
なお、図13に示すように、本実施形態では、ステレオカメラ1の検出範囲DAに電動モビリティの前方が入る。例えば、ステレオカメラ1の検出範囲DAに運転者の頭部の前方が入る。これにより、運転者の頭部の前方に存在する回避対象と運転者の頭部との関係も把握することができる。
ここで、この電動モビリティは、低速で前進しながら旋回することができる。止まった状態で旋回できる場合もある。このような場合に、運転者の周囲の状況がステレオカメラ1によって正確に検出される。
図16に示されるように、ステレオカメラ1のX方向角(方位角)αにおいて、各カメラ2R,2Lの視野角が180°(±90°)程度である場合は、運転者のすぐ前方にも検出範囲DAが存在することになる。しかし、運転者のすぐ前方の検出範囲DAは、各カメラ2R,2Lの視野角が180°(±90°)程度となる範囲である。
しかし、本実施形態では、画像処理装置3が、X方向角(方位角)αが視野の限界に近いエリアにおいて、距離計算部6dによって得られる距離dを大幅に補正する。これにより、運転者のすぐ前方の検出範囲DAにおいて運転者が接触する可能性のある回避対象を正確に検出することができる。
図16では、各ステレオカメラ1の光軸LAが水平方向に向いているが、各ステレオカメラ1の光軸LAが下斜め方向に向かっていてもよく、上斜め方向に向かっていてもよい。
本実施形態では、ステレオカメラ1は、距離計算部6dによって算出された複数の位置の算出距離に、一対のレンズユニット4R,4Lの並設方向の位置に応じた補正を行う距離補正部6eを備え、前記補正は、検出範囲DAにおけるレンズユニット4R,4Lの並設方向の端部に近い程、算出距離の低減量が大きくなるものである。このように検出範囲DAにおけるレンズユニット4R,4Lの並設方向の端部において算出距離が補正され、これは電動モビリティの周囲の回避対象の存在を正確に把握するために有利である。
また、本実施形態では、ステレオカメラ1の一対のレンズユニット4R,4Lの一方の先端レンズ4Raが他方の先端レンズ4Laに対して上方に配置されている。
また、本実施形態では、前記ステレオカメラの前記一対のレンズユニットが互いに上下方向および/又は車両前後方向に並んでいる。
物体の距離を検出することができる検出範囲DAは、一方のレンズユニット4Rを介して取得される画像と他方のレンズユニット4Lを介して取得される画像との重複範囲である。一対のレンズユニット4R,4Lが横方向に並んでいるのではなく、一対のレンズユニット4R,4Lの一方の先端レンズ4Raが他方の先端レンズ4Laに対して上方に配置されている構成は、車輪の幅方向外側の死角および電動モビリティ100の側面等の幅方向外側の死角を少なくする上で有利である。
また、本実施形態では、一方の先端レンズ4Raが他方の先端レンズ4Laに対して車両前後方向における前側に位置している。
当該構成は、上記のように死角が少なくなった状態で、ステレオカメラ1の検出範囲DAを電動モビリティ100の後方に広げることができる。例えば、一対のレンズユニット4R,4Lの一方の真下に他方が配置されていると、他方のレンズユニット4Lによって一方のレンズユニット4Rの真下の視野が妨げられる。上記構成は、一方のレンズユニット4Rの下方の視野の妨げを防止又は少なくするために有利である。
また、本実施形態では、一対のレンズユニット4R,4Lの光軸LAがそれぞれ斜め下方に向かって延びている。
当該構成は、一対のレンズユニット4R,4Lの光軸LAがそれぞれ斜め下方に向かって延びている状態で、車両前方の物体の存在も正確に認識することができる。
また、本実施形態では、モビリティ本体30に設けられ車輪10,20又は他の車輪を駆動するモータ50と、モータ50を制御する制御装置80とが設けられ、制御装置80が、距離補正部6eによって補正された距離に基づいて方位角が検出範囲DAの限界に近いエリアの回避対象を検出し、当該回避対象を回避するための回避動作を行う。
例えば、一対のレンズユニット4R,4Lが上下方向に並ぶように配置され、さらに、一対のレンズユニット4R,4Lが前方に向いている場合は、電動モビリティ100の車輪10,20の幅方向外側のエリアが、方位角が検出範囲DAの限界に近いエリアに入る。当該構成では、方位角が検出範囲DAの限界に近いエリアにおいて回避対象が正確に検出され、これは電動モビリティ100の周囲に存在する物体を正確に把握する上で有利である。
なお、検出範囲DAの限界に対応する方位角を限界方位角とし、限界方位角からステレオカメラ1の光軸LA側に15°変位した位置を限界近接方位角とすることもできる。この場合、方位角が検出範囲DAの限界に近いエリアを、限界方位角と限界近接方位角との間のエリアとすることもできる。
1 ステレオカメラ
2R,2L カメラ
3 画像処理装置
4R,4L レンズユニット
5R,5L 撮像素子
6a 歪補正部
6b ずれ補正部
6c 視差画像作成部
6d 距離計算部
6e 距離補正部
6f 3次元画像作成部
10 前輪(車輪)
11 車軸(車輪)
12 サスペンション
13 ローラ
14 ハブ
20 後輪
30 モビリティ本体
31 ボディ
32 ベース部
33 座席支持部
40 座席ユニット
43 コントロールアーム
43a アームレスト
44 操作部
44a 操作レバー
45 設定部
46 報知装置
50 モータ
60 制御ユニット
70 モータドライバ
80 制御装置
81 制御部
82 記憶装置
82a 走行制御プログラム
100 電動モビリティ
DA 検出範囲
LA ステレオカメラの光軸
α,β X方向角(方位角)
θ 視差

Claims (18)

  1. 一対のレンズユニットと、
    該一対のレンズユニットを介して一対の画像を取得する撮像素子と、
    前記一対の画像に基づき、該一対の画像の重複範囲である検出範囲内の複数の位置の距離を計算する距離計算部と、
    該距離計算部によって算出された前記複数の位置の算出距離に、前記検出範囲における前記一対のレンズユニットの並設方向の位置に応じた補正を行う距離補正部と、を備え、
    前記補正が、前記検出範囲における前記並設方向の端部に近い程、前記算出距離の低減量が大きくなるものである、ステレオカメラ。
  2. 前記一対の画像の各々の歪みを補正する歪補正部を備え、
    前記距離計算部が、前記歪補正部によって補正された前記一対の画像から前記距離を計算する請求項1に記載のステレオカメラ。
  3. 補正データを記憶する記憶部を備え、
    前記補正データは、当該ステレオカメラの光軸に対する前記並設方向の角度である方位角と対応付けられた補正係数を含み、該補正係数は、前記方位角が当該ステレオカメラの前記検出範囲の限界に近付くにつれて小さくなり、
    前記距離補正部は、前記距離計算部によって算出された前記算出距離に前記補正係数を乗算する請求項1又は請求項2に記載のステレオカメラ。
  4. 前記方位角が前記検出範囲の限界に近い程、前記方位角に対する前記補正係数の変化率が大きくなる請求項3に記載のステレオカメラ。
  5. 前記方位角が65°以上のエリアにおいて、前記補正係数が0.6以下である請求項3又は請求項4に記載のステレオカメラ。
  6. 前記一対のレンズユニットの各々の前記並設方向の視野角が、140°以上である請求項1から請求項5のいずれかに記載のステレオカメラ。
  7. モビリティ本体と、
    該モビリティ本体を支持する車輪と、
    前記モビリティ本体に取付けられた請求項1から請求項6のいずれかに記載のステレオカメラと、を備える電動モビリティ。
  8. 前記ステレオカメラの前記一対のレンズユニットの一方の先端レンズが他方の先端レンズに対して上方に配置されている、請求項7に記載の電動モビリティ。
  9. 前記一方の前記先端レンズが前記他方の前記先端レンズに対して車両前後方向における前側に位置している、請求項8に記載の電動モビリティ。
  10. 前記一対のレンズユニットの光軸がそれぞれ斜め下方に向かって延びている、請求項7から請求項9の何れかに記載の電動モビリティ。
  11. 前記ステレオカメラの前記一対のレンズユニットがそれぞれ車両前方を向いている、請求項10に記載の電動モビリティ。
  12. 前記ステレオカメラの前記一対のレンズユニットが互いに上下方向および/又は車両前後方向に並んでいる請求項7に記載の電動モビリティ。
  13. 前記ステレオカメラが、前記モビリティ本体のアームレスト又はコントロールアームに取付けられ、前記アームレストおよび前記コントロールアームは、運転者が腕および手の少なくとも一方を載せるものである、請求項7から請求項12の何れかに記載の電動モビリティ。
  14. 2つの前記ステレオカメラが前記モビリティ本体に左右対称となるように取付けられている、請求項7から請求項13の何れかに記載の電動モビリティ。
  15. 前記車輪が前輪であり、
    前記ステレオカメラの前記検出範囲が、前記前輪の車両幅方向外側のエリアを含む、請求項7に記載の電動モビリティ。
  16. 前記モビリティ本体に設けられ前記車輪又は他の車輪を駆動するモータと、
    前記モータを制御する制御ユニットと、を備え、
    前記制御ユニットが、前記距離補正部によって補正された距離に基づいて前記併設方向の位置に対応する方位角が前記検出範囲の限界に近いエリアの回避対象を検出し、該回避対象を回避するための回避動作を行う、請求項7から請求項15のいずれかに記載の電動モビリティ。
  17. 前記方位角が前記検出範囲の限界に近いエリアは、前記検出範囲の限界に対応する限界方位角と、前記限界方位角から前記ステレオカメラの光軸側に15°移動した位置であるの限界近接方位角との間のエリアである、請求項16に記載の電動モビリティ。
  18. 前記電動モビリティは、一人が着座して乗るものである、請求項7から請求項17の何れかに記載の電動モビリティ。
JP2018241972A 2018-12-26 2018-12-26 ステレオカメラおよび電動モビリティ Pending JP2020106275A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018241972A JP2020106275A (ja) 2018-12-26 2018-12-26 ステレオカメラおよび電動モビリティ
PCT/JP2019/050587 WO2020138072A1 (ja) 2018-12-26 2019-12-24 ステレオカメラおよび電動モビリティ
US17/355,862 US20210321079A1 (en) 2018-12-26 2021-06-23 Stereo camera and electric mobility vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018241972A JP2020106275A (ja) 2018-12-26 2018-12-26 ステレオカメラおよび電動モビリティ

Publications (1)

Publication Number Publication Date
JP2020106275A true JP2020106275A (ja) 2020-07-09

Family

ID=71126019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018241972A Pending JP2020106275A (ja) 2018-12-26 2018-12-26 ステレオカメラおよび電動モビリティ

Country Status (3)

Country Link
US (1) US20210321079A1 (ja)
JP (1) JP2020106275A (ja)
WO (1) WO2020138072A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11849100B2 (en) * 2021-05-31 2023-12-19 Canon Kabushiki Kaisha Information processing apparatus, control method, and non-transitory computer readable medium
WO2023241782A1 (en) * 2022-06-13 2023-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Determining real-world dimension(s) of a three-dimensional space

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303337A (ja) * 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
JP2004028811A (ja) * 2002-06-26 2004-01-29 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2012173032A (ja) * 2011-02-18 2012-09-10 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
JP2013224920A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 距離計測装置及び車両
EP3128482A1 (en) * 2015-08-07 2017-02-08 Xovis AG Method for calibration of a stereo camera
JP2017161491A (ja) * 2015-07-29 2017-09-14 ヤマハ発動機株式会社 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
JP2017213189A (ja) * 2016-05-31 2017-12-07 パナソニック株式会社 電動車いす

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP5758537B1 (ja) * 2014-11-17 2015-08-05 Whill株式会社 電動モビリティ
WO2017212927A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
JP6814220B2 (ja) * 2016-09-06 2021-01-13 Cyberdyne株式会社 モビリティ及びモビリティシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303337A (ja) * 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
JP2004028811A (ja) * 2002-06-26 2004-01-29 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2012173032A (ja) * 2011-02-18 2012-09-10 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
JP2013224920A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 距離計測装置及び車両
JP2017161491A (ja) * 2015-07-29 2017-09-14 ヤマハ発動機株式会社 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
EP3128482A1 (en) * 2015-08-07 2017-02-08 Xovis AG Method for calibration of a stereo camera
JP2017213189A (ja) * 2016-05-31 2017-12-07 パナソニック株式会社 電動車いす

Also Published As

Publication number Publication date
WO2020138072A1 (ja) 2020-07-02
US20210321079A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7389485B2 (ja) 電動モビリティ
JP5692049B2 (ja) ステアリング位置制御システム
JP6507626B2 (ja) 車両周辺監視装置
WO2020138072A1 (ja) ステレオカメラおよび電動モビリティ
JP5035303B2 (ja) 移動体、これを含むシステム、移動体の動作方法、及びプログラム
JPH10509933A (ja) リアビューミラーの調節を自動化する方法及び装置
JP6218209B2 (ja) 障害物検出装置
JPWO2020013043A5 (ja)
JPH0545470B2 (ja)
JP6467838B2 (ja) 周辺監視装置、及び周辺監視システム
JP2020104680A (ja) 室内監視装置
JP2021081836A (ja) 体格推定装置および姿勢推定装置
JP6902728B2 (ja) 移動体
US10473932B2 (en) Method for operating a virtual reality system, and virtual reality system
JP6669182B2 (ja) 乗員監視装置
JP2009174898A (ja) 移動体および環境情報作成方法
JP2024501253A (ja) カメラミラーシステムのディスプレイカメラ較正
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP6328077B2 (ja) 車椅子
JP2022106427A (ja) 降車支援装置および該方法
JP5062626B2 (ja) 物体識別装置
JP2014198499A (ja) 倒立振子型車両
JP2011257342A (ja) ヘッドトラッキング装置及びヘッドトラッキング方法
JP6846692B2 (ja) 電動車いす
JP2010116018A (ja) 移動体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328