JP2019205066A - カメラ調整装置 - Google Patents
カメラ調整装置 Download PDFInfo
- Publication number
- JP2019205066A JP2019205066A JP2018099098A JP2018099098A JP2019205066A JP 2019205066 A JP2019205066 A JP 2019205066A JP 2018099098 A JP2018099098 A JP 2018099098A JP 2018099098 A JP2018099098 A JP 2018099098A JP 2019205066 A JP2019205066 A JP 2019205066A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- adjustment
- coordinates
- image data
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 137
- 238000011156 evaluation Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims description 104
- 238000005259 measurement Methods 0.000 claims description 70
- 238000001514 detection method Methods 0.000 claims description 38
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 94
- 239000011159 matrix material Substances 0.000 description 46
- 238000012545 processing Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 26
- 238000012544 monitoring process Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 13
- 238000012790 confirmation Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910003307 Ni-Cd Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】自律走行装置などに取り付けられた可動カメラの調整を、自動的にいつでもどこでも可能とすることを課題とする。【解決手段】回動可能に取り付けられた調整対象カメラと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラと、調整対象カメラによって撮影された第1画像データと、調整判定用カメラによって撮影された第2画像データを取得する画像取得部と、第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出する位置ずれ算出部と、ずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定する調整要否判定部とを備える。【選択図】図5
Description
この発明は、カメラ調整装置に関し、特に、自律走行装置などに取り付けられたカメラであってその装置の周囲を撮影可能なカメラの調整装置に関する。
今日、荷物を搬送する搬送用ロボットや、建物内および建物周辺や所定の敷地内の状況を監視する監視用ロボットなど、自律的に移動する自律走行装置が利用されている。
このような従来の自律走行装置は、走行すべき領域の移動経路情報を予め記憶し、カメラ、距離画像センサ、GPS(Global Positioning System)から取得した情報などを利用して、障害物を避けながら、所定の経路を走行する。
このような従来の自律走行装置は、走行すべき領域の移動経路情報を予め記憶し、カメラ、距離画像センサ、GPS(Global Positioning System)から取得した情報などを利用して、障害物を避けながら、所定の経路を走行する。
また、自律走行装置の周囲を撮影するために、上下方向および左右方向に方向転換でき、さらに、ズーム機能を有する可動カメラが利用されている。
また、天井や壁に設置される監視カメラや、自動車に搭載されるカメラにも、可動カメラが利用されている。
可動カメラは、予め設定された初期的な方向を基準として、通常、遠隔制御により、上下左右方向に移動させられる。
しかし、自律走行装置は、走行しながら撮影を行うために、走行経路にある段差等を乗り越えた場合、衝撃により可動カメラの基準位置がずれてしまう場合がある。
このような場合、可動カメラの位置を、初期的な基準位置に調整し直す必要がある。
また、天井や壁に設置される監視カメラや、自動車に搭載されるカメラにも、可動カメラが利用されている。
可動カメラは、予め設定された初期的な方向を基準として、通常、遠隔制御により、上下左右方向に移動させられる。
しかし、自律走行装置は、走行しながら撮影を行うために、走行経路にある段差等を乗り越えた場合、衝撃により可動カメラの基準位置がずれてしまう場合がある。
このような場合、可動カメラの位置を、初期的な基準位置に調整し直す必要がある。
また、特許文献1には、車両に2つのカメラを備え、2つのカメラで既知物体を撮影して、既知物体の3次元位置と向きを推定することのできる車載カメラシステムにおいて、2つのカメラどうしの3次元位置と向きの関係が所定の関係となるようにキャリブレーションをする必要があるが、2つのカメラで撮影された画像から特徴点を検出し、その特徴点の位置情報に基づいて推定されたカメラの3次元位置と向きの移動量と、車両の速度に基づいて、それぞれのカメラのキャリブレーションの必要性を判定することが記載されている。
しかし、従来の自律走行装置においては、監視などの走行時において、可動カメラの位置がずれても、その位置ずれを、自動的に検出することができなかった。
可動カメラの位置がずれているか否かは、たとえば、監視動作終了後に、所定の基準領域の画像を撮影して、管理担当者が、撮影された画像と、予め記憶されている基準画像とを比較し、両画像に所定以上の誤差が生じていることを確認した場合に、可動カメラの位置がずれていると判断していた。その後、そのような位置ずれが生じていると判断した管理担当者や調整担当者によって可動カメラの位置調整が行われていた。
可動カメラの位置がずれているか否かは、たとえば、監視動作終了後に、所定の基準領域の画像を撮影して、管理担当者が、撮影された画像と、予め記憶されている基準画像とを比較し、両画像に所定以上の誤差が生じていることを確認した場合に、可動カメラの位置がずれていると判断していた。その後、そのような位置ずれが生じていると判断した管理担当者や調整担当者によって可動カメラの位置調整が行われていた。
また、特許文献1は、2つのカメラの撮影領域画像が重複するように車両に搭載された2つのカメラの移動量等からキャリブレーションの必要性を判定し、必要な場合に2つのカメラどうしの3次元位置と向きの関係を所定の関係に調整するものであり、上下左右に移動可能な可動カメラの位置ずれの検出や、可動カメラの調整の要否の判定をすることはできない。
そこで、この発明は、以上のような事情を考慮してなされたものであり、監視動作をする自律走行装置などの走行時や衝撃を検出した場合においても、位置調整の必要なカメラの調整の要否の判定を、自動的に、いつでもどこでもできるようにしたカメラ調整装置を提供することを課題とする。
この発明は、回動可能に取り付けられた調整対象カメラと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラと、調整対象カメラによって撮影された第1画像データと、調整判定用カメラによって撮影された第2画像データを取得する画像取得部と、第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出する位置ずれ算出部と、ずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定する調整要否判定部とを備えたことを特徴とするカメラ調整装置を提供するものである。
また、前記調整要否判定部が、ずれ量評価値が所定のずれ量判定値よりも大きい場合に、調整対象カメラの位置の調整が必要であると判定することを特徴とする。
また、前記調整判定用カメラが、固定設置された固定カメラであることを特徴とする。
また、前記調整判定用カメラが、固定設置された固定カメラであることを特徴とする。
また、前記第1画像データと前記第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの撮影範囲を特定する範囲変換座標を算出する撮影位置算出部をさらに備え、前記撮影位置算出部が、前記調整対象カメラの第1画像データから、所定の第1特徴点を抽出し、前記調整判定用カメラの第2画像データから、所定の第2特徴点を抽出し、抽出された第1特徴点と第2特徴点のうち、調整対象カメラの撮影範囲と調整判定用カメラの撮影範囲の中で、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と、調整判定用カメラの有効特徴点とを選定し、選定された調整対象カメラの有効特徴点と調整判定用カメラの有効特徴点の座標を利用して、特徴点の相対的な位置関係を示す前記座標変換情報を計算し、前記第1画像データから調整対象カメラの撮影範囲を画定する範囲測定座標を取得し、前記範囲測定座標を、前記座標変換情報を用いて前記範囲変換座標に変換することを特徴とする。
また、調整された状態の調整対象カメラの撮影範囲を特定する基準座標を予め記憶した記憶部をさらに備え、前記位置ずれ算出部が、前記算出された範囲変換座標と、記憶された基準座標とを利用して、前記ずれ量評価値を算出し、前記算出された範囲変換座標と前記記憶された基準座標が、前記調整対象カメラの撮影範囲の4つの頂点を特定する座標であり、前記ずれ量評価値が、前記範囲変換座標が示す4つの頂点と、範囲変換座標が示す4つの頂点にそれぞれ対応する基準座標が示す4つの頂点との間の距離の平均値であることを特徴とする。
この発明は、車体と、車体を走行させる駆動部材を制御する走行制御部と、回動可能に取り付けられた調整対象カメラと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラと、調整対象カメラによって撮影された第1画像データと、調整判定用カメラによって撮影された第2画像データを取得する画像取得部と、第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの撮影範囲を特定する範囲変換座標を算出する撮影位置算出部と、調整された状態の調整対象カメラの撮影範囲を特定する基準座標を予め記憶した記憶部と、算出された範囲変換座標と、記憶された基準座標とを利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出する位置ずれ算出部と、ずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定する調整要否判定部とを備えたことを特徴とする走行装置を提供するものである。
また、前記調整要否判定部が、ずれ量評価値が所定のずれ量判定値よりも大きい場合に、調整対象カメラの位置の調整が必要であると判定することを特徴とする。
また、前記調整判定用カメラが、前記車体に固定設置された固定カメラであることを特徴とする。
また、前記調整判定用カメラが、前記車体に固定設置された固定カメラであることを特徴とする。
また、前記調整対象カメラが、上下左右に回動できるように前記車体に取り付けられ、ズーム機能を有する可動カメラであり、前記調整判定用カメラが、前記車体の側面に固定設置された固定カメラであることを特徴とする。
また、前記撮影位置算出部が、前記調整対象カメラの第1画像データから、所定の第1特徴点を抽出し、前記調整判定用カメラの第2画像データから、所定の第2特徴点を抽出し、抽出された第1特徴点と第2特徴点のうち、調整対象カメラの撮影範囲と調整判定用カメラの撮影範囲の中で、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と、調整判定用カメラの有効特徴点とを選定し、選定された調整対象カメラの有効特徴点と調整判定用カメラの有効特徴点の座標を利用して、特徴点の相対的な位置関係を示す前記座標変換情報を計算し、前記第1画像データから調整対象カメラの撮影範囲を画定する範囲測定座標を取得し、前記範囲測定座標を、前記座標変換情報を用いて前記範囲変換座標に変換することを特徴とする。
また、前記算出された範囲変換座標と前記記憶された基準座標が、前記調整対象カメラの撮影範囲の4つの頂点を特定する座標であり、前記ずれ量評価値が、前記範囲変換座標が示す4つの頂点と、範囲変換座標が示す4つの頂点にそれぞれ対応する基準座標が示す4つの頂点との間の距離の平均値であることを特徴とする。
また、前記調整された状態の調整対象カメラの撮影範囲を特定する基準座標を算出する初期基準位置算出部をさらに備え、調整対象カメラの位置が調整された状態で、前記車体を停止させ、前記撮影位置算出部によって、調整対象カメラの撮影範囲を特定する範囲変換座標を算出させ、前記算出された範囲変換座標を、調整された状態の調整対象カメラの撮影範囲を特定する基準座標として、前記記憶部に記憶することを特徴とする。
また、走行装置が所定の経路を走行している場合において、前記走行制御部が、任意の位置で車体を停止させた後、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする。
また、衝撃を検出する衝撃検出部をさらに備え、前記衝撃検出部によって、予め設定された衝撃以上の衝撃を検出した場合に、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする。
また、走行装置が所定の経路を走行している場合において、一定時間が経過するごとに、前記走行制御部が、任意の位置で車体を停止させた後、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする。
また、前記撮影位置算出部が、前記選定された有効特徴点の数を取得し、前記取得された有効特徴点の数が、所定の判定値よりも大きい場合に、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定し、前記有効特徴点の数が、所定の判定値以下の場合は、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定しないことを特徴とする。
また、前記撮影位置算出部が、前記選定された有効特徴点の数を取得し、前記有効特徴点の数が、所定の判定値以下の場合は、前記走行制御部によって車体を移動させた後、前記撮影位置算出部が、再度、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と、調整判定用カメラの有効特徴点とを選定し、前記選定された有効特徴点の数を取得し、前記取得された有効特徴点の数が、所定の判定値よりも大きくなった場合に、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする。
また、この発明は、回動可能に取り付けられた調整対象カメラと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラとを備えた走行装置のカメラ調整判定方法であって、調整された状態の前記調整対象カメラの撮影範囲を特定する基準座標を予め記憶し、前記調整対象カメラによって撮影された第1画像データと、前記調整判定用カメラによって撮影された第2画像データを取得し、前記第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、前記調整対象カメラの撮影範囲を特定する範囲変換座標を算出し、前記算出された範囲変換座標と、前記記憶された基準座標とを利用して、前記調整対象カメラの位置ずれを判定可能なずれ量評価値を算出し、前記ずれ量評価値に基づいて、前記調整対象カメラの位置の調整の必要性を判定し、前記ずれ量評価値が所定のずれ量判定値よりも大きい場合に、調整対象カメラの位置の調整が必要であると判定することを特徴とする走行装置のカメラ調整判定方法を提供するものである。
この発明によれば、回動可能に取り付けられた調整対象カメラによって撮影された第1画像データと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラによって撮影された第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出し、そのずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定するので、自動的に、いつでもどこでも、調整対象カメラの位置の調整の必要性を判定することができ、調整対象カメラの位置の調整が必要となった場合に、迅速に、調整対象カメラの調整をすることができるようになる。
また、この発明によれば、調整対象カメラによって撮影された第1画像データと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラによって撮影された第2画像データを取得し、第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの撮影範囲を特定する範囲変換座標を算出し、算出された範囲変換座標と、予め記憶された調整状態の調整対象カメラの撮影範囲を特定する基準座標とを利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出し、そのずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定するので、管理担当者の判断を待つことなく、自動的に、いつでもどこでも、調整対象カメラの位置の調整の必要性を判定することができ、調整対象カメラの位置の調整が必要となった場合に、管理担当者が自ら調整の要否を判断するよりも、迅速に、調整対象カメラの調整をすることができるようになる。
以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
<自律走行装置の構成>
図1に、この発明の自律走行装置の一実施例の概略外観図を示す。
図1において、この発明の自律走行装置1は、所定の経路情報に基づいて、障害物を避けながら、自律的に移動する機能を有する車両である。
また、自律走行装置1は、移動機能に加えて、輸送機能、監視機能、掃除機能、誘導機能、通報機能などの種々の機能を備えてもよい。
以下の実施例では、主として、屋外の所定の監視領域や通路を自律走行し、監視領域等の監視や輸送を行うことのできる自律走行装置について説明する。
図1に、この発明の自律走行装置の一実施例の概略外観図を示す。
図1において、この発明の自律走行装置1は、所定の経路情報に基づいて、障害物を避けながら、自律的に移動する機能を有する車両である。
また、自律走行装置1は、移動機能に加えて、輸送機能、監視機能、掃除機能、誘導機能、通報機能などの種々の機能を備えてもよい。
以下の実施例では、主として、屋外の所定の監視領域や通路を自律走行し、監視領域等の監視や輸送を行うことのできる自律走行装置について説明する。
図1の外観図において、自律走行装置1(以下、車両とも呼ぶ)は、主として、車体10と、4つの車輪(前輪21,後輪22)と、監視ユニット2と、制御ユニット3とを備える。
監視ユニット2は、移動する領域や路面の状態を確認する機能や監視対象を監視する機能を有する部分であり、たとえば、移動する前方空間の状態を確認する距離検出部55、画像取得部56、カメラなどを含み、その他に、走行している現在位置の情報を取得する位置情報取得部などを備えてもよい。
制御ユニット3は、この発明の自律走行装置の有する走行機能、監視機能、カメラ調整機能などを実行する部分であり、たとえば後述するような制御部50、障害物検出部54、位置ずれ算出部59、記憶部70などから構成される。
監視ユニット2は、移動する領域や路面の状態を確認する機能や監視対象を監視する機能を有する部分であり、たとえば、移動する前方空間の状態を確認する距離検出部55、画像取得部56、カメラなどを含み、その他に、走行している現在位置の情報を取得する位置情報取得部などを備えてもよい。
制御ユニット3は、この発明の自律走行装置の有する走行機能、監視機能、カメラ調整機能などを実行する部分であり、たとえば後述するような制御部50、障害物検出部54、位置ずれ算出部59、記憶部70などから構成される。
この発明の自律走行装置1は、画像取得部56、距離検出部55および障害物検出部54等を利用して、車体10の進行方向の前方、側方および後方の状態を確認しながら自走する。たとえば、前方に、障害物や段差等が存在することを検出した場合には、障害物に衝突することなどを防止するために、静止、回転、後退、前進等の動作を行って進路を変更し、画像認識などにより障害物を認識した場合や、接触を検出した場合には、車体の停止動作など、所定の機能を実行する。
自律走行装置1は、自律走行装置1の周囲を撮影する複数のカメラを備えるが、主として、後述する図2に示すように、監視ユニット2に備えられかつ上下左右に移動でき360度周囲を撮影することが可能でズーム機能も有する可動カメラ31と、自律走行装置1の車体の側面に備えられた複数の固定カメラ32とを含むものとする。
また、この発明の自律走行装置1は、自律走行時や停止中などにおいて、定期的に、あるいは不定期的に、位置ずれを生じる可能性のある可動カメラ31の調整の要否を判定する。
また、この発明の自律走行装置1は、自律走行時や停止中などにおいて、定期的に、あるいは不定期的に、位置ずれを生じる可能性のある可動カメラ31の調整の要否を判定する。
以下の実施例では、可動カメラ31を、この発明の調整対象カメラとし、固定カメラ32を、調整判定用カメラとする。
調整対象カメラは、主として、車体に回動可能に取り付けられた可動カメラ31であり、調整の要否が判定されるカメラである。
調整判定用カメラは、固定カメラ32に限るものではない。
調整判定用カメラは、少なくとも、調整対象カメラの撮影空間を含む空間を撮影することができるものとする。
調整対象カメラは、主として、車体に回動可能に取り付けられた可動カメラ31であり、調整の要否が判定されるカメラである。
調整判定用カメラは、固定カメラ32に限るものではない。
調整判定用カメラは、少なくとも、調整対象カメラの撮影空間を含む空間を撮影することができるものとする。
また、以下の実施例では、自律走行装置に備えられる調整対象カメラ(可動カメラ)の位置の調整の必要性を判定する処理について説明するが、調整対象カメラは、自律走行装置に備えられたものに限るものではなく、他の車両や設備に取り付けられたカメラでもよい。たとえば、調整対象カメラは、人が運転する車、調整対象カメラを搭載した本体が可動するもの(たとえば、ドローン等)、あるいは、非可動体などに、取り付けてもよい。
また、この発明は、調整対象カメラの位置の調整の必要性を判定する機能を有するカメラ調整装置として提供することもできる。
また、この発明は、調整対象カメラの位置の調整の必要性を判定する機能を有するカメラ調整装置として提供することもできる。
図2に、この発明の自律走行装置に備えられる可動カメラと固定カメラの一実施例の説明図を示す。図2は、自律走行装置1を上から見た平面図である。
図2(a)に示すように、2つの前輪21と2つの後輪22とを配置し、紙面の上方向を、自律走行装置1の前進方向とする。
また、自律走行装置1の本体10に、1つの可動カメラ31と、4つの固定カメラ32とが取り付けられているものとする。
ただし、可動カメラ31と固定カメラ32以外のカメラを備えてもよい。
図2(a)に示すように、2つの前輪21と2つの後輪22とを配置し、紙面の上方向を、自律走行装置1の前進方向とする。
また、自律走行装置1の本体10に、1つの可動カメラ31と、4つの固定カメラ32とが取り付けられているものとする。
ただし、可動カメラ31と固定カメラ32以外のカメラを備えてもよい。
図2に示すように、可動カメラ31は、自律走行装置1の本体10に、動作可能なように取り付けられる。可動カメラ31は、水平方向に360度回転し、自律走行装置1の周囲全体を撮影できる。また、可動カメラ31は、上下方向に、所定の角度(たとえば、180度)の範囲内を回動する。
さらに、可動カメラ31は、レンズを駆動し、広角撮影と望遠撮影が可能なズーム機能を備えてもよい。可動カメラ31は、いわゆるパン、チルト、ズームの機能を有するので、PTZカメラとも呼ぶ。
さらに、可動カメラ31は、レンズを駆動し、広角撮影と望遠撮影が可能なズーム機能を備えてもよい。可動カメラ31は、いわゆるパン、チルト、ズームの機能を有するので、PTZカメラとも呼ぶ。
可動カメラ31の初期的な基準位置(ホームポジションとも呼ぶ)は、たとえば、自律走行装置1が前方方向に直進した場合に、進行方向に対して左右方向の角度がゼロ度で、上下方向の角度もゼロ度の方向を向いたときの状態とする。
自律走行装置1が自律走行を繰り返すと、走行経路に存在する段差を乗り越えた場合に生じる衝撃等によって、可動カメラ31に位置ずれが発生する場合がある。このとき、可動カメラ31をホームポジションに戻したつもりでも、実際には、可動カメラ31は正確なホームポジションには戻っていない場合があり、可動カメラ31の調整が必要となる。
自律走行装置1が自律走行を繰り返すと、走行経路に存在する段差を乗り越えた場合に生じる衝撃等によって、可動カメラ31に位置ずれが発生する場合がある。このとき、可動カメラ31をホームポジションに戻したつもりでも、実際には、可動カメラ31は正確なホームポジションには戻っていない場合があり、可動カメラ31の調整が必要となる。
そこで、自律走行をする前に、可動カメラ31と固定カメラ32の画像データを取得して、可動カメラ31の初期的な基準位置に正確に調整されたときの可動カメラ31の撮影範囲に相当する基準情報を予め記憶しておき、自律走行を繰り返した後の可動カメラ31の撮影範囲に相当する測定情報と、記憶されていた基準情報とを比較して、両情報に所定以上の誤差が生じている場合に、可動カメラ31の調整が必要と判定する。
後述するような可動カメラ31の調整の要否の判定と、調整作業は、原則として、可動カメラ31を、初期的な基準位置に戻して行うものとする。
後述するような可動カメラ31の調整の要否の判定と、調整作業は、原則として、可動カメラ31を、初期的な基準位置に戻して行うものとする。
図2(a)に示すように、固定カメラ32は、たとえば、自律走行装置1の本体10の4つの側面に、固定的に、それぞれ1つずつ取り付けられる。
固定カメラ32は、回転等ができないものとし、常に同じ方向を撮影するものとする。自律走行装置1の前方方向を撮影する固定カメラ32は、可動カメラ31が初期的な基準位置にある場合と同じ方向を撮影できるものとする。
また、固定カメラ32は、4つに限るものではなく、たとえば、本体10の前後の側面のみに1つずつ取り付けてもよく、本体10の左右と後方の側面に1つずつ取り付けてもよく、あるいは、5つ以上の固定カメラ32を取り付けてもよい。
固定カメラ32は、回転等ができないものとし、常に同じ方向を撮影するものとする。自律走行装置1の前方方向を撮影する固定カメラ32は、可動カメラ31が初期的な基準位置にある場合と同じ方向を撮影できるものとする。
また、固定カメラ32は、4つに限るものではなく、たとえば、本体10の前後の側面のみに1つずつ取り付けてもよく、本体10の左右と後方の側面に1つずつ取り付けてもよく、あるいは、5つ以上の固定カメラ32を取り付けてもよい。
図2(b)に、可動カメラ31の撮影範囲Aと、固定カメラ32の撮影範囲Bとを示している。たとえば、可動カメラ31の撮影範囲Aを2つの線分A1の間の空間とし、固定カメラ32の撮影範囲Bを2つの線分B1の間の空間とすると、固定カメラ32の撮影範囲Bは、可動カメラ31の撮影範囲Aよりも広いものとする。
図3に、この発明の自律走行装置の一実施例の構成ブロック図を示す。
図3において、この発明の自律走行装置1は、主として、制御部51、走行制御部52、車輪53、障害物検出部54、距離検出部55、画像取得部56、初期基準位置算出部57、撮影位置算出部58、位置ずれ算出部59、調整要否判定部60、調整実行部61、記憶部70を備える。
また、画像取得部56は、可動カメラ31によって撮影された画像データ(第1画像データと呼ぶ)と、固定カメラ32によって撮影された画像データ(第2画像データと呼ぶ)を取得するものとする。
図3において、この発明の自律走行装置1は、主として、制御部51、走行制御部52、車輪53、障害物検出部54、距離検出部55、画像取得部56、初期基準位置算出部57、撮影位置算出部58、位置ずれ算出部59、調整要否判定部60、調整実行部61、記憶部70を備える。
また、画像取得部56は、可動カメラ31によって撮影された画像データ(第1画像データと呼ぶ)と、固定カメラ32によって撮影された画像データ(第2画像データと呼ぶ)を取得するものとする。
自律走行装置1の制御部51は、走行制御部52などの各構成要素の動作を制御する部分であり、主として、CPU,ROM,RAM,I/Oコントローラ,タイマー等からなるマイクロコンピュータによって実現される。
CPUは、ROM等に予め格納された制御プログラムに基づいて、各種ハードウェアを有機的に動作させて、この発明の走行機能、画像取得機能、障害物検出機能などを実行する。
CPUは、ROM等に予め格納された制御プログラムに基づいて、各種ハードウェアを有機的に動作させて、この発明の走行機能、画像取得機能、障害物検出機能などを実行する。
走行制御部52は、車体を走行させる駆動部材を制御する部分であり、主として、駆動部材に相当する車輪53の回転を制御して、直線走行および回転動作などをさせることによって、自動的に車両を走行させる。駆動部材には、車輪やキャタピラ(登録商標)などが含まれる。
車輪53は、図1および図2に示したような4つの車輪(21,22)に相当する。
また、上記したように、車輪のうち、左右の前輪21を駆動輪とし、左右の後輪22は回転制御をしない従動輪としてもよい。
また、図示しないエンコーダを、駆動輪21の左輪と右輪にそれぞれ設け、車輪の回転数や回転方向、回転位置、回転速度によって車両の移動距離等を計測し、走行を制御してもよい。エンコーダは、速度検出部に相当する。
車輪53は、図1および図2に示したような4つの車輪(21,22)に相当する。
また、上記したように、車輪のうち、左右の前輪21を駆動輪とし、左右の後輪22は回転制御をしない従動輪としてもよい。
また、図示しないエンコーダを、駆動輪21の左輪と右輪にそれぞれ設け、車輪の回転数や回転方向、回転位置、回転速度によって車両の移動距離等を計測し、走行を制御してもよい。エンコーダは、速度検出部に相当する。
障害物検出部54は、所定の障害物検知領域内に存在する物体を検出する部分であり、主として、距離検出部55や画像取得部56から取得した情報を利用して、物体(障害物、人など)を検出する。
特に、後述する距離検出部55によって距離が検出された物体の障害物検知領域内での位置と、物体が存在する位置の進行方向に対する方向とが検出される。たとえば、距離検出部55によって、反射光が受光され距離が算出された測点の位置には障害物が存在することが検出される。
特に、後述する距離検出部55によって距離が検出された物体の障害物検知領域内での位置と、物体が存在する位置の進行方向に対する方向とが検出される。たとえば、距離検出部55によって、反射光が受光され距離が算出された測点の位置には障害物が存在することが検出される。
また、距離検出部55は、複数の測点までの距離が算出されるので、距離が算出された測点の位置情報から、障害物の大きさ、位置、形状、障害物までの距離が取得される。また、進行方向に対する障害物が存在する方向を検出することもできる。
障害物検出部54としては、距離検出部55に相当する2D LIDARと3D LIDARのほかに、画像取得部56や、バンパー等に取り付けられた超音波センサも利用される。
障害物検出部54としては、距離検出部55に相当する2D LIDARと3D LIDARのほかに、画像取得部56や、バンパー等に取り付けられた超音波センサも利用される。
距離検出部55は、車両の現在位置から、進行方向の前方空間を含む所定の空間(たとえば、障害物検知領域)内に存在する物体および路面までの距離を検出する部分である。距離検出部55は、車体の前面のほぼ中央付近に配置される。ここで、車両が屋外を走行する場合、物体とは、たとえば、建物、柱、壁、突起物などを意味する。
距離検出部55は、たとえば、障害物検知領域に所定の光を出射した後、障害物検知領域内に存在する物体および路面によって反射された反射光を受光して、物体および路面までの距離を検出する。
具体的には、距離検出部55は、主として、進行方向の所定の領域に光を出射する発光部と、物体によって反射された光を受光する受光部と、光の出射方向を、2次元的あるいは3次元的に変化させる走査制御部とから構成される。
距離検出部55は、たとえば、障害物検知領域に所定の光を出射した後、障害物検知領域内に存在する物体および路面によって反射された反射光を受光して、物体および路面までの距離を検出する。
具体的には、距離検出部55は、主として、進行方向の所定の領域に光を出射する発光部と、物体によって反射された光を受光する受光部と、光の出射方向を、2次元的あるいは3次元的に変化させる走査制御部とから構成される。
出射される光としては、レーザー、赤外線、可視光、超音波、電磁波などを用いることができる。
また、今日、距離検出用センサとして、LIDAR(Light Detection and Ranging、あるいはLaser Imaging Detection and Ranging:ライダー)が用いられているが、これを距離検出部55として用いてもよい。
LIDARは、所定の障害物検知領域内の2次元空間または3次元空間にレーザーを出射し、障害物検知領域内の複数の測点における距離を測定する装置である。
水平方向の2次元空間の測点における距離を測定する場合を、2D LIDARと呼び、水平方向に垂直方向も加えた3次元空間の測点における距離を測定する場合を、3D LIDARと呼ぶ。
また、LIDARは、発光部からレーザーを出射した後、物体によって反射された反射光を受光部で検出し、たとえば、出射時刻と受光時刻との時間差から、受光距離L0を算出する。この算出された受光距離L0から、物体(障害物)までの距離が検出される。
また、今日、距離検出用センサとして、LIDAR(Light Detection and Ranging、あるいはLaser Imaging Detection and Ranging:ライダー)が用いられているが、これを距離検出部55として用いてもよい。
LIDARは、所定の障害物検知領域内の2次元空間または3次元空間にレーザーを出射し、障害物検知領域内の複数の測点における距離を測定する装置である。
水平方向の2次元空間の測点における距離を測定する場合を、2D LIDARと呼び、水平方向に垂直方向も加えた3次元空間の測点における距離を測定する場合を、3D LIDARと呼ぶ。
また、LIDARは、発光部からレーザーを出射した後、物体によって反射された反射光を受光部で検出し、たとえば、出射時刻と受光時刻との時間差から、受光距離L0を算出する。この算出された受光距離L0から、物体(障害物)までの距離が検出される。
画像取得部56は、カメラによって撮影された画像データを取得する部分である。たとえば、複数のカメラによって撮影された車両の走行方向の前方空間、車両の側方空間、および車両の後方空間を含む所定の空間の画像を取得する。
取得する画像は、静止画でも、動画でもよい。
取得された画像は、記憶部70に記憶され、管理装置等からの要求に応じて転送される。
取得する画像は、静止画でも、動画でもよい。
取得された画像は、記憶部70に記憶され、管理装置等からの要求に応じて転送される。
また、特に、この発明では、調整対象カメラである可動カメラ31によって撮影された画像データSIMG(第1画像データ)と、調整判定用カメラである固定カメラ32によって撮影された画像データDIMG(第2画像データ)を取得する。
上記したように、可動カメラ31は、上下左右に回動できるように車体の監視ユニット2に取り付けられ、水平方向に360度旋回して車体の周囲を撮影することが可能で、ズーム機能を有するPTZカメラである。
固定カメラ32は、たとえば、自律走行装置1の車体の側面に固定設置された4台のカメラであり、各固定カメラによって、車体の前方、左方、右方、後方をそれぞれ撮影する。
上記したように、可動カメラ31は、上下左右に回動できるように車体の監視ユニット2に取り付けられ、水平方向に360度旋回して車体の周囲を撮影することが可能で、ズーム機能を有するPTZカメラである。
固定カメラ32は、たとえば、自律走行装置1の車体の側面に固定設置された4台のカメラであり、各固定カメラによって、車体の前方、左方、右方、後方をそれぞれ撮影する。
この発明では、少なくとも、1台の可動カメラ31と、1台の固定カメラ32とを備えるものとし、可動カメラ31と固定カメラ32は、同じ方向の画像を撮影できるものとする。また、可動カメラ31と固定カメラ32が同じ方向を向いている場合、固定カメラ32は、可動カメラ31の撮影空間を含む空間を撮影できるものとする。
また、以下の実施例では、可動カメラ31で撮影した画像データと、固定カメラ32で撮影した画像データとを利用して、可動カメラ31の位置ずれを検出して、可動カメラ31の調整の要否を判定する。
また、以下の実施例では、可動カメラ31で撮影した画像データと、固定カメラ32で撮影した画像データとを利用して、可動カメラ31の位置ずれを検出して、可動カメラ31の調整の要否を判定する。
初期基準位置算出部57は、調整された状態の可動カメラ31の撮影範囲を特定する基準座標を算出する部分であり、可動カメラ31と固定カメラ32とが設計仕様どおりの位置に調整された状態で、可動カメラ31と固定カメラ32により撮影された画像を取得し、可動カメラ31の初期的な基準位置(ホームポジション)における基準情報を算出する部分である。
たとえば、調整対象カメラである可動カメラ31の位置が調整された状態で、車体を停止させ、後述する撮影位置算出部58によって、可動カメラ31の撮影範囲を特定する範囲変換座標(可動カメラ範囲変換座標AS)を算出させ、算出された範囲変換座標を、調整された状態の可動カメラ31の撮影範囲を特定する基準座標(可動カメラ基準座標AK)として、記憶部70に記憶する。
後述するように、固定カメラ32で撮影された範囲の画像の位置座標と対応させて、
可動カメラ31の初期的な基準位置で撮影された範囲の画像の位置座標(可動カメラ範囲変換座標AS)を計算し、この計算された座標を、可動カメラ基準座標AKとして、記憶部70に予め記憶しておく。
可動カメラ31の初期的な基準位置で撮影された範囲の画像の位置座標(可動カメラ範囲変換座標AS)を計算し、この計算された座標を、可動カメラ基準座標AKとして、記憶部70に予め記憶しておく。
この算出処理は、可動カメラ31の初期位置を正確に設定するものであるので、自律走行をする前で、可動カメラ31の位置が調整された状態で、車体を停止させて行うことが好ましい。
この算出処理の詳細は、後述する初期撮影範囲の基準座標の設定処理に相当し、図4などを用いて説明する。
また、記憶部70に予め記憶された可動カメラ基準座標AKは、可動カメラの位置ずれの算出処理をするために利用される。
この算出処理の詳細は、後述する初期撮影範囲の基準座標の設定処理に相当し、図4などを用いて説明する。
また、記憶部70に予め記憶された可動カメラ基準座標AKは、可動カメラの位置ずれの算出処理をするために利用される。
固定カメラ32で撮影された範囲の画像と、可動カメラ31の初期的な基準位置で撮影された範囲の画像とは、完全に一致する必要はないが、ほぼ同じ方向の空間を撮影するものとする。
たとえば、カメラの調整を特定の場所で行うことが決まっている場合は、その特定の場所に存在する所定の目標物を含む空間を撮影すればよい、
また、固定カメラ32が複数ある場合は、可動カメラ31を初期的な基準位置に設定したときに、ほぼ同じ方向の空間を撮影できる固定カメラ32を用いればよい。たとえば、図2において、可動カメラ31の初期的な基準位置における撮影範囲Aが紙面の上方向である場合、同じ方向の撮影範囲Bを撮影できる本体10の前方側面に配置された固定カメラ32を用いればよい。
たとえば、カメラの調整を特定の場所で行うことが決まっている場合は、その特定の場所に存在する所定の目標物を含む空間を撮影すればよい、
また、固定カメラ32が複数ある場合は、可動カメラ31を初期的な基準位置に設定したときに、ほぼ同じ方向の空間を撮影できる固定カメラ32を用いればよい。たとえば、図2において、可動カメラ31の初期的な基準位置における撮影範囲Aが紙面の上方向である場合、同じ方向の撮影範囲Bを撮影できる本体10の前方側面に配置された固定カメラ32を用いればよい。
撮影位置算出部58は、自律走行を開始した後、任意の位置で、可動カメラ31と固定カメラ32により撮影された画像を取得し、可動カメラ31の初期的な基準位置(ホームポジション)における所定の測定情報を算出する部分である。
特に、撮影位置算出部58は、画像取得部56によって取得された第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、可動カメラ31の撮影範囲を特定する範囲変換座標を算出する。
ここで、座標変換情報は、後述する座標変換行列Cであり、範囲変換座標は、後述する可動カメラ範囲変換座標ASに相当する。
特に、撮影位置算出部58は、画像取得部56によって取得された第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、可動カメラ31の撮影範囲を特定する範囲変換座標を算出する。
ここで、座標変換情報は、後述する座標変換行列Cであり、範囲変換座標は、後述する可動カメラ範囲変換座標ASに相当する。
この算出処理は、特定の場所で撮影を行う必要はなく、自律走行をする経路の途中で、撮影をしてもよい。たとえば、走行経路の途中で停止し、可動カメラ31を初期的な基準位置に戻し、可動カメラ31により画像を撮影し、また、ほぼ同じ方向の空間を撮影することのできる固定カメラ32により、ほぼ同じ画像を撮影する。
より具体的には、撮影位置算出部58は、可動カメラ31の第1画像データから、所定の第1特徴点を抽出し、固定カメラ32の第2画像データから、所定の第2特徴点を抽出し、抽出された第1特徴点と第2特徴点のうち、可動カメラ31の撮影範囲と固定カメラ32の撮影範囲の中で、位置がほぼ対応すると推定される可動カメラ31の有効特徴点と、固定カメラ32の有効特徴点とを選定し、選定された可動カメラ31の有効特徴点と固定カメラ32の有効特徴点の座標を利用して、特徴点の相対的な位置関係を示す座標変換情報(座標変換行列C)を計算し、第1画像データから可動カメラ31の撮影範囲を画定する範囲測定座標を取得し、範囲測定座標を、座標変換情報を用いて範囲変換座標(可動カメラ範囲変換座標AS)に変換する。
ここで、第1特徴点は、可動カメラ31の特徴点であり、第2特徴点は、固定カメラ32の特徴点であり、範囲測定座標は、後述する可動カメラ範囲測定座標BSに相当する。
上記した有効特徴点は、抽出された第1特徴点と第2特徴点のうち、可動カメラ31の撮影範囲と固定カメラ32の撮影範囲の中で、位置がほぼ対応すると推定される特徴点であるが、可動カメラ31の有効特徴点の座標が、後述する可動カメラ特徴点座標であり、固定カメラ32の有効特徴点の座標が、後述する固定カメラ特徴点座標に相当する。
また、後述するように、可動カメラ31の有効特徴点の座標は、ベクトルSで表され、
固定カメラ32の有効特徴点の座標は、ベクトルDで表される。
上記した有効特徴点は、抽出された第1特徴点と第2特徴点のうち、可動カメラ31の撮影範囲と固定カメラ32の撮影範囲の中で、位置がほぼ対応すると推定される特徴点であるが、可動カメラ31の有効特徴点の座標が、後述する可動カメラ特徴点座標であり、固定カメラ32の有効特徴点の座標が、後述する固定カメラ特徴点座標に相当する。
また、後述するように、可動カメラ31の有効特徴点の座標は、ベクトルSで表され、
固定カメラ32の有効特徴点の座標は、ベクトルDで表される。
後述するように、固定カメラ32で撮影された範囲の画像の位置座標と対応させて、
可動カメラ31で撮影された範囲の画像の座標(可動カメラ範囲変換座標AS)が計算されるが、この計算された座標ASは、現在の可動カメラの測定情報として、記憶部70に記憶される。
可動カメラ31で撮影された範囲の画像の座標(可動カメラ範囲変換座標AS)が計算されるが、この計算された座標ASは、現在の可動カメラの測定情報として、記憶部70に記憶される。
この撮影位置算出部58による算出処理は、自律走行をした後に、定期的に、あるいは不定期的に、行えばよい。
不定期的とは、任意のタイミングでもよいが、たとえば、大きな衝撃を検出した後や、
走行を停止してカメラを自動制御する直前に、行ってもよい。
この処理の詳細は、後述する可動カメラ撮影範囲位置座標の算出処理に相当し、図6などを用いて説明する。
また、記憶部70に記憶された可動カメラ範囲変換座標ASも、可動カメラ31の位置ずれの算出処理をするために利用される。
不定期的とは、任意のタイミングでもよいが、たとえば、大きな衝撃を検出した後や、
走行を停止してカメラを自動制御する直前に、行ってもよい。
この処理の詳細は、後述する可動カメラ撮影範囲位置座標の算出処理に相当し、図6などを用いて説明する。
また、記憶部70に記憶された可動カメラ範囲変換座標ASも、可動カメラ31の位置ずれの算出処理をするために利用される。
位置ずれ算出部59は、可動カメラの位置ずれの有無を検出する部分であり、第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出する。
具体的には、撮影位置算出部58によって算出された範囲変換座標(可動カメラ範囲変換座標AS)と、記憶部70に予め記憶された基準座標(可動カメラ基準座標AK)とを利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値PGEを算出する。
ずれ量評価値PGEは、可動カメラの位置ずれの有無を検出するための評価値であり、たとえば、後述するような所定の数式により算出される。
算出されたずれ量評価値PGEは、記憶部70に予め記憶されたずれ量判定値PG0と比較される。
具体的には、撮影位置算出部58によって算出された範囲変換座標(可動カメラ範囲変換座標AS)と、記憶部70に予め記憶された基準座標(可動カメラ基準座標AK)とを利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値PGEを算出する。
ずれ量評価値PGEは、可動カメラの位置ずれの有無を検出するための評価値であり、たとえば、後述するような所定の数式により算出される。
算出されたずれ量評価値PGEは、記憶部70に予め記憶されたずれ量判定値PG0と比較される。
調整要否判定部60は、算出されたずれ量評価値PGEに基づいて、可動カメラ31の位置の調整の必要性を判定する部分である。
具体的には、算出されたずれ量評価値PGEと、予め記憶されたずれ量判定値PG0と比較し、ずれ量評価値PGEが所定のずれ量判定値PG0よりも大きい(PGE>PG0)場合に、可動カメラ31の位置の調整が必要であると判定する。
そうでない場合は、可動カメラ31の調整は必要ないと判定する。
具体的には、算出されたずれ量評価値PGEと、予め記憶されたずれ量判定値PG0と比較し、ずれ量評価値PGEが所定のずれ量判定値PG0よりも大きい(PGE>PG0)場合に、可動カメラ31の位置の調整が必要であると判定する。
そうでない場合は、可動カメラ31の調整は必要ないと判定する。
また、たとえば、自律走行装置が所定の経路を走行している場合において、走行制御部52が、任意の位置で車体を停止させた後、調整要否判定部60によって可動カメラ31の位置の調整が必要か否かを判定すればよい。
可動カメラ31の調整が必要と判断された場合は、たとえば、自律走行が終了した後に、可動カメラ31の調整を実行する。
可動カメラ31の調整が必要と判断された場合は、たとえば、自律走行が終了した後に、可動カメラ31の調整を実行する。
調整実行部61は、可動カメラ31の調整を実行する部分である。
可動カメラ31の調整は、自律走行が終了した後や、停止して監視動作を行うときに、行えばよい。
また、可動カメラ31の調整は、可動カメラ31の初期的な基準位置を、正確なもとに位置に戻す処理であり、可動カメラに予め決められている信号を送信することで実施される。
可動カメラ31の調整は、自律走行が終了した後や、停止して監視動作を行うときに、行えばよい。
また、可動カメラ31の調整は、可動カメラ31の初期的な基準位置を、正確なもとに位置に戻す処理であり、可動カメラに予め決められている信号を送信することで実施される。
また、図示していないが、自律走行装置1は、自律走行するために、車両の各構成要素に対して電力を供給する充電池を備える。
充電池としては、たとえば、リチウムイオン電池、ニッケル水素電池、Ni−Cd電池、鉛電池、各種燃料電池などの充電池が用いられる。
また、図示しない電池残量検出部を備え、充電池の残りの容量(電池残量)を検出し、検出された電池残量に基づいて、所定の充電設備の方へ帰還するべきか否かを判断し、電池残量が所定残量よりも少なくなった場合は、充電設備へ自動的に帰還するようにしてもよい。
充電池としては、たとえば、リチウムイオン電池、ニッケル水素電池、Ni−Cd電池、鉛電池、各種燃料電池などの充電池が用いられる。
また、図示しない電池残量検出部を備え、充電池の残りの容量(電池残量)を検出し、検出された電池残量に基づいて、所定の充電設備の方へ帰還するべきか否かを判断し、電池残量が所定残量よりも少なくなった場合は、充電設備へ自動的に帰還するようにしてもよい。
さらに、上記した構成要素に加えて、その他の構成要素を備えてもよい。
たとえば、調整が必要なことを表示する表示部、調整が必要なことを音声で通知するスピーカ、ネットワークを介して管理装置と無線通信する通信部、走行中に段差を乗り越えた場合や障害物に衝突や接触した場合などに発生する衝撃を検出する衝撃検出部、車両の現在位置を示す情報を取得する位置情報取得部、撮影された物体を認識する画像認識部を備えてもよい。
たとえば、調整が必要なことを表示する表示部、調整が必要なことを音声で通知するスピーカ、ネットワークを介して管理装置と無線通信する通信部、走行中に段差を乗り越えた場合や障害物に衝突や接触した場合などに発生する衝撃を検出する衝撃検出部、車両の現在位置を示す情報を取得する位置情報取得部、撮影された物体を認識する画像認識部を備えてもよい。
通信部は、ネットワークを介して、管理装置と、データの送受信を行う部分であり、無線通信によってネットワークに接続し、管理装置と通信できる機能を有することが好ましい。
たとえば、自律走行装置の可動カメラの調整が必要であることが判定された場合は、可動カメラの調整が必要であることを示す情報を、自律走行装置とは異なる位置に配置された管理装置に送信する。
また、自律走行装置に異常状態が発生した場合、通信部は、異常状態が発生したこと、異常状態の発生日時および発生位置などを含む通知情報を、管理装置に送信する。
また、通知情報は、自律走行装置とは異なる位置にいる担当者の所持する端末に送信してもよく、管理装置および端末の少なくともどちらか一方または両方に送信すればよい。
たとえば、自律走行装置の可動カメラの調整が必要であることが判定された場合は、可動カメラの調整が必要であることを示す情報を、自律走行装置とは異なる位置に配置された管理装置に送信する。
また、自律走行装置に異常状態が発生した場合、通信部は、異常状態が発生したこと、異常状態の発生日時および発生位置などを含む通知情報を、管理装置に送信する。
また、通知情報は、自律走行装置とは異なる位置にいる担当者の所持する端末に送信してもよく、管理装置および端末の少なくともどちらか一方または両方に送信すればよい。
衝撃検出部としては、感圧スイッチ、マイクロスイッチ、超音波センサ、加速度センサ、赤外線測距センサなどからなる接触センサや非接触センサが用いられ、たとえば、車体のバンパーに設置する。衝撃検出部は、1つでもよいが、車体の前方、側面、後方からの衝撃を検出するために、車体の前方、側面、後方の所定の位置に、それぞれ複数個設けることが好ましい。
衝撃検出部によって、予め設定された衝撃以上の衝撃を検出した場合に、調整要否判定部60によって調整対象カメラ(可動カメラ31)の位置の調整が必要か否かを判定してもよい。
衝撃検出部によって、予め設定された衝撃以上の衝撃を検出した場合に、調整要否判定部60によって調整対象カメラ(可動カメラ31)の位置の調整が必要か否かを判定してもよい。
位置情報取得部は、車両の現在位置を示す情報(緯度、経度など)を取得する部分であり、たとえば、GPS(Global Position System)を利用して、現在位置情報を取得してもよい。
取得された現在位置情報と、記憶部70に予め記憶された経路情報とを比較しながら、車両の進行すべき方向を決定し、車両を自律走行させる。
取得された現在位置情報と、記憶部70に予め記憶された経路情報とを比較しながら、車両の進行すべき方向を決定し、車両を自律走行させる。
また、位置情報取得部としては、GPSと同様に、現在利用されている他の衛星測位システムを用いてもよい。たとえば、日本の準天頂衛星システム(Quasi-Zenith Satellite System:QZSS)、ロシアのGLONASS(Global Navigation Satellite System)、EUのガリレオ、中国の北斗、インドのIRNSS(Indian Regional Navigational Satellite System)などを利用してもよい。
画像認識部は、可動カメラや固定カメラによって撮影された画像データの中に含まれる物体を認識する部分である。たとえば、画像データに含まれる物体を抽出し、抽出された物体が、人体の所定の特徴を持つ物体である場合に、その物体を人体として認識する。画像認識処理は、既存の画像認識技術を用いればよい。
認識する物体は、人体に限るものではなく、壁、柱、段差、動物、狭い通路のような障害物を認識してもよい。
認識する物体は、人体に限るものではなく、壁、柱、段差、動物、狭い通路のような障害物を認識してもよい。
記憶部70は、自律走行装置1の各機能を実行するために必要な情報やプログラムを記憶する部分であり、ROM,RAM,フラッシュメモリなどの半導体記憶素子,HDD,SSDなどの記憶装置、その他の記憶媒体が用いられる。
記憶部70には、たとえば、可動カメラ画像データ71(SIMG)、固定カメラ画像データ72(DIMG)、可動カメラ特徴点座標73(S)、固定カメラ特徴点座標74(D)、座標変換行列75(C)、可動カメラ範囲測定座標76(BS)、可動カメラ範囲変換座標77(AS)、可動カメラ基準座標78(AK)、ずれ量評価値79(PGE)、ずれ量判定値80(PG0)、有効特徴点数81(Tn)、有効特徴点数判定値82(T0)などが記憶される。
記憶部70には、たとえば、可動カメラ画像データ71(SIMG)、固定カメラ画像データ72(DIMG)、可動カメラ特徴点座標73(S)、固定カメラ特徴点座標74(D)、座標変換行列75(C)、可動カメラ範囲測定座標76(BS)、可動カメラ範囲変換座標77(AS)、可動カメラ基準座標78(AK)、ずれ量評価値79(PGE)、ずれ量判定値80(PG0)、有効特徴点数81(Tn)、有効特徴点数判定値82(T0)などが記憶される。
可動カメラ画像データ71(SIMG)は、可動カメラ31によって取得された画像データであり、静止画像である。この画像データの取得は、自律走行中でも、停止中でも、いつでもどこでも行うことができる。
ただし、可動カメラ31の調整の要否を判断する場合は、自律走行中であっても、一時的に停止して、可動カメラ31によって撮影することが好ましい。
ただし、可動カメラ31の調整の要否を判断する場合は、自律走行中であっても、一時的に停止して、可動カメラ31によって撮影することが好ましい。
固定カメラ画像データ72(DIMG)は、固定カメラ32によって取得された画像データであり、静止画像である。この画像データの取得も、自律走行中でも、停止中でも、いつでもどこでも行うことができるが、可動カメラ31と同様に、可動カメラ31の調整の要否を判断する場合は、自律走行中であっても、一時的に停止して、固定カメラ32によって撮影することが好ましい。
また、可動カメラ31の調整の要否を判断する場合は、可動カメラ31と同じ方向の空間を撮影できる固定カメラ32を利用する。
たとえば、図2に示す場合は、可動カメラ31と同じ紙面の上方向の空間を撮影できる車体の前方側面に設置された固定カメラ32を利用する。
あるいは、可動カメラ31が、車体の右方向の空間を撮影できる状態で静止した場合は、車体の右方向の空間を撮影できる車体の右側面に設置された固定カメラ32を利用してもよい。
たとえば、図2に示す場合は、可動カメラ31と同じ紙面の上方向の空間を撮影できる車体の前方側面に設置された固定カメラ32を利用する。
あるいは、可動カメラ31が、車体の右方向の空間を撮影できる状態で静止した場合は、車体の右方向の空間を撮影できる車体の右側面に設置された固定カメラ32を利用してもよい。
可動カメラ特徴点座標73(S)は、可動カメラ31の画像データ71(SIMG)を解析することによって、抽出された特徴点の座標である。
可動カメラ31によって撮影された画像データ71(SIMG)の中には、様々な物体が含まれている場合があり、物体は、輪郭線や色で区別することが可能である。たとえば、画像データ71(SIMG)に含まれる物体の輪郭線が、特徴点として抽出され、抽出された複数の特徴点の位置を示す座標が、可動カメラ特徴点座標73(S)として、記憶される。
可動カメラ31によって撮影された画像データ71(SIMG)の中には、様々な物体が含まれている場合があり、物体は、輪郭線や色で区別することが可能である。たとえば、画像データ71(SIMG)に含まれる物体の輪郭線が、特徴点として抽出され、抽出された複数の特徴点の位置を示す座標が、可動カメラ特徴点座標73(S)として、記憶される。
固定カメラ特徴点座標74(D)は、固定カメラ32の画像データ72(DIMG)を解析することによって、抽出された特徴点の座標である。
たとえば、画像データ72(DIMG)に含まれる物体の輪郭線が、特徴点として抽出され、抽出された複数の特徴点の位置を示す座標が、固定カメラ特徴点座標74(D)として、記憶される。
上記したように、可動カメラ31と固定カメラ32がほぼ同じ空間を撮影している場合、両画像データ(SIMG、DIMG)に含まれる特徴点の座標は、同一ではないが、ほぼ同じ数値となると考えられる。
たとえば、画像データ72(DIMG)に含まれる物体の輪郭線が、特徴点として抽出され、抽出された複数の特徴点の位置を示す座標が、固定カメラ特徴点座標74(D)として、記憶される。
上記したように、可動カメラ31と固定カメラ32がほぼ同じ空間を撮影している場合、両画像データ(SIMG、DIMG)に含まれる特徴点の座標は、同一ではないが、ほぼ同じ数値となると考えられる。
座標変換行列75(C)は、可動カメラ31の画像データから抽出した複数の特徴点の座標と、固定カメラ32の画像データから抽出した複数の特徴点の座標とを対応付けるための行列である。
後述するように、可動カメラ31の画像データから抽出した複数の有効特徴点の座標をベクトルSで表し、固定カメラ32の画像データから抽出した複数の有効特徴点の座標をベクトルDで表した場合に、このベクトルSを、固定カメラ32の座標を示したベクトルDに変換するための行列が、座標変換行列Cである。
すなわち、ベクトルD=ベクトルS×座標変換行列Cである。
後述するように、可動カメラ31の画像データから抽出した複数の有効特徴点の座標をベクトルSで表し、固定カメラ32の画像データから抽出した複数の有効特徴点の座標をベクトルDで表した場合に、このベクトルSを、固定カメラ32の座標を示したベクトルDに変換するための行列が、座標変換行列Cである。
すなわち、ベクトルD=ベクトルS×座標変換行列Cである。
座標変換行列Cは、たとえば、後述する図8(c)に示したような3×3の行列である。
また、ベクトルSとベクトルDは、抽出された複数の有効特徴点の座標から設定されるので、座標変換行列Cは、ベクトルSとベクトルDを利用して、後述する図8(c)に示したような計算式により、求められる。
また、ベクトルSとベクトルDは、抽出された複数の有効特徴点の座標から設定されるので、座標変換行列Cは、ベクトルSとベクトルDを利用して、後述する図8(c)に示したような計算式により、求められる。
可動カメラ範囲測定座標76(BS)は、可動カメラ31で撮影された範囲(撮影範囲)を特定する測定座標である。
一般的に、カメラで撮影される範囲が、長方形の形状であるとすると、可動カメラ31で撮影された範囲は、長方形の形状を確定する4つの頂点で特定される。
可動カメラ31で撮影された画像データSIMGの撮影範囲である長方形の形状を確定する4つの頂点(4角の点)を示す座標が、画像データSIMGから、可動カメラ範囲測定座標BSとして取得される。可動カメラ範囲測定座標BSは、可動カメラ31における座標値であり、固定カメラの撮影範囲から求めた座標ではない。
可動カメラ範囲測定座標BSと同様に、以下の可動カメラ範囲変換座標77(AS)も、可動カメラ31の撮影範囲の4つの頂点を特定する座標である。
一般的に、カメラで撮影される範囲が、長方形の形状であるとすると、可動カメラ31で撮影された範囲は、長方形の形状を確定する4つの頂点で特定される。
可動カメラ31で撮影された画像データSIMGの撮影範囲である長方形の形状を確定する4つの頂点(4角の点)を示す座標が、画像データSIMGから、可動カメラ範囲測定座標BSとして取得される。可動カメラ範囲測定座標BSは、可動カメラ31における座標値であり、固定カメラの撮影範囲から求めた座標ではない。
可動カメラ範囲測定座標BSと同様に、以下の可動カメラ範囲変換座標77(AS)も、可動カメラ31の撮影範囲の4つの頂点を特定する座標である。
可動カメラ範囲変換座標77(AS)は、可動カメラ31で撮影された画像データの撮影範囲と、固定カメラ32で撮影された画像データの撮影範囲とを対応付けるために、可動カメラ範囲測定座標76(BS)を、変換した座標である。
すなわち、可動カメラ範囲変換座標77(AS)は、可動カメラ範囲測定座標76(BS)を、固定カメラ32の撮影範囲から求めた座標に変換したものである。
言いかえれば、可動カメラ範囲変換座標77(AS)は、可動カメラ31で撮影された画像データの特徴点の位置を示す座標を、その特徴点が固定カメラ32で撮影されたとした場合に決定される位置の座標に変換するための撮影範囲を示す座標である。
すなわち、可動カメラ範囲変換座標77(AS)は、可動カメラ範囲測定座標76(BS)を、固定カメラ32の撮影範囲から求めた座標に変換したものである。
言いかえれば、可動カメラ範囲変換座標77(AS)は、可動カメラ31で撮影された画像データの特徴点の位置を示す座標を、その特徴点が固定カメラ32で撮影されたとした場合に決定される位置の座標に変換するための撮影範囲を示す座標である。
後述するように、可動カメラ範囲変換座標77(AS)は、可動カメラ範囲測定座標76(BS)を、上記した座標変換行列Cを利用して変換した座標である。
すなわち、可動カメラ範囲変換座標ASは、可動カメラ範囲測定座標BSに、座標変換行列Cを掛け合わせることにより、計算できる。
可動カメラ範囲変換座標ASは、自律走行をした後に任意の位置で測定される後述するような可動カメラの測定範囲を画定する4角(a1', a2', a3', a4')の頂点の座標に相当する。
すなわち、可動カメラ範囲変換座標ASは、可動カメラ範囲測定座標BSに、座標変換行列Cを掛け合わせることにより、計算できる。
可動カメラ範囲変換座標ASは、自律走行をした後に任意の位置で測定される後述するような可動カメラの測定範囲を画定する4角(a1', a2', a3', a4')の頂点の座標に相当する。
可動カメラ基準座標78(AK)は、調整された状態の可動カメラ31の撮影範囲を特定する基準座標であり、予め記憶部70に記憶される。この座標78は、可動カメラ範囲変換座標77(AS)に相当する座標であるが、初期基準位置算出部57によって計算される座標である。
この記憶された基準座標(可動カメラ基準座標AK)も、可動カメラ31の撮影範囲の4つの頂点を特定する座標である。
たとえば、可動カメラ31の調整を行った後に測定された可動カメラ31の初期的な基準位置に対応した座標であり、後述するような可動カメラの基準範囲を画定する4角(a1, a2, a3, a4)の頂点の座標に相当する。
この記憶された基準座標(可動カメラ基準座標AK)も、可動カメラ31の撮影範囲の4つの頂点を特定する座標である。
たとえば、可動カメラ31の調整を行った後に測定された可動カメラ31の初期的な基準位置に対応した座標であり、後述するような可動カメラの基準範囲を画定する4角(a1, a2, a3, a4)の頂点の座標に相当する。
ずれ量評価値79(PGE)は、可動カメラ31の初期的な基準位置からのずれ量を判定することのできる数値であり、上記した可動カメラ範囲変換座標77(AS)と可動カメラ基準座標78(AK)とを利用して、所定の計算式により計算される。
たとえば、後述するように、ずれ量評価値PGEは、範囲変換座標(可動カメラ範囲変換座標AS)が示す4つの頂点と、範囲変換座標が示す4つの頂点にそれぞれ対応する基準座標(可動カメラ基準座標AK)が示す4つの頂点との間の距離の平均値である。
図7に、可動カメラ範囲変換座標と可動カメラ基準座標と、ずれ量評価値の一実施例の説明図を示す。
たとえば、後述するように、ずれ量評価値PGEは、範囲変換座標(可動カメラ範囲変換座標AS)が示す4つの頂点と、範囲変換座標が示す4つの頂点にそれぞれ対応する基準座標(可動カメラ基準座標AK)が示す4つの頂点との間の距離の平均値である。
図7に、可動カメラ範囲変換座標と可動カメラ基準座標と、ずれ量評価値の一実施例の説明図を示す。
図7(a)に、可動カメラ範囲変換座標77(AS)と可動カメラ基準座標78(AK)との関係の一実施例の説明図を示す。
図7(a)の可動カメラ測定範囲を確定する4角(a1', a2', a3', a4')の頂点の座標は、自律走行後に算出される可動カメラ範囲変換座標ASに相当する。可動カメラ範囲変換座標ASは、長方形の4つの頂点(a1', a2', a3', a4')のxy座標で表される。
図7(a)の可動カメラ基準範囲を確定する4角(a1, a2, a3, a4)の頂点の座標は、初期基準位置の設定時に算出される可動カメラ基準座標AKに相当する。可動カメラ基準座標AKは、長方形の4つの頂点(a1, a2, a3, a4)のxy座標で表される。
ここで、頂点a1'と頂点a1とが対応し、頂点a2'と頂点a2とが対応し、頂点a3'と頂点a3とが対応し、頂点a4'と頂点a4とが対応するものとする。
図7(a)の可動カメラ測定範囲を確定する4角(a1', a2', a3', a4')の頂点の座標は、自律走行後に算出される可動カメラ範囲変換座標ASに相当する。可動カメラ範囲変換座標ASは、長方形の4つの頂点(a1', a2', a3', a4')のxy座標で表される。
図7(a)の可動カメラ基準範囲を確定する4角(a1, a2, a3, a4)の頂点の座標は、初期基準位置の設定時に算出される可動カメラ基準座標AKに相当する。可動カメラ基準座標AKは、長方形の4つの頂点(a1, a2, a3, a4)のxy座標で表される。
ここで、頂点a1'と頂点a1とが対応し、頂点a2'と頂点a2とが対応し、頂点a3'と頂点a3とが対応し、頂点a4'と頂点a4とが対応するものとする。
もし、自律走行した後に、可動カメラ31に位置ずれが無いとした場合、可動カメラ測定範囲と可動カメラ基準範囲とは一致するはずであり、4角の(a1', a2', a3', a4')の頂点の座標と、(a1, a2, a3, a4)の頂点の座標も一致する。すなわち、可動カメラ31に位置ずれが無い場合は、対応する各頂点間の距離は、ゼロのはずである。
一方、自律走行した後に、可動カメラ31に位置ずれが生じた場合は、図7(a)に示したように、可動カメラ測定範囲と可動カメラ基準範囲とは一致せず、各頂点の位置がずれている。すなわち、可動カメラ31に位置ずれが生じた場合は、対応する各頂点間の距離は、ゼロではないはずである。
そこで、たとえば、可動カメラ31の位置ずれを評価する数値として、図7(b)に示すような数式で計算されるずれ量評価値79(PGE)を採用する。
ここで、ずれ量評価値PGEは、2つの範囲をそれぞれ画定する4つの頂点において、4つの対応する頂点間の距離の平均値である。
このずれ量評価値PGEがゼロの場合、可動カメラ31の位置ずれはないことを示している。また、ずれ量評価値PGEの数値が大きいほど、可動カメラ31の位置ずれが大きいことを示している。
ただし、ずれ量評価値PGEは、このような数式で計算される数値に限定するものではない。
ここで、ずれ量評価値PGEは、2つの範囲をそれぞれ画定する4つの頂点において、4つの対応する頂点間の距離の平均値である。
このずれ量評価値PGEがゼロの場合、可動カメラ31の位置ずれはないことを示している。また、ずれ量評価値PGEの数値が大きいほど、可動カメラ31の位置ずれが大きいことを示している。
ただし、ずれ量評価値PGEは、このような数式で計算される数値に限定するものではない。
ずれ量判定値80(PG0)は、可動カメラ31の位置ずれがあった場合に、可動カメラ31の調整の必要性を判定するための数値である。
ずれ量判定値80(PG0)は、記憶部70に予め記憶される数値であり、ずれ量評価値PGEと比較される。
たとえば、ずれ量評価値PGEがずれ量判定値PG0よりも大きい場合(PGE>PG0)、カメラ31の調整が必要と判定する。
一方、ずれ量評価値PGEがずれ量判定値PG0以下の場合(PGE≦PG0)、カメラ31の調整は不要と判定する。
ずれ量判定値80(PG0)は、記憶部70に予め記憶される数値であり、ずれ量評価値PGEと比較される。
たとえば、ずれ量評価値PGEがずれ量判定値PG0よりも大きい場合(PGE>PG0)、カメラ31の調整が必要と判定する。
一方、ずれ量評価値PGEがずれ量判定値PG0以下の場合(PGE≦PG0)、カメラ31の調整は不要と判定する。
ずれ量判定値80(PG0)の数値は、可動カメラ31や自律走行装置の利用状況等によって、適切な数値が異なるので、一定値を設定することはできない。
可動カメラ31の位置ずれをまったく許容しない場合は、ずれ量判定値80(PG0)にゼロを設定すればよい。
可動カメラ31の位置ずれをまったく許容しない場合は、ずれ量判定値80(PG0)にゼロを設定すればよい。
ただし、可動カメラ31の位置ずれをある程度許容し、ずれ量評価値PGEが、所定の閾値を超えた場合に、可動カメラ31の調整をする必要性があるものとすると、ずれ量判定値80(PG0)として、その閾値を予め設定すればよい。
ずれ量判定値80(PG0)としては、設計時に固定値を予め設定記憶してもよいが、自律走行の状況に応じて、管理担当者が、ずれ量判定値80(PG0)を、設定変更できるようにしてもよい。
ずれ量判定値80(PG0)としては、設計時に固定値を予め設定記憶してもよいが、自律走行の状況に応じて、管理担当者が、ずれ量判定値80(PG0)を、設定変更できるようにしてもよい。
有効特徴点数81(Tn)は、可動カメラ31の特徴量と固定カメラ32の特徴量とから選定された対応する特徴点の数である。
撮影される画像データの精度等から、抽出された可動カメラ31の特徴点と固定カメラ32の特徴点とが、すべて対応する位置の点とは限らない。可動カメラ31の特徴点として抽出された特徴点が、固定カメラ32の特徴点として抽出されない場合もあり、逆の場合もある。
そこで、抽出された可動カメラ31の特徴点と、抽出された固定カメラ32の特徴点のうち、同じ位置にあると推定される特徴点(有効特徴点と呼ぶ)を見つけ出す必要がある。
撮影される画像データの精度等から、抽出された可動カメラ31の特徴点と固定カメラ32の特徴点とが、すべて対応する位置の点とは限らない。可動カメラ31の特徴点として抽出された特徴点が、固定カメラ32の特徴点として抽出されない場合もあり、逆の場合もある。
そこで、抽出された可動カメラ31の特徴点と、抽出された固定カメラ32の特徴点のうち、同じ位置にあると推定される特徴点(有効特徴点と呼ぶ)を見つけ出す必要がある。
可動カメラ31の画像データSIMGから抽出された特徴点から可動カメラ31の特徴量を算出し、固定カメラ32の画像データDIMGから抽出された特徴点から固定カメラ32の特徴量を算出し、両カメラの特徴量を比較して、両カメラの画像データの同じ位置にあると推定される特徴点、すなわち両カメラの画像データにおける対応する特徴点(有効特徴点)を選定する。
この選定された特徴点の合計数が、有効特徴点数81(Tn)である。
上記した特徴点の抽出と、特徴量の算出と、有効特徴点の選定の各処理は、従来から利用されている画像処理技術を利用すればよい。
この選定された特徴点の合計数が、有効特徴点数81(Tn)である。
上記した特徴点の抽出と、特徴量の算出と、有効特徴点の選定の各処理は、従来から利用されている画像処理技術を利用すればよい。
有効特徴点数判定値82(T0)は、有効特徴点数81(Tn)と比較される数値であり、記憶部70に予め記憶される。
可動カメラ31の画像データSIMGから抽出された特徴点と、固定カメラ32の画像データDIMGから抽出された特徴点のうち、同じ位置にあると推定される対応する有効特徴点の数が、あまりにも少ない場合は、上記したずれ量評価値PGEを利用して、可動カメラ31の位置ずれを正確に判定することは難しい。
可動カメラ31の画像データSIMGから抽出された特徴点と、固定カメラ32の画像データDIMGから抽出された特徴点のうち、同じ位置にあると推定される対応する有効特徴点の数が、あまりにも少ない場合は、上記したずれ量評価値PGEを利用して、可動カメラ31の位置ずれを正確に判定することは難しい。
有効特徴点の数Tnが、所定の数値よりも大きい場合に、可動カメラ31の位置ずれを判定することが好ましく、所定の数値以下の場合は、可動カメラ31の位置ずれの判定をしないか、たとえば車両を移動させて再度やり直すことが好ましい。
そこで、可動カメラ31の位置ずれの判定をするか否かの基準として、有効特徴点数判定値82(T0)を、予め設定記憶しておく。
そこで、可動カメラ31の位置ずれの判定をするか否かの基準として、有効特徴点数判定値82(T0)を、予め設定記憶しておく。
有効特徴点数Tnが、有効特徴点数判定値T0よりも大きい場合(Tn>T0)、可動カメラ31のずれ量評価値PGEの算出を行い、可動カメラ31の調整の要否の判定を行う。
そうでない場合(Tn≦T0)は、可動カメラ31のずれ量評価値PGEの算出を行わず、可動カメラ31の調整の要否の判定も行わない。
有効特徴点数判定値82(T0)としては、予め固定値を設定記憶しておいてもよいが、管理担当者が、設定変更できるようにしてもよい。
そうでない場合(Tn≦T0)は、可動カメラ31のずれ量評価値PGEの算出を行わず、可動カメラ31の調整の要否の判定も行わない。
有効特徴点数判定値82(T0)としては、予め固定値を設定記憶しておいてもよいが、管理担当者が、設定変更できるようにしてもよい。
<初期撮影範囲の基準座標の設定処理>
図4に、可動カメラにおける初期撮影範囲の基準座標の設定処理の一実施例のフローチャートを示す。
ここでは、調整された状態の可動カメラ31において、可動カメラ31の初期的な基準位置の情報である可動カメラ基準座標AKを設定記憶する処理について説明する。
以下の処理は、主として、ROM等に予め記憶されたプログラムに基づいて、初期基準位置算出部57によって実行される。
図4に、可動カメラにおける初期撮影範囲の基準座標の設定処理の一実施例のフローチャートを示す。
ここでは、調整された状態の可動カメラ31において、可動カメラ31の初期的な基準位置の情報である可動カメラ基準座標AKを設定記憶する処理について説明する。
以下の処理は、主として、ROM等に予め記憶されたプログラムに基づいて、初期基準位置算出部57によって実行される。
図4のステップS1において、車両を所定の位置に停止させる。
たとえば、管理担当者は、可動カメラ31の調整を行った後、特定の空間を撮影することができるように、自律走行装置1を所定の位置に移動させ、この設定処理を開始させる操作をする。
このとき、可動カメラ31が撮影する方向と、1つの固定カメラ32が撮影する方向が、同じ方向になるようにする。
たとえば、管理担当者は、可動カメラ31の調整を行った後、特定の空間を撮影することができるように、自律走行装置1を所定の位置に移動させ、この設定処理を開始させる操作をする。
このとき、可動カメラ31が撮影する方向と、1つの固定カメラ32が撮影する方向が、同じ方向になるようにする。
ステップS2において、制御部51が、2つのカメラ(31、32)によって画像を撮影させ、画像取得部56によって、画像データを取得する。
すなわち、可動カメラ31によって撮影された可動カメラ画像データSIMGを取得する。
また、可動カメラ31と同じ方向を撮影することのできる固定カメラ32によって撮影された固定カメラ画像データDIMGを取得する。
すなわち、可動カメラ31によって撮影された可動カメラ画像データSIMGを取得する。
また、可動カメラ31と同じ方向を撮影することのできる固定カメラ32によって撮影された固定カメラ画像データDIMGを取得する。
ステップS3において、初期基準位置算出部57が、取得した画像データから、特徴点を抽出する。また、抽出した特徴点の座標を取得する。
すなわち、可動カメラ画像データSIMGを解析し、可動カメラ31によって撮影された画像データに含まれる特徴点(可動カメラの特徴点)を抽出する。
また、固定カメラ画像データDIMGを解析し、固定カメラ32によって撮影された画像データに含まれる特徴点(固定カメラの特徴点)を抽出する。
この特徴点の抽出処理は、従来から実施されている画像処理技術を用いればよい。
たとえば、具体的には、SIFT、SURF、ORBなどの名称で知られた技術が、この発明の画像処理技術に使用することができる。
すなわち、可動カメラ画像データSIMGを解析し、可動カメラ31によって撮影された画像データに含まれる特徴点(可動カメラの特徴点)を抽出する。
また、固定カメラ画像データDIMGを解析し、固定カメラ32によって撮影された画像データに含まれる特徴点(固定カメラの特徴点)を抽出する。
この特徴点の抽出処理は、従来から実施されている画像処理技術を用いればよい。
たとえば、具体的には、SIFT、SURF、ORBなどの名称で知られた技術が、この発明の画像処理技術に使用することができる。
ステップS4において、抽出した複数の特徴点を利用して、特徴量を算出する。
すなわち、抽出された複数の可動カメラの特徴点から可動カメラの特徴量を算出し、
抽出された複数の固定カメラの特徴点から固定カメラの特徴量を算出する。
可動カメラの特徴量は、たとえば、可動カメラ31によって撮影された画像データに含まれる物体の形状等の特徴を示す情報であり、可動カメラの特徴点の座標を利用して所定の計算式によって計算されるハッシュ値などが、可動カメラの特徴量に相当する。
固定カメラの特徴量も同様に、固定カメラの特徴点の座標を利用して所定の計算式によって計算される。
この特徴量の算出処理も、従来から実施されている画像処理技術を用いればよい。
すなわち、抽出された複数の可動カメラの特徴点から可動カメラの特徴量を算出し、
抽出された複数の固定カメラの特徴点から固定カメラの特徴量を算出する。
可動カメラの特徴量は、たとえば、可動カメラ31によって撮影された画像データに含まれる物体の形状等の特徴を示す情報であり、可動カメラの特徴点の座標を利用して所定の計算式によって計算されるハッシュ値などが、可動カメラの特徴量に相当する。
固定カメラの特徴量も同様に、固定カメラの特徴点の座標を利用して所定の計算式によって計算される。
この特徴量の算出処理も、従来から実施されている画像処理技術を用いればよい。
ステップS5において、可動カメラの特徴量と固定カメラの特徴量とから、2つの画像データの中で対応する有効特徴点を選定(推定)する。
すなわち、2つの画像データの中で対応可能な位置にある特徴点を見つけ出す。
ここでは、可動カメラの特徴量と固定カメラの特徴量を比較し、可動カメラ画像データSIMGに含まれる複数の可動カメラの特徴点と、固定カメラ画像データDIMGに含まれる複数の固定カメラの特徴点のうち、対応すると推定される可動カメラの特徴点(可動カメラの有効特徴点)と固定カメラの特徴点(固定カメラの有効特徴点)を選定する。
すなわち、2つの画像データの中で対応可能な位置にある特徴点を見つけ出す。
ここでは、可動カメラの特徴量と固定カメラの特徴量を比較し、可動カメラ画像データSIMGに含まれる複数の可動カメラの特徴点と、固定カメラ画像データDIMGに含まれる複数の固定カメラの特徴点のうち、対応すると推定される可動カメラの特徴点(可動カメラの有効特徴点)と固定カメラの特徴点(固定カメラの有効特徴点)を選定する。
対応する有効特徴点は、たとえば、撮影された2つの画像データに含まれる同じ物体の中で位置がほぼ一致する(マッチングする)特徴点を意味する。
この有効特徴点の選定処理も、従来から実施されている画像処理技術を用いればよい。
この有効特徴点の選定処理によって、選定された有効特徴点の座標が、記憶部70に記憶される。
この有効特徴点の選定処理も、従来から実施されている画像処理技術を用いればよい。
この有効特徴点の選定処理によって、選定された有効特徴点の座標が、記憶部70に記憶される。
図8に、記憶部に記憶される情報の一実施例の説明図を示す。
図8(a)に、対応する有効特徴点に相当する2つの座標(可動カメラ特徴点座標、固定カメラ特徴点座標)の一実施例を示している。
すなわち、対応する有効特徴点の位置は、可動カメラで撮影された画像データにおける特徴点の座標(S(Xs, Ys))と、固定カメラで撮影された画像データにおける特徴点の座標(D(Xd, Yd))によって示される。
たとえば、対応する有効特徴点P1は、可動カメラにおける特徴点の座標では、(Xs1, Ys1)で表され、固定カメラにおける特徴点の座標では、(Xd1, Yd1)で表される。
選定された有効特徴点がn個あれば、図8(a)のように、n個の可動カメラにおける特徴点の座標(S(Xs, Ys))と、n個の固定カメラにおける特徴点の座標(D(Xd, Yd))とが、対応付けて記憶される。
図8(a)に、対応する有効特徴点に相当する2つの座標(可動カメラ特徴点座標、固定カメラ特徴点座標)の一実施例を示している。
すなわち、対応する有効特徴点の位置は、可動カメラで撮影された画像データにおける特徴点の座標(S(Xs, Ys))と、固定カメラで撮影された画像データにおける特徴点の座標(D(Xd, Yd))によって示される。
たとえば、対応する有効特徴点P1は、可動カメラにおける特徴点の座標では、(Xs1, Ys1)で表され、固定カメラにおける特徴点の座標では、(Xd1, Yd1)で表される。
選定された有効特徴点がn個あれば、図8(a)のように、n個の可動カメラにおける特徴点の座標(S(Xs, Ys))と、n個の固定カメラにおける特徴点の座標(D(Xd, Yd))とが、対応付けて記憶される。
ステップS6において、選定された複数の可動カメラの有効特徴点の座標からなる可動カメラ特徴点座標(ベクトルS)を設定し、このベクトルS(73)を記憶部70に記憶する。
ステップS7において、選定された複数の固定カメラの有効特徴点の座標からなる固定カメラ特徴点座標(ベクトルD)を設定し、このベクトルD(74)を記憶部70に記憶する。
ステップS7において、選定された複数の固定カメラの有効特徴点の座標からなる固定カメラ特徴点座標(ベクトルD)を設定し、このベクトルD(74)を記憶部70に記憶する。
図8(b)に、可動カメラ特徴点座標のベクトルSと、固定カメラ特徴点座標のベクトルDの一実施例を示す。
可動カメラ特徴点座標のベクトルSは、図8(a)に示したn個の可動カメラにおける特徴点の座標S(Xs, Ys)を、n行3列のベクトルで表したものである。
固定カメラ特徴点座標のベクトルDは、図8(a)に示したn個の固定カメラにおける特徴点の座標D(Xd, Yd)を、n行3列のベクトルで表したものである。
図8(b)に示すように、ベクトルSとベクトルDとの関係は、上記した変換座標行列Cを用いて、D=SCで表される。
可動カメラ特徴点座標のベクトルSは、図8(a)に示したn個の可動カメラにおける特徴点の座標S(Xs, Ys)を、n行3列のベクトルで表したものである。
固定カメラ特徴点座標のベクトルDは、図8(a)に示したn個の固定カメラにおける特徴点の座標D(Xd, Yd)を、n行3列のベクトルで表したものである。
図8(b)に示すように、ベクトルSとベクトルDとの関係は、上記した変換座標行列Cを用いて、D=SCで表される。
ステップS8において、可動カメラ特徴点座標(ベクトルS)と、固定カメラ特徴点座標(ベクトルD)とから、座標変換行列Cを計算する。
図8(c)に、座標変換行列Cの一実施例を示す。
ここで、座標変換行列Cは、3行3列の行列である。
D=SCであるとすると、ベクトルSとベクトルDの転置行列とそれらの逆行列を用いて、座標変換行列Cは、図8(c)に示す計算式による演算により、計算される。
図8(c)に、座標変換行列Cの一実施例を示す。
ここで、座標変換行列Cは、3行3列の行列である。
D=SCであるとすると、ベクトルSとベクトルDの転置行列とそれらの逆行列を用いて、座標変換行列Cは、図8(c)に示す計算式による演算により、計算される。
ステップS9において、可動カメラの画像データSIMGから、可動カメラ31の撮影範囲を画定する4角の頂点の位置を示す可動カメラ範囲測定座標BSを取得する。
また、可動カメラ範囲測定座標BSから、測定座標行列Bを生成する。
可動カメラ31の撮影範囲は、通常、長方形なので、4つの頂点の座標を取得する。
可動カメラ31の撮影範囲は、たとえば、1つの頂点の座標を原点(0,0)として、他の3つの頂点の座標は、xy座標で表される。
また、可動カメラ範囲測定座標BSから、測定座標行列Bを生成する。
可動カメラ31の撮影範囲は、通常、長方形なので、4つの頂点の座標を取得する。
可動カメラ31の撮影範囲は、たとえば、1つの頂点の座標を原点(0,0)として、他の3つの頂点の座標は、xy座標で表される。
図9に、可動カメラ範囲測定座標と可動カメラ範囲変換座標と、その行列の一実施例の説明図を示す。
図9(a)に、可動カメラ測定範囲と、その測定範囲を画定する可動カメラ範囲測定座標BSと、その座標をもとに生成した測定座標行列Bを示す。
可動カメラ測定範囲は、4つの頂点(b1,b2,b3,b4)で囲まれた領域であり、可動カメラ範囲測定座標BSは、4つの頂点(b1,b2,b3,b4)の座標で示される。
図9(a)に、可動カメラ測定範囲と、その測定範囲を画定する可動カメラ範囲測定座標BSと、その座標をもとに生成した測定座標行列Bを示す。
可動カメラ測定範囲は、4つの頂点(b1,b2,b3,b4)で囲まれた領域であり、可動カメラ範囲測定座標BSは、4つの頂点(b1,b2,b3,b4)の座標で示される。
可動カメラ測定範囲の左上の頂点b1を、原点(0,0)とし、可動カメラ測定範囲の横方向の長さをxmaxとし、縦方向の長さをymaxとすると、4つの頂点の座標は、それぞれ、b1(0,0)、b2(xmax,0)、b3(0, ymax)、b4(xmax, ymax)で表される。
これらの4つの頂点の座標を利用して、図9(a)に示すような測定座標行列Bが生成される。
可動カメラ範囲測定座標BSは、可動カメラ31で撮影された画像データの座標値であるので、固定カメラ32で撮影された画像データの座標系と対応させるために、可動カメラ範囲測定座標BSを、座標変換行列Cを利用して変換する。
これらの4つの頂点の座標を利用して、図9(a)に示すような測定座標行列Bが生成される。
可動カメラ範囲測定座標BSは、可動カメラ31で撮影された画像データの座標値であるので、固定カメラ32で撮影された画像データの座標系と対応させるために、可動カメラ範囲測定座標BSを、座標変換行列Cを利用して変換する。
ステップS10において、可動カメラ範囲測定座標BSと、座標変換行列Cとから、可動カメラ範囲変換座標ASを計算する。
すなわち、可動カメラ31で撮影された画像データの可動カメラ範囲測定座標BSを、固定カメラ32で撮影された画像データの座標系で示した可動カメラ範囲変換座標ASに変換する。
すなわち、可動カメラ31で撮影された画像データの可動カメラ範囲測定座標BSを、固定カメラ32で撮影された画像データの座標系で示した可動カメラ範囲変換座標ASに変換する。
図9(b)に、可動カメラ変換後測定範囲と、その測定範囲を画定する可動カメラ範囲変換座標ASと、その座標をもとに生成した変換座標行列Aの一実施例を示す。
固定カメラ32で撮影された画像データの座標系で示した可動カメラ変換後測定範囲が、4つの頂点(a1,a2,a3,a4)で囲まれた領域であるとする。
4つの頂点(a1,a2,a3,a4)は、それぞれ、図9(a)に示した可動カメラ測定範囲の4つの頂点(b1,b2,b3,b4)に対応するものとする。
また、4つの頂点(a1,a2,a3,a4)の座標は、それぞれ、a1(x1,y1)、a2(x2,y2)、a3(x3,y3)、a4(x4,y4)で表されるものとする。
固定カメラ32で撮影された画像データの座標系で示した可動カメラ変換後測定範囲が、4つの頂点(a1,a2,a3,a4)で囲まれた領域であるとする。
4つの頂点(a1,a2,a3,a4)は、それぞれ、図9(a)に示した可動カメラ測定範囲の4つの頂点(b1,b2,b3,b4)に対応するものとする。
また、4つの頂点(a1,a2,a3,a4)の座標は、それぞれ、a1(x1,y1)、a2(x2,y2)、a3(x3,y3)、a4(x4,y4)で表されるものとする。
可動カメラ範囲変換座標ASは、これらの4つの頂点の座標で表される。
座標変換後のa1(x1,y1)は、可動カメラ測定範囲を示すb1(0,0)に対応し、座標変換後のa2(x2,y2)は、可動カメラ測定範囲を示すb2(xmax,0)に対応し、座標変換後のa3(x3,y3)は、可動カメラ測定範囲を示すb3(0, ymax)に対応し、座標変換後のa4(x4,y4)は、可動カメラ測定範囲を示すb4(xmax, ymax)に対応する。
これらの4つの頂点(a1,a2,a3,a4)の座標を利用すると、変換座標行列Aは、図9(b)に示すように表現される。
座標変換後のa1(x1,y1)は、可動カメラ測定範囲を示すb1(0,0)に対応し、座標変換後のa2(x2,y2)は、可動カメラ測定範囲を示すb2(xmax,0)に対応し、座標変換後のa3(x3,y3)は、可動カメラ測定範囲を示すb3(0, ymax)に対応し、座標変換後のa4(x4,y4)は、可動カメラ測定範囲を示すb4(xmax, ymax)に対応する。
これらの4つの頂点(a1,a2,a3,a4)の座標を利用すると、変換座標行列Aは、図9(b)に示すように表現される。
可動カメラ範囲変換座標ASを変換座標行列Aで表した場合、変換座標行列Aは、可動カメラ範囲測定座標BSを示す測定座標行列Bと、座標変換行列Cとから、行列演算により計算される(A=BC)。
変換座標行列Aを計算することにより、可動カメラ範囲変換座標ASが求められる。
すなわち、可動カメラ変換後測定範囲を確定する4つの頂点の座標(a1,a2,a3,a4)が求められる。
変換座標行列Aを計算することにより、可動カメラ範囲変換座標ASが求められる。
すなわち、可動カメラ変換後測定範囲を確定する4つの頂点の座標(a1,a2,a3,a4)が求められる。
ステップS11において、計算された可動カメラ範囲変換座標ASを、可動カメラ基準座標AK(78)として、記憶部70に記憶する。
図4のフローチャートでは、自律走行装置を所定の位置に停止させて、可動カメラにおける初期的な基準座標の設定を行っているので、ここで計算された可動カメラ範囲変換座標ASが、調整の要否を判定するための可動カメラ基準座標AK(78)となる。
上記の処理により、可動カメラの調整の要否を判定するために必要な基準情報が設定記憶された。
図4のフローチャートでは、自律走行装置を所定の位置に停止させて、可動カメラにおける初期的な基準座標の設定を行っているので、ここで計算された可動カメラ範囲変換座標ASが、調整の要否を判定するための可動カメラ基準座標AK(78)となる。
上記の処理により、可動カメラの調整の要否を判定するために必要な基準情報が設定記憶された。
<可動カメラの調整判定と調整処理:実施例1>
図5に、この発明の可動カメラにおける調整判定処理と調整処理の一実施例のフローチャートを示す。
自律走行装置を自律走行させた後、必要に応じて、以下に示す可動カメラの調整判定処理を行い、調整が必要と判断された場合に、可動カメラの調整処理を行う。
たとえば、所定の巡回経路を定期的に走行する自律走行装置の場合、その巡回経路を10回走行した後に、可動カメラの調整判定処理を行う。あるいは、1日の巡回経路の走行が終了するごとに、可動カメラの調整判定処理を行ってもよい。
以下に示す可動カメラの調整判定処理は、自律走行装置を停止させて行う。
図5に、この発明の可動カメラにおける調整判定処理と調整処理の一実施例のフローチャートを示す。
自律走行装置を自律走行させた後、必要に応じて、以下に示す可動カメラの調整判定処理を行い、調整が必要と判断された場合に、可動カメラの調整処理を行う。
たとえば、所定の巡回経路を定期的に走行する自律走行装置の場合、その巡回経路を10回走行した後に、可動カメラの調整判定処理を行う。あるいは、1日の巡回経路の走行が終了するごとに、可動カメラの調整判定処理を行ってもよい。
以下に示す可動カメラの調整判定処理は、自律走行装置を停止させて行う。
図5のステップS21において、撮影位置算出部58が、可動カメラ撮影範囲位置の算出処理を行い、可動カメラ範囲変換座標ASを計算する。
可動カメラ撮影範囲位置の算出処理の詳細は、後述する図6に示す。
可動カメラ撮影範囲位置の算出処理では、図4に示した可動カメラの初期撮影範囲の基準座標の設定処理とほぼ同様の処理を行い、可動カメラ範囲変換座標ASを計算する。
可動カメラ撮影範囲位置の算出処理の詳細は、後述する図6に示す。
可動カメラ撮影範囲位置の算出処理では、図4に示した可動カメラの初期撮影範囲の基準座標の設定処理とほぼ同様の処理を行い、可動カメラ範囲変換座標ASを計算する。
可動カメラ31の位置ずれがない場合は、図4の処理によって求められた可動カメラ基準座標AKと、ほぼ同様の可動カメラ範囲変換座標ASが求められる。
可動カメラ31の所定以上の位置ずれがある場合は、図4の処理によって求められた可動カメラ基準座標AKとは異なる可動カメラ範囲変換座標ASが求められる。
可動カメラ31の所定以上の位置ずれがある場合は、図4の処理によって求められた可動カメラ基準座標AKとは異なる可動カメラ範囲変換座標ASが求められる。
ステップS22において、記憶部70に予め記憶されている可動カメラ基準座標AKを、記憶部から読み出す。
また、記憶部70に予め記憶されているずれ量判定値PG0を、記憶部から読み出す。
また、記憶部70に予め記憶されているずれ量判定値PG0を、記憶部から読み出す。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。
ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS24において、調整要否判定部60が、算出したずれ量評価値PGEと、読み出したずれ量判定値PG0を比較する。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS26において、ずれ量評価値PGEが、ずれ量判定値PG0よりも大きいので、
調整実行部61が、可動カメラの位置の調整処理を実行する。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
また、自律走行装置が停止した位置が、たとえば、自律走行経路の途中である場合など、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
調整実行部61が、可動カメラの位置の調整処理を実行する。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
また、自律走行装置が停止した位置が、たとえば、自律走行経路の途中である場合など、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
ステップS27において、ずれ量評価値PGEが、ずれ量判定値PG0以下なので、
調整実行部61が、可動カメラの位置の調整が不要であることを通知する。たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。
または、可動カメラの位置調整が不要である場合は、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
調整実行部61が、可動カメラの位置の調整が不要であることを通知する。たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。
または、可動カメラの位置調整が不要である場合は、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
可動カメラの位置の調整処理は、管理担当者による作業が必要となるが、可動カメラの位置の調整が必要か否かの判定処理を、いつでもどこでも、管理担当者が特定の操作をしなくても、自動的に実行させることができる。
<可動カメラの撮影範囲位置座標の算出処理>
図6に、この発明の可動カメラにおける撮影範囲位置座標の算出処理の一実施例のフローチャートを示す。
この算出処理は、図5に示したステップS21で実行される処理である。
図6に、この発明の可動カメラにおける撮影範囲位置座標の算出処理の一実施例のフローチャートを示す。
この算出処理は、図5に示したステップS21で実行される処理である。
図6のステップS41において、車両を停止させる。
ここでの車両の停止は、管理担当者の手動や遠隔操作によるものではなく、撮影範囲位置座標の算出処理が必要となった時点で、自律走行装置が、自ら自動的に停止することを意味する。たとえば、上記したように、自律走行装置の巡回経路を所定回数以上走行した場合に、車両を自動停止させる。
車両を停止させる場所は、特定の場合でなくてもよい。たとえば、走行経路上の任意の位置でもよい。
ここでの車両の停止は、管理担当者の手動や遠隔操作によるものではなく、撮影範囲位置座標の算出処理が必要となった時点で、自律走行装置が、自ら自動的に停止することを意味する。たとえば、上記したように、自律走行装置の巡回経路を所定回数以上走行した場合に、車両を自動停止させる。
車両を停止させる場所は、特定の場合でなくてもよい。たとえば、走行経路上の任意の位置でもよい。
ステップS42において、可動カメラ31を、初期位置に移動させる。
たとえば、図2に示すように、可動カメラ31を、自律走行装置の前方方向を撮影することができる位置に戻す。この場合は、以下の処理で画像データを取得する固定カメラ32としては、可動カメラ31と同様に、自律走行装置の前方方向を撮影することができる固定カメラ32を使用する。
たとえば、図2に示すように、可動カメラ31を、自律走行装置の前方方向を撮影することができる位置に戻す。この場合は、以下の処理で画像データを取得する固定カメラ32としては、可動カメラ31と同様に、自律走行装置の前方方向を撮影することができる固定カメラ32を使用する。
以下のステップS43からステップS51までの処理は、それぞれ、図4に示したステップS2からステップS10までの処理に相当する。
ステップS43において、図4のステップS2と同様に、2つのカメラによって画像を撮影させ、画像データを取得する。
すなわち、可動カメラ31によって撮影された可動カメラ画像データSIMGと、可動カメラ31と同じ方向を撮影することのできる固定カメラ32によって撮影された固定カメラ画像データDIMGを取得する。
ステップS43において、図4のステップS2と同様に、2つのカメラによって画像を撮影させ、画像データを取得する。
すなわち、可動カメラ31によって撮影された可動カメラ画像データSIMGと、可動カメラ31と同じ方向を撮影することのできる固定カメラ32によって撮影された固定カメラ画像データDIMGを取得する。
ステップS44において、ステップS3と同様に、可動カメラ画像データSIMGを解析し、可動カメラ31によって撮影された画像データに含まれる特徴点(可動カメラの特徴点)を抽出する。
また、固定カメラ画像データDIMGを解析し、固定カメラ32によって撮影された画像データに含まれる特徴点(固定カメラの特徴点)を抽出する。
また、固定カメラ画像データDIMGを解析し、固定カメラ32によって撮影された画像データに含まれる特徴点(固定カメラの特徴点)を抽出する。
ステップS45において、ステップS4と同様に、抽出した複数の特徴点を利用して、抽出された複数の可動カメラの特徴点から可動カメラの特徴量を算出し、抽出された複数の固定カメラの特徴点から固定カメラの特徴量を算出する。
ステップS46において、ステップS5と同様に、可動カメラの特徴量と固定カメラの特徴量とから、2つの画像データの中で対応する有効特徴点を選定(推定)する。
ステップS47において、ステップS6と同様に、選定された複数の可動カメラの有効特徴点の座標からなる可動カメラ特徴点座標(ベクトルS)を設定し、このベクトルS(73)を記憶部70に記憶する。
ステップS48において、ステップS7と同様に、選定された複数の固定カメラの有効特徴点の座標からなる固定カメラ特徴点座標(ベクトルD)を設定し、このベクトルD(74)を記憶部70に記憶する。
ステップS48において、ステップS7と同様に、選定された複数の固定カメラの有効特徴点の座標からなる固定カメラ特徴点座標(ベクトルD)を設定し、このベクトルD(74)を記憶部70に記憶する。
ステップS49において、ステップS8と同様に、可動カメラ特徴点座標(ベクトルS)と、固定カメラ特徴点座標(ベクトルD)とから、座標変換行列Cを計算する。
座標変換行列Cは、図8(c)に示す計算式による演算により、計算される。
座標変換行列Cは、図8(c)に示す計算式による演算により、計算される。
ステップS50において、ステップS9と同様に、可動カメラ31の撮影範囲の4角の頂点の位置を示す可動カメラ範囲測定座標BSを取得する。また、可動カメラ範囲測定座標BSから、測定座標行列Bを生成する。
ステップS51において、ステップS10と同様に、可動カメラ範囲測定座標BSと、座標変換行列Cとから、可動カメラ範囲変換座標ASを計算し、記憶する。
可動カメラ範囲変換座標ASを変換座標行列Aで表した場合、変換座標行列Aは、可動カメラ範囲測定座標BSを示す測定座標行列Bと、座標変換行列Cとから、行列演算により計算される(A=BC)。
これにより、可動カメラ31で撮影された画像データの可動カメラ範囲測定座標BSが、固定カメラ32で撮影された画像データの座標系で示した可動カメラ範囲変換座標ASに変換される。
可動カメラ範囲変換座標ASを変換座標行列Aで表した場合、変換座標行列Aは、可動カメラ範囲測定座標BSを示す測定座標行列Bと、座標変換行列Cとから、行列演算により計算される(A=BC)。
これにより、可動カメラ31で撮影された画像データの可動カメラ範囲測定座標BSが、固定カメラ32で撮影された画像データの座標系で示した可動カメラ範囲変換座標ASに変換される。
ステップS52において、ステップS46において選定された可動カメラの有効特徴点の数Tnを取得し、記憶する。有効特徴点数Tnは、位置ずれの算出処理をするかしないかの判定に利用する。
以上の処理により、自律走行をした後、車両を停止させたときの位置で、可動カメラの調整の要否を判定するために必要な測定情報が記憶される。
以上の処理により、自律走行をした後、車両を停止させたときの位置で、可動カメラの調整の要否を判定するために必要な測定情報が記憶される。
<可動カメラの調整判定と調整処理:実施例2>
図10に、この発明の可動カメラにおける調整判定処理と調整処理の実施例2におけるフローチャートを示す。
ここでは、図5に示したフローチャートとは異なり、定期的に(一定時間が経過するごとに)、図5に示した可動カメラの調整判定処理を、繰り返し実行する。
たとえば、自律走行装置が所定の経路を走行している場合において、一定時間が経過するごとに、走行制御部52が、任意の位置で車体を停止させた後、調整要否判定部60によって可動カメラの位置の調整が必要か否かを判定する。
図10において、図5に示した処理と同じ処理をするステップには、同じステップ番号を付与している。
図10に、この発明の可動カメラにおける調整判定処理と調整処理の実施例2におけるフローチャートを示す。
ここでは、図5に示したフローチャートとは異なり、定期的に(一定時間が経過するごとに)、図5に示した可動カメラの調整判定処理を、繰り返し実行する。
たとえば、自律走行装置が所定の経路を走行している場合において、一定時間が経過するごとに、走行制御部52が、任意の位置で車体を停止させた後、調整要否判定部60によって可動カメラの位置の調整が必要か否かを判定する。
図10において、図5に示した処理と同じ処理をするステップには、同じステップ番号を付与している。
図10のステップS31において、判定確認タイマーTに初期値を設定し、判定確認タイマーTを起動させ、時間の計測を開始する。
判定確認タイマーTは、調整判定処理を繰り返す時間間隔(周期)を決定するものであり、たとえば、10分ごとに、調整判定処理を実行させる場合は、10分に相当する数値が、判定確認タイマーTに初期設定される。
ステップS32において、判定確認タイマーTがタイムアウトし、設定された時間が経過した場合は、ステップS21に進み、そうでない場合は、ステップS32を繰り返す。
判定確認タイマーTは、調整判定処理を繰り返す時間間隔(周期)を決定するものであり、たとえば、10分ごとに、調整判定処理を実行させる場合は、10分に相当する数値が、判定確認タイマーTに初期設定される。
ステップS32において、判定確認タイマーTがタイムアウトし、設定された時間が経過した場合は、ステップS21に進み、そうでない場合は、ステップS32を繰り返す。
以下のステップS21からステップS27までの処理は、図5に示した処理と同じ処理である。
ステップS21において、撮影位置算出部58が、可動カメラ撮影範囲位置の算出処理を行い、可動カメラ範囲変換座標ASを計算する。
可動カメラ撮影範囲位置の算出処理の詳細は、図6に示した処理である。
ステップS21において、撮影位置算出部58が、可動カメラ撮影範囲位置の算出処理を行い、可動カメラ範囲変換座標ASを計算する。
可動カメラ撮影範囲位置の算出処理の詳細は、図6に示した処理である。
ステップS22において、記憶部70に予め記憶されている可動カメラ基準座標AKと、ずれ量判定値PG0を、記憶部から読み出す。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS24において、調整要否判定部60が、算出したずれ量評価値PGEと、読み出したずれ量判定値PG0を比較する。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS26において、ずれ量評価値PGEが、ずれ量判定値PG0よりも大きいので、
調整実行部61が、可動カメラの位置の調整処理を実行し、その後、ステップS31に戻る。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
ただし、自律走行装置が停止した位置が、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
調整実行部61が、可動カメラの位置の調整処理を実行し、その後、ステップS31に戻る。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
ただし、自律走行装置が停止した位置が、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
ステップS27において、ずれ量評価値PGEが、ずれ量判定値PG0以下なので、調整実行部61が、可動カメラの位置の調整が不要であることを通知し、その後、ステップS31に戻る。
たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。ただし、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。ただし、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
これによれば、可動カメラの位置の調整が必要か否かの判定処理を、いつでもどこでも、管理担当者が特定の操作をしなくても、定期的に、繰り返し実行させることができる。
<可動カメラの調整判定と調整処理:実施例3>
図11に、この発明の可動カメラにおける調整判定処理と調整処理の実施例3におけるフローチャートを示す。
ここでは、取得された画像データから選定された有効特徴点の数Tnが、予め記憶された有効特徴点数判定値T0よりも多い場合に、可動カメラの調整判定処理を実行する。
図11に、この発明の可動カメラにおける調整判定処理と調整処理の実施例3におけるフローチャートを示す。
ここでは、取得された画像データから選定された有効特徴点の数Tnが、予め記憶された有効特徴点数判定値T0よりも多い場合に、可動カメラの調整判定処理を実行する。
すなわち、撮影位置算出部58が、選定された有効特徴点の数を取得し、取得された有効特徴点の数が、所定の判定値T0よりも大きい場合に、調整要否判定部60によって可動カメラの位置の調整が必要か否かを判定し、有効特徴点の数が、所定の判定値T0以下の場合は、調整要否判定部60によって調整対象カメラの位置の調整が必要か否かを判定しない。
図11において、図5に示した処理と同じ処理をするステップには、同じステップ番号を付与している。
図11において、図5に示した処理と同じ処理をするステップには、同じステップ番号を付与している。
選定された有効特徴点の数Tnがあまりにも少ない場合、たとえば、有効特徴点数Tnが1つしか無かった場合などでは、正確な可動カメラの位置ずれを検出することが困難であるので、調整判定処理をすべきでない。
そこで、正確な可動カメラの位置ずれが検出できると想定される有効特徴点数判定値T0を予め設定し、有効特徴点数Tnが、有効特徴点数判定値T0以下の場合には、調整判定処理をしないようにする。
そこで、正確な可動カメラの位置ずれが検出できると想定される有効特徴点数判定値T0を予め設定し、有効特徴点数Tnが、有効特徴点数判定値T0以下の場合には、調整判定処理をしないようにする。
まず、図11のステップS21において、図5と同様に、撮影位置算出部58が、可動カメラ撮影範囲位置の算出処理を行い、可動カメラ範囲変換座標ASを計算する。
またここで、選定された可動カメラの有効特徴点の数Tnが取得され、記憶部70に記憶される。
可動カメラ撮影範囲位置の算出処理の詳細は、図6に示した処理である。
またここで、選定された可動カメラの有効特徴点の数Tnが取得され、記憶部70に記憶される。
可動カメラ撮影範囲位置の算出処理の詳細は、図6に示した処理である。
ステップS61において、取得された有効特徴点数Tnと、記憶部70に予め記憶されている有効特徴点数判定値T0とを比較する。
ステップS62において、Tn>T0の場合は、ステップS22に進み、そうでない場合は、処理を終了する。
ステップS62において、Tn>T0の場合は、ステップS22に進み、そうでない場合は、処理を終了する。
以下のステップS22からステップS27までの処理は、図5に示した処理と同じ処理である。
ステップS22において、記憶部70に予め記憶されている可動カメラ基準座標AKと、ずれ量判定値PG0を、記憶部から読み出す。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS22において、記憶部70に予め記憶されている可動カメラ基準座標AKと、ずれ量判定値PG0を、記憶部から読み出す。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS24において、調整要否判定部60が、算出したずれ量評価値PGEと、読み出したずれ量判定値PG0を比較する。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS26において、ずれ量評価値PGEが、ずれ量判定値PG0よりも大きいので、
調整実行部61が、可動カメラの位置の調整処理を実行し、その後、処理を終了する。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
ただし、自律走行装置が停止した位置が、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
調整実行部61が、可動カメラの位置の調整処理を実行し、その後、処理を終了する。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
ただし、自律走行装置が停止した位置が、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
ステップS27において、ずれ量評価値PGEが、ずれ量判定値PG0以下なので、調整実行部61が、可動カメラの位置の調整が不要であることを通知し、その後、処理を終了する。
たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。ただし、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。ただし、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
これによれば、正確な可動カメラの位置ずれを検出することが困難である場合は、無駄な調整判定処理を行わず、有効特徴点数Tnが相当数以上カウントされた場合にのみ、調整判定処理を行う。
以上の処理により、可動カメラの位置の調整が必要か否かの判定処理を、いつでもどこでも、管理担当者が特定の操作をしなくても、自動的に、さらに、真に有効な位置ずれが検出できるような状態の場合に、実行させることができる。
以上の処理により、可動カメラの位置の調整が必要か否かの判定処理を、いつでもどこでも、管理担当者が特定の操作をしなくても、自動的に、さらに、真に有効な位置ずれが検出できるような状態の場合に、実行させることができる。
<可動カメラの調整判定と調整処理:実施例4>
図12に、この発明の可動カメラにおける調整判定処理と調整処理の実施例4におけるフローチャートを示す。
ここでは、図10に示した処理と、図11に示した処理を組み合わせて行う場合を示す。すなわち、所定の一定時間の経過ごとに、可動カメラの調整判定処理を行うが、有効特徴点の数Tnが、有効特徴点数判定値T0以下の場合は、車両を移動させて、再度、画像データを取得して有効特徴点の数Tnを確認する。
図12に、この発明の可動カメラにおける調整判定処理と調整処理の実施例4におけるフローチャートを示す。
ここでは、図10に示した処理と、図11に示した処理を組み合わせて行う場合を示す。すなわち、所定の一定時間の経過ごとに、可動カメラの調整判定処理を行うが、有効特徴点の数Tnが、有効特徴点数判定値T0以下の場合は、車両を移動させて、再度、画像データを取得して有効特徴点の数Tnを確認する。
たとえば、撮影位置算出部58が、選定された有効特徴点の数を取得し、有効特徴点の数が、所定の判定値T0以下の場合は、走行制御部52によって車体を移動させた後、撮影位置算出部58が、再度、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と調整判定用カメラの有効特徴点とを選定し、選定された有効特徴点の数を取得し、取得された有効特徴点の数が、所定の判定値よりも大きくなった場合に、調整要否判定部60によって可動カメラの位置の調整が必要か否かを判定する。
図12において、図5や図11に示した処理と同じ処理をするステップには、同じステップ番号を付与している。
図12において、図5や図11に示した処理と同じ処理をするステップには、同じステップ番号を付与している。
まず、図11と同様に、可動カメラ撮影範囲位置の算出処理を行い、可動カメラ範囲変換座標ASを計算し、選定された可動カメラの有効特徴点の数Tnを取得し、記憶部70に記憶する。
可動カメラ撮影範囲位置の算出処理の詳細は、図6に示した処理である。
可動カメラ撮影範囲位置の算出処理の詳細は、図6に示した処理である。
図11と同様に、ステップS61において、取得された有効特徴点数Tnと、記憶部70に予め記憶されている有効特徴点数判定値T0とを比較する。
ステップS62において、Tn>T0の場合は、ステップS22に進み、そうでない場合は、ステップS63に進む。
ステップS62において、Tn>T0の場合は、ステップS22に進み、そうでない場合は、ステップS63に進む。
ステップS63において、車両を移動する。
必ずしも車両の移動をしなくてもよいが、同じ位置で画像データを取得しても有効な特徴点が多数得られない可能性があるので、多くの有効特徴点を取得するために、車両を移動させることが好ましい。
その後、ステップS21に戻る。
必ずしも車両の移動をしなくてもよいが、同じ位置で画像データを取得しても有効な特徴点が多数得られない可能性があるので、多くの有効特徴点を取得するために、車両を移動させることが好ましい。
その後、ステップS21に戻る。
以下のステップS22からステップS27までの処理は、図5に示した処理と同じ処理である。
ステップS22において、記憶部70に予め記憶されている可動カメラ基準座標AKと、ずれ量判定値PG0を、記憶部から読み出す。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS22において、記憶部70に予め記憶されている可動カメラ基準座標AKと、ずれ量判定値PG0を、記憶部から読み出す。
ステップS23において、位置ずれ算出部59が、可動カメラの位置ずれの算出処理を行う。ここでは、読み出した可動カメラ基準座標AKと、計算された可動カメラ範囲変換座標ASとを利用して、図7(b)に示した計算式によって、可動カメラのずれ量評価値PGEを算出する。
ステップS24において、調整要否判定部60が、算出したずれ量評価値PGEと、読み出したずれ量判定値PG0を比較する。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS25において、PGE>PG0の場合、ステップS26に進み、そうでない場合は、ステップS27に進む。
ステップS26において、ずれ量評価値PGEが、ずれ量判定値PG0よりも大きいので、
調整実行部61が、可動カメラの位置の調整処理を実行し、ステップS64に進む。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
ただし、自律走行装置が停止した位置が、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
調整実行部61が、可動カメラの位置の調整処理を実行し、ステップS64に進む。
ここでは、可動カメラの位置を、もとの初期位置に戻す作業が、管理担当者などによって行われる。
ただし、自律走行装置が停止した位置が、可動カメラの調整を行うことができない位置である場合には、可動カメラの位置の調整が必要であることを示す情報を記憶し、位置調整が必要であることを示す情報を表示するか、あるいは管理装置などに送信してもよい。この場合は、可動カメラの調整が可能な位置に戻ってから、可動カメラの調整を行えばよい。
ステップS27において、ずれ量評価値PGEが、ずれ量判定値PG0以下なので、調整実行部61が、可動カメラの位置の調整が不要であることを通知し、ステップS64に進む。
たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。ただし、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
たとえば、可動カメラの位置の調整が不要であることを表示するか、あるいは管理装置などに送信する。ただし、管理担当者に特別な作業を発生させるものではないので、可動カメラの位置の調整が不要であることを、通知しなくてもよい。
ステップS64において、図10のステップS31と同様に、判定確認タイマーTに初期値を設定し、判定確認タイマーTを起動させ、時間の計測を開始する。
ステップS65において、図10のステップS32と同様に、判定確認タイマーTがタイムアウトし、設定された時間が経過した場合は、ステップS21に戻り、そうでない場合は、ステップS65を繰り返す。
ステップS65において、図10のステップS32と同様に、判定確認タイマーTがタイムアウトし、設定された時間が経過した場合は、ステップS21に戻り、そうでない場合は、ステップS65を繰り返す。
これによれば、正確な可動カメラの位置ずれを検出することが困難である場合は、無駄な調整判定処理を行わず、車両を移動させて、異なる画像データから再度有効特徴点数Tnを確認し、有効特徴点数Tnが相当数カウントされた場合にのみ、調整判定処理を行う。
以上の処理により、可動カメラの位置の調整が必要か否かの判定処理を、いつでもどこでも、管理担当者が特定の操作をしなくても、定期的に、繰り返し実行させることができ、さらに、真に有効な位置ずれが検出できるような状態の場合に、調整判定処理を実行させることができる。
以上の処理により、可動カメラの位置の調整が必要か否かの判定処理を、いつでもどこでも、管理担当者が特定の操作をしなくても、定期的に、繰り返し実行させることができ、さらに、真に有効な位置ずれが検出できるような状態の場合に、調整判定処理を実行させることができる。
1 自律走行装置、
2 監視ユニット、
3 制御ユニット、
10 車体、
21 前輪、
22 後輪、
31 可動カメラ、
32 固定カメラ、
51 制御部、
52 走行制御部、
53 車輪、
54 障害物検出部、
55 距離検出部、
56 画像取得部、
57 初期基準位置算出部、
58 撮影位置算出部、
59 位置ずれ算出部、
60 調整要否判定部、
61 調整実行部、
70 記憶部、
71 可動カメラ画像データ(SIMG)、
72 固定カメラ画像データ(DIMG)、
73 可動カメラ特徴点座標(S)、
74 固定カメラ特徴点座標(D)、
75 座標変換行列(C)、
76 可動カメラ範囲測定座標(BS)、
77 可動カメラ範囲変換座標(AS)、
78 可動カメラ基準座標(AK)、
79 ずれ量評価値(PGE)、
80 ずれ量判定値(PG0)、
81 有効特徴点数(Tn)、
82 有効特徴点数判定値(T0)
2 監視ユニット、
3 制御ユニット、
10 車体、
21 前輪、
22 後輪、
31 可動カメラ、
32 固定カメラ、
51 制御部、
52 走行制御部、
53 車輪、
54 障害物検出部、
55 距離検出部、
56 画像取得部、
57 初期基準位置算出部、
58 撮影位置算出部、
59 位置ずれ算出部、
60 調整要否判定部、
61 調整実行部、
70 記憶部、
71 可動カメラ画像データ(SIMG)、
72 固定カメラ画像データ(DIMG)、
73 可動カメラ特徴点座標(S)、
74 固定カメラ特徴点座標(D)、
75 座標変換行列(C)、
76 可動カメラ範囲測定座標(BS)、
77 可動カメラ範囲変換座標(AS)、
78 可動カメラ基準座標(AK)、
79 ずれ量評価値(PGE)、
80 ずれ量判定値(PG0)、
81 有効特徴点数(Tn)、
82 有効特徴点数判定値(T0)
Claims (17)
- 回動可能に取り付けられた調整対象カメラと、
調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラと、
調整対象カメラによって撮影された第1画像データと、調整判定用カメラによって撮影された第2画像データを取得する画像取得部と、
第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出する位置ずれ算出部と、
ずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定する調整要否判定部とを備えたことを特徴とするカメラ調整装置。 - 前記調整要否判定部が、ずれ量評価値が所定のずれ量判定値よりも大きい場合に、調整対象カメラの位置の調整が必要であると判定することを特徴とする請求項1に記載のカメラ調整装置。
- 前記調整判定用カメラが、固定設置された固定カメラであることを特徴とする請求項1に記載のカメラ調整装置。
- 前記第1画像データと前記第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの撮影範囲を特定する範囲変換座標を算出する撮影位置算出部をさらに備え、
前記撮影位置算出部が、
前記調整対象カメラの第1画像データから、所定の第1特徴点を抽出し、
前記調整判定用カメラの第2画像データから、所定の第2特徴点を抽出し、
抽出された第1特徴点と第2特徴点のうち、調整対象カメラの撮影範囲と調整判定用カメラの撮影範囲の中で、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と、調整判定用カメラの有効特徴点とを選定し、
選定された調整対象カメラの有効特徴点と調整判定用カメラの有効特徴点の座標を利用して、特徴点の相対的な位置関係を示す前記座標変換情報を計算し、
前記第1画像データから調整対象カメラの撮影範囲を画定する範囲測定座標を取得し、
前記範囲測定座標を、前記座標変換情報を用いて前記範囲変換座標に変換することを特徴とする請求項1に記載のカメラ調整装置。 - 調整された状態の調整対象カメラの撮影範囲を特定する基準座標を予め記憶した記憶部をさらに備え、
前記位置ずれ算出部が、前記算出された範囲変換座標と、記憶された基準座標とを利用して、前記ずれ量評価値を算出し、
前記算出された範囲変換座標と前記記憶された基準座標が、前記調整対象カメラの撮影範囲の4つの頂点を特定する座標であり、
前記ずれ量評価値が、前記範囲変換座標が示す4つの頂点と、範囲変換座標が示す4つの頂点にそれぞれ対応する基準座標が示す4つの頂点との間の距離の平均値であることを特徴とする請求項4に記載のカメラ調整装置。 - 車体と、
車体を走行させる駆動部材を制御する走行制御部と、
回動可能に取り付けられた調整対象カメラと、
調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラと、
調整対象カメラによって撮影された第1画像データと、調整判定用カメラによって撮影された第2画像データを取得する画像取得部と、
第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、調整対象カメラの撮影範囲を特定する範囲変換座標を算出する撮影位置算出部と、
調整された状態の調整対象カメラの撮影範囲を特定する基準座標を予め記憶した記憶部と、
算出された範囲変換座標と、記憶された基準座標とを利用して、調整対象カメラの位置ずれを判定可能なずれ量評価値を算出する位置ずれ算出部と、
ずれ量評価値に基づいて、調整対象カメラの位置の調整の必要性を判定する調整要否判定部とを備えたことを特徴とする走行装置。 - 前記調整要否判定部が、ずれ量評価値が所定のずれ量判定値よりも大きい場合に、調整対象カメラの位置の調整が必要であると判定することを特徴とする請求項6に記載の走行装置。
- 前記調整判定用カメラが、前記車体に固定設置された固定カメラであることを特徴とする請求項6に記載の走行装置。
- 前記撮影位置算出部が、
前記調整対象カメラの第1画像データから、所定の第1特徴点を抽出し、
前記調整判定用カメラの第2画像データから、所定の第2特徴点を抽出し、
抽出された第1特徴点と第2特徴点のうち、調整対象カメラの撮影範囲と調整判定用カメラの撮影範囲の中で、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と、調整判定用カメラの有効特徴点とを選定し、
選定された調整対象カメラの有効特徴点と調整判定用カメラの有効特徴点の座標を利用して、特徴点の相対的な位置関係を示す前記座標変換情報を計算し、
前記第1画像データから調整対象カメラの撮影範囲を画定する範囲測定座標を取得し、
前記範囲測定座標を、前記座標変換情報を用いて前記範囲変換座標に変換することを特徴とする請求項6に記載の走行装置。 - 前記算出された範囲変換座標と前記記憶された基準座標が、前記調整対象カメラの撮影範囲の4つの頂点を特定する座標であり、
前記ずれ量評価値が、
前記範囲変換座標が示す4つの頂点と、範囲変換座標が示す4つの頂点にそれぞれ対応する基準座標が示す4つの頂点との間の距離の平均値であることを特徴とする請求項6に記載の走行装置。 - 前記調整された状態の調整対象カメラの撮影範囲を特定する基準座標を算出する初期基準位置算出部をさらに備え、
調整対象カメラの位置が調整された状態で、前記車体を停止させ、
前記撮影位置算出部によって、調整対象カメラの撮影範囲を特定する範囲変換座標を算出させ、
前記算出された範囲変換座標を、調整された状態の調整対象カメラの撮影範囲を特定する基準座標として、前記記憶部に記憶することを特徴とする請求項6に記載の走行装置。 - 走行装置が所定の経路を走行している場合において、
前記走行制御部が、任意の位置で車体を停止させた後、
前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする請求項6に記載の走行装置。 - 衝撃を検出する衝撃検出部をさらに備え、
前記衝撃検出部によって、予め設定された衝撃以上の衝撃を検出した場合に、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする請求項6に記載の走行装置。 - 走行装置が所定の経路を走行している場合において、
一定時間が経過するごとに、
前記走行制御部が、任意の位置で車体を停止させた後、
前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする請求項6に記載の走行装置。 - 前記撮影位置算出部が、前記選定された有効特徴点の数を取得し、
前記取得された有効特徴点の数が、所定の判定値よりも大きい場合に、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定し、
前記有効特徴点の数が、所定の判定値以下の場合は、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定しないことを特徴とする請求項9に記載の走行装置。 - 前記撮影位置算出部が、前記選定された有効特徴点の数を取得し、
前記有効特徴点の数が、所定の判定値以下の場合は、
前記走行制御部によって車体を移動させた後、
前記撮影位置算出部が、再度、位置がほぼ対応すると推定される調整対象カメラの有効特徴点と、調整判定用カメラの有効特徴点とを選定し、
前記選定された有効特徴点の数を取得し、
前記取得された有効特徴点の数が、所定の判定値よりも大きくなった場合に、前記調整要否判定部によって前記調整対象カメラの位置の調整が必要か否かを判定することを特徴とする請求項9に記載の走行装置。 - 回動可能に取り付けられた調整対象カメラと、調整対象カメラの撮影空間を含む空間を撮影する調整判定用カメラとを備えた走行装置のカメラ調整判定方法であって、
調整された状態の前記調整対象カメラの撮影範囲を特定する基準座標を予め記憶し、
前記調整対象カメラによって撮影された第1画像データと、前記調整判定用カメラによって撮影された第2画像データを取得し、
前記第1画像データと第2画像データに含まれる対応する特徴点の相対的な位置関係を示す座標変換情報を利用して、前記調整対象カメラの撮影範囲を特定する範囲変換座標を算出し、
前記算出された範囲変換座標と、前記記憶された基準座標とを利用して、前記調整対象カメラの位置ずれを判定可能なずれ量評価値を算出し、
前記ずれ量評価値に基づいて、前記調整対象カメラの位置の調整の必要性を判定し、
前記ずれ量評価値が所定のずれ量判定値よりも大きい場合に、調整対象カメラの位置の調整が必要であると判定することを特徴とする走行装置のカメラ調整判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018099098A JP2019205066A (ja) | 2018-05-23 | 2018-05-23 | カメラ調整装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018099098A JP2019205066A (ja) | 2018-05-23 | 2018-05-23 | カメラ調整装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019205066A true JP2019205066A (ja) | 2019-11-28 |
Family
ID=68727441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018099098A Pending JP2019205066A (ja) | 2018-05-23 | 2018-05-23 | カメラ調整装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019205066A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112678726A (zh) * | 2020-12-18 | 2021-04-20 | 江苏智库智能科技有限公司 | 基于叉车式agv运动学模型的取货定位方法及系统 |
JP2023505987A (ja) * | 2020-04-23 | 2023-02-14 | ソニーグループ株式会社 | 人間関節を用いた無人航空機上のカメラの校正 |
JP7488211B2 (ja) | 2021-02-25 | 2024-05-21 | 株式会社日立国際電気 | 監視システムおよび監視システムの制御方法 |
-
2018
- 2018-05-23 JP JP2018099098A patent/JP2019205066A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023505987A (ja) * | 2020-04-23 | 2023-02-14 | ソニーグループ株式会社 | 人間関節を用いた無人航空機上のカメラの校正 |
JP7527546B2 (ja) | 2020-04-23 | 2024-08-05 | ソニーグループ株式会社 | 人間関節を用いた無人航空機上のカメラの校正 |
CN112678726A (zh) * | 2020-12-18 | 2021-04-20 | 江苏智库智能科技有限公司 | 基于叉车式agv运动学模型的取货定位方法及系统 |
JP7488211B2 (ja) | 2021-02-25 | 2024-05-21 | 株式会社日立国際電気 | 監視システムおよび監視システムの制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3603372B1 (en) | Moving robot, method for controlling the same, and terminal | |
US8666571B2 (en) | Flight control system for flying object | |
US20200088524A1 (en) | Airport guide robot and operation method therefor | |
US10549750B2 (en) | Moving body | |
JP5310285B2 (ja) | 自己位置推定装置及び自己位置推定方法 | |
WO2015145543A1 (ja) | 物体検出装置、物体検出方法、および移動ロボット | |
CN110597265A (zh) | 一种扫地机器人回充方法和装置 | |
JP2019205066A (ja) | カメラ調整装置 | |
CN102650886A (zh) | 基于主动全景视觉传感器的机器人视觉系统 | |
JP5775965B2 (ja) | ステレオカメラシステム及び移動体 | |
KR102014340B1 (ko) | 전기차 충전 로봇, 로봇의 도킹을 위한 정밀 제어 방법 및 프로그램 | |
RU2740229C1 (ru) | Способ локализации и построения навигационных карт мобильного сервисного робота | |
CN103003666A (zh) | 用于三维空间测量的平行的在线-离线重构 | |
JP2012003706A (ja) | 無人走行車両の誘導装置及び無人走行車両の誘導方法 | |
JP2018139084A (ja) | 装置、移動体装置及び方法 | |
US20220315062A1 (en) | Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body | |
WO2018228258A1 (zh) | 一种移动电子设备以及该移动电子设备中的方法 | |
KR102163462B1 (ko) | 경로 탐사 로봇 및 그를 이용한 매핑 방법 | |
US11009887B2 (en) | Systems and methods for remote visual inspection of a closed space | |
Jensen et al. | Laser range imaging using mobile robots: From pose estimation to 3d-models | |
KR102014338B1 (ko) | 전기차 충전 로봇, 로봇의 제어 방법 및 프로그램 | |
JP2020017129A (ja) | 移動体 | |
CN113379850B (zh) | 移动机器人控制方法、装置、移动机器人及存储介质 | |
US20120223972A1 (en) | Projecting system and method thereof | |
JP2008070236A (ja) | 移動ロボット及び遠隔操作システム |