JP2018155726A - 車両用処理システム - Google Patents
車両用処理システム Download PDFInfo
- Publication number
- JP2018155726A JP2018155726A JP2017152660A JP2017152660A JP2018155726A JP 2018155726 A JP2018155726 A JP 2018155726A JP 2017152660 A JP2017152660 A JP 2017152660A JP 2017152660 A JP2017152660 A JP 2017152660A JP 2018155726 A JP2018155726 A JP 2018155726A
- Authority
- JP
- Japan
- Prior art keywords
- image
- size
- vehicle
- subject
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】単眼カメラで被写体のサイズを取得することができる車両用処理システムを提供する。【解決手段】実施形態によれば、処理装置は、サイズ算出部と、判断部と、を具備する。前記サイズ算出部は、単一の結像光学系による1度の撮像で画像とともに取得される距離マップであって、前記画像に含まれる被写体までの距離を示す情報が前記画像と対応させてマッッピングされる距離マップに基づき、前記被写体のサイズを算出する。前記判断部は、前記被写体のサイズに基づき、車両の駆動方法を判断する。【選択図】図1
Description
本発明の実施形態は、車両用処理システムに関する。
ステレオカメラ(複眼カメラ)で撮像された被写体のサイズ、たとえば被写体上の指定された2点間の長さを取得する技術が知られている。
本発明が解決しようとする課題は、単眼カメラで被写体のサイズを取得することができる車両用処理システムを提供することである。
実施形態によれば、車両用処理システムは、サイズ算出部と、判断部と、を具備する。前記サイズ算出部は、単一の結像光学系による1度の撮像で画像とともに取得される距離マップであって、前記画像に含まれる被写体までの距離を示す情報が前記画像と対応させてマッッピングされる距離マップに基づき、前記被写体のサイズを算出する。前記判断部は、前記被写体のサイズに基づき、車両の駆動方法を判断する。
以下、実施形態について図面を参照して説明する。
(第1実施形態)
まず、第1実施形態について説明する。
図1は、第1実施形態の処理装置の機能ブロックの一例を示す図である。
この処理装置1は、撮像により得た距離マップ(距離画像)2Bから被写体のサイズを算出し、算出した被写体のサイズを出力する。処理装置1は、さらに画像2Aも用いて被写体のサイズを算出してもよい。被写体のサイズは、たとえば画像2Aと同時に表示部3へ表示されてもよい。画像2Aおよび距離マップ2Bの詳細については後述するが、画像2Aおよび距離マップ2Bは、たとえば、画像2Aおよび距離マップ2Bを生成する撮像装置から直接的に取得してもよいし、画像2Aおよび距離マップ2Bを格納する、ネットワークを介して接続されるサーバから取得してもよい。表示部3は、たとえば、液晶ディスプレイや、液晶ディスプレイ上にタッチパネルが配置されるタッチスクリーンディスプレイなどである。
(第1実施形態)
まず、第1実施形態について説明する。
図1は、第1実施形態の処理装置の機能ブロックの一例を示す図である。
この処理装置1は、撮像により得た距離マップ(距離画像)2Bから被写体のサイズを算出し、算出した被写体のサイズを出力する。処理装置1は、さらに画像2Aも用いて被写体のサイズを算出してもよい。被写体のサイズは、たとえば画像2Aと同時に表示部3へ表示されてもよい。画像2Aおよび距離マップ2Bの詳細については後述するが、画像2Aおよび距離マップ2Bは、たとえば、画像2Aおよび距離マップ2Bを生成する撮像装置から直接的に取得してもよいし、画像2Aおよび距離マップ2Bを格納する、ネットワークを介して接続されるサーバから取得してもよい。表示部3は、たとえば、液晶ディスプレイや、液晶ディスプレイ上にタッチパネルが配置されるタッチスクリーンディスプレイなどである。
処理装置1は、(画像2Aおよび距離マップ2Bを生成する)撮像装置および表示部3とともに処理システムを構成し得る。処理システムは、たとえば、カメラ、ドライブレコーダなどの録画機器、カメラ機能を有するスマートフォン、カメラ機能を有するパーソナルコンピュータ、監視システム、カメラ機能を有する、車両、飛翔体、ロボットなどの移動体などとして実現され得る。
図1に示すように、処理装置1は、サイズ算出部11と、出力情報生成部12とを有する。
サイズ算出部11は、距離マップ2Bから画像2A上の被写体のサイズを算出する機能を担う処理部である。サイズ算出部11は、さらに画像2Aを用いて被写体のサイズを算出してもよい。出力情報生成部12は、被写体のサイズに基づく出力情報を生成して出力する機能を担う処理部である。出力情報は、たとえば画像2Aと同時に表示部3へ表示するための情報である。
サイズ算出部11は、距離マップ2Bから画像2A上の被写体のサイズを算出する機能を担う処理部である。サイズ算出部11は、さらに画像2Aを用いて被写体のサイズを算出してもよい。出力情報生成部12は、被写体のサイズに基づく出力情報を生成して出力する機能を担う処理部である。出力情報は、たとえば画像2Aと同時に表示部3へ表示するための情報である。
図2は、処理装置1のハードウェア構成の一例を示す図である。
図2に示すように、処理装置1は、CPU101、RAM102、不揮発性メモリ103、入出力部104および通信部105を有し、また、CPU101、RAM102、不揮発性メモリ103、入出力部104および通信部105を相互に接続するバス106を有する。
図2に示すように、処理装置1は、CPU101、RAM102、不揮発性メモリ103、入出力部104および通信部105を有し、また、CPU101、RAM102、不揮発性メモリ103、入出力部104および通信部105を相互に接続するバス106を有する。
CPU101は、不揮発性メモリ103に格納されているコンピュータプログラムをRAM102へロードして実行することにより、図1に示したサイズ算出部11および出力情報生成部12を含む処理装置1の各処理部を実現するプロセッサである。ここでは、処理装置1の各処理部が、1つのCPU101、すなわち単一のプロセッサで実現される例を示したが、処理装置1の各処理部は、複数のプロセッサで実現されてもよい。処理装置1の各処理部は、専用の電子回路で実現されてもよい。RAM102は、主記憶装置として用いられる記憶メディアであり、不揮発性メモリ103は、補助記憶装置として用いられる記憶メディアである。
入出力部104は、たとえば、撮像装置から画像2Aおよび距離マップ2Bを入力したり、ユーザからの指示を入力したり、表示画面を表示部3へ出力したり、といった入出力を実行するモジュールである。ユーザからの指示は、キーボード、ポインティングデバイス、操作ボタンなどの操作に伴って入力されてもよいし、表示部3がタッチスクリーンディスプレイである場合、タッチスクリーンディスプレイ上でのタッチ操作に伴って入力されてもよい。通信部105は、たとえば、ネットワークを介した外部機器との通信、周辺に存在する外部機器との無線通信などを実行するモジュールである。画像2Aおよび距離マップ2Bは、通信部105により取得されてもよい。
ここで、画像2Aおよび距離マップ2Bの詳細について説明する。
図3は、画像2Aおよび距離マップ2Bを生成する撮像装置の一構成例を示すブロック図である。
図3に示すように、撮像装置100は、フィルタ110、レンズ120、イメージセンサ130および画像処理部(処理装置)140を有する。図3中、フィルタ110からイメージセンサ130までの矢印は、光の経路を示す。また、イメージセンサ130から画像処理部140までの矢印は、電気信号の経路を示す。画像処理部140は、前述したサイズ算出部11および出力情報生成部12のほか、画像取得部141、距離算出部142および第2出力情報生成部143を有する。
図3は、画像2Aおよび距離マップ2Bを生成する撮像装置の一構成例を示すブロック図である。
図3に示すように、撮像装置100は、フィルタ110、レンズ120、イメージセンサ130および画像処理部(処理装置)140を有する。図3中、フィルタ110からイメージセンサ130までの矢印は、光の経路を示す。また、イメージセンサ130から画像処理部140までの矢印は、電気信号の経路を示す。画像処理部140は、前述したサイズ算出部11および出力情報生成部12のほか、画像取得部141、距離算出部142および第2出力情報生成部143を有する。
イメージセンサ130は、フィルタ110およびレンズ120を透過した光を受光し、受光した光を電気信号に変換(光電変換)することにより、画像を生成する。イメージセンサ130には、たとえば、CCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)が用いられる。イメージセンサ130は、たとえば、赤色(R)の光を受光する撮像素子(第1のセンサ131)と、緑色(G)の光を受光する撮像素子(第2のセンサ132)と、青色(B)の光を受光する撮像素子(第3のセンサ33)とを有する。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をA/D変換することにより、カラー画像(画像2A)を生成することができる。なお、赤、緑、青の撮像素子毎の電気信号を用いて、R画像、G画像、B画像をそれぞれ生成することもできる。つまり、カラー画像、R画像、G画像、B画像を同時に生成することができる。換言すると、撮像装置100は、1度の撮像で、カラー画像、R画像、G画像、B画像を得ることができる。フィルタ110、レンズ120、およびイメージセンサ130は、単一の光学系を形成する。
フィルタ110は、2以上のカラーフィルタ領域を有する。カラーフィルタ領域それぞれは、撮像装置の光学中心に対して非対称な形状である。1つのカラーフィルタ領域が透過する光の波長領域の一部と他の1つのカラーフィルタ領域が透過する光の波長領域の一部は、例えば重複する。1つのカラーフィルタ領域が透過する光の波長領域は、例えば他の1つのカラーフィルタ領域が透過する光の波長領域を含んでもよい。
図4に、フィルタ110の一構成例を示す。フィルタ110は、たとえば、2色のカラーフィルタ領域である、第1のフィルタ領域111と第2のフィルタ領域112とで構成される。フィルタ110の中心は、撮像装置100の光学中心113と一致している。第1のフィルタ領域111および第2のフィルタ領域112は、それぞれ、光学中心113に対して非点対称である形状を有している。また、たとえば各フィルタ領域111,112は重複せず、かつ、2つのフィルタ領域111,112によってフィルタ領域の全領域を構成している。図4に示す例では、第1のフィルタ領域111および第2のフィルタ領域112は、それぞれ、円形のフィルタ110が光学中心113を通る線分で分割された半円の形状を有している。また、第1のフィルタ領域111は、たとえばイエロー(Y)のフィルタ領域であり、第2のフィルタ領域112は、たとえばシアン(C)のフィルタ領域である。以下、図4に示したフィルタ110が用いられることを想定して説明する。
たとえば図4に示したフィルタ110がカメラの開口部に配置されることにより、開口部が2色で2分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ130は画像を生成する。イメージセンサ130に入射する光の光路上において、フィルタ110とイメージセンサ130との間にレンズ120が配置されてもよい。イメージセンサ130に入射する光の光路上において、レンズ120とイメージセンサ130との間にフィルタ110が配置されてもよい。レンズ120が複数設けられる場合、フィルタ110は、2つのレンズ120の間に配置されてもよい。
第2のセンサ132に対応する波長帯域の光は、イエローの第1のフィルタ領域111とシアンの第2のフィルタ領域112の両方を透過する。第1のセンサ131に対応する波長帯域の光は、イエローの第1のフィルタ領域111を透過し、シアンの第2のフィルタ領域112を透過しない。第3のセンサ133に対応する波長帯域の光は、シアンの第2のフィルタ領域112を透過し、イエローの第2のフィルタ領域112を透過しない。
なお、ある波長帯域の光がフィルタまたはフィルタ領域を透過するとは、フィルタまたはフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰(すなわち、光量の低下)が極めて小さいことを意味する。また、ある波長帯域の光がフィルタまたはフィルタ領域を透過しないとは、光がフィルタまたはフィルタ領域に遮蔽されることであり、たとえば、フィルタまたはフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。たとえばフィルタまたはフィルタ領域は、ある波長帯の光を吸収することにより光を減衰させる。
図5は、第1のフィルタ領域111および第2のフィルタ領域112の透過率特性の例を示す図である。図5に示すように、イエローの第1のフィルタ領域111の透過率特性151では、R画像およびG画像に対応する波長帯域の光が高い透過率で透過され、B画像に対応する波長帯域の光がほとんど透過されていない。また、シアンの第2のフィルタ領域112の透過率特性152では、B画像およびG画像に対応する波長帯域の光が高い透過率で透過され、R画像に対応する波長帯域の光がほとんど透過されていない。
したがって、R画像に対応する波長帯域の光は、イエローの第1のフィルタ領域111のみを透過し、B画像に対応する波長帯域の光は、シアンの第2のフィルタ領域112のみを透過するので、R画像上およびB画像上のぼけの形状は、被写体までの距離dに応じて、より詳細には、距離dと合焦距離dfとの差分に応じて変化する。また、各フィルタ領域111,112は、光学中心に対して非対称な形状なので、R画像上およびB画像上のぼけの形状は、被写体が合焦距離dfよりも手前にあるか、それとも奥にあるかによって異なる。すなわち、R画像上およびB画像上のぼけの形状は偏っている。
図6を参照して、フィルタ110が配置されたカラー開口による光線変化と、ぼけの形状とについて説明する。
被写体200が合焦距離dfよりも奥にある場合(d>df)、イメージセンサ130によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数(PSF:Point Spread Function)は、R画像、G画像およびB画像でそれぞれ異なっている。すなわち、R画像のぼけ関数161Rは左側に偏ったぼけの形状を示し、G画像のぼけ関数161Gは偏りのないぼけの形状を示し、B画像のぼけ関数161Bは右側に偏ったぼけの形状を示している。
被写体200が合焦距離dfよりも奥にある場合(d>df)、イメージセンサ130によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数(PSF:Point Spread Function)は、R画像、G画像およびB画像でそれぞれ異なっている。すなわち、R画像のぼけ関数161Rは左側に偏ったぼけの形状を示し、G画像のぼけ関数161Gは偏りのないぼけの形状を示し、B画像のぼけ関数161Bは右側に偏ったぼけの形状を示している。
また、被写体200が合焦距離dfにある場合(d=df)、イメージセンサ130によって撮像された画像にはほとんどぼけが発生しない。この画像のぼけの形状を示すぼけ関数は、R画像、G画像およびB画像でほぼ同じである。すなわち、R画像のぼけ関数162R、G画像のぼけ関数162G、およびB画像のぼけ関数162Bは、偏りのないぼけの形状を示している。
また、被写体200が合焦距離dfよりも手前にある場合(d<df)、イメージセンサ130によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数は、R画像、G画像およびB画像でそれぞれ異なっている。すなわち、R画像のぼけ関数103Rは右側に偏ったぼけの形状を示し、G画像のぼけ関数163Gは偏りのないぼけの形状を示し、B画像のぼけ関数163Bは左側に偏ったぼけの形状を示している。
撮像装置100の画像処理部140は、このような特性を利用して、被写体までの距離を算出する。
画像取得部141は、ぼけ関数が偏りのないぼけの形状を示すG画像を基準画像として取得する。また、画像取得部141は、ぼけ関数が偏ったぼけの形状を示すR画像およびB画像の一方または両方を対象画像として取得する。対象画像と基準画像とは、1つの撮像装置により同時刻に撮像された画像である。
画像取得部141は、ぼけ関数が偏りのないぼけの形状を示すG画像を基準画像として取得する。また、画像取得部141は、ぼけ関数が偏ったぼけの形状を示すR画像およびB画像の一方または両方を対象画像として取得する。対象画像と基準画像とは、1つの撮像装置により同時刻に撮像された画像である。
距離算出部142は、複数のぼけ補正フィルタのうち、対象画像に付加すると、基準画像との相関がより高くなるぼけ補正フィルタを求めることで、被写体までの距離を算出する。また、距離算出部142は、算出した距離から、距離マップを生成する。複数のぼけ補正フィルタは、対象画像に対して、相互に異なるぼけを付加する関数である。ここで、距離算出部142による距離算出処理の詳細について説明する。
距離算出部142は、取得された対象画像と基準画像とをもとに、対象画像に異なるぼけを付加することで、対象画像のぼけ形状を補正した補正画像を生成する。ここでは、距離算出部142は、被写体までの距離が任意の距離であると仮定して作成した複数のぼけ補正フィルタを用いて、対象画像のぼけ形状を補正した補正画像を生成し、補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出するものとする。
撮像画像のぼけ関数は、撮像装置100の開口形状と、被写体の位置とピント位置との距離とにより決定する。図7は、基準画像のぼけ関数の一例を示す図である。図7に示すように、第2のセンサ132に対応する波長領域が透過する開口形状は点対称形である円形状であるため、ぼけ関数で示されるぼけの形状は、ピント位置の前後で変化はなく、被写体とピント位置との間の距離の大きさによってぼけの幅が変化する。このようなぼけの形状を示すぼけ関数は、被写体の位置とピント位置との間の距離の大きさによってぼけの幅が変化するガウス関数として表現できる。なお、ぼけ関数は、被写体の位置とピント位置との距離によってぼけの幅が変化するピルボックス関数として表現してもよい。
図8は、対象画像のぼけ関数の一例を示す図である。なお、各図の中心(x0,y0)=(0,0)である。図8に示すように、対象画像(たとえばR画像)のぼけ関数は、被写体がピント位置よりも遠方にあるd>dfの場合、x>0において第1のフィルタ領域111での光減衰によってぼけの幅が減衰するガウス関数として表現できる。また、被写体がピント位置よりも近方にあるd<dfの場合、x<0において第1のフィルタ領域111での光減衰によってぼけの幅が減衰するガウス関数として表現できる。
また、基準画像のぼけ関数と対象画像のぼけ関数とを解析することにより、対象画像のぼけ形状を基準画像のぼけ形状へ補正するための複数のぼけ補正フィルタを求めることができる。
図9は、ぼけ補正フィルタの一例を示す図である。なお、図9に示すぼけ補正フィルタは、図4に示したフィルタ110を用いた場合のぼけ補正フィルタである。図9に示すように、ぼけ補正フィルタは、第1のフィルタ領域111と第2のフィルタ領域112の境界の線分の中心点を通り、この線分に直交する直線上(直線付近)に分布する。その分布は、想定する距離毎にピーク点(直線上の位置,高さ)とピーク点からの広がり方とが異なる図9に示すような山状の分布となる。対象画像のぼけ形状は、ぼけ補正フィルタを用いて、任意の距離を想定した様々なぼけ形状に補正することができる。つまり、任意の距離を想定した補正画像を生成することができる。
図9は、ぼけ補正フィルタの一例を示す図である。なお、図9に示すぼけ補正フィルタは、図4に示したフィルタ110を用いた場合のぼけ補正フィルタである。図9に示すように、ぼけ補正フィルタは、第1のフィルタ領域111と第2のフィルタ領域112の境界の線分の中心点を通り、この線分に直交する直線上(直線付近)に分布する。その分布は、想定する距離毎にピーク点(直線上の位置,高さ)とピーク点からの広がり方とが異なる図9に示すような山状の分布となる。対象画像のぼけ形状は、ぼけ補正フィルタを用いて、任意の距離を想定した様々なぼけ形状に補正することができる。つまり、任意の距離を想定した補正画像を生成することができる。
距離算出部142は、生成した補正画像と基準画像とのぼけ形状が最も近似または一致する距離を撮像画像の各画素から求める。ぼけ形状の一致度は、各画素を中心とする任意サイズの矩形領域における補正画像と基準画像との相関を計算すれば良い。ぼけ形状の一致度の計算は、既存の類似度評価手法を用いれば良い。距離算出部142は、補正画像と基準画像とで相関が最も高くなる距離を求めることで、各画素について被写体までの距離を算出する。
たとえば、既存の類似度評価手法は、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-mean Normalized Cross-Correlation)、Color Alignment Measure等を利用すれば良い。本実施形態では、自然画像の色成分が局所的には線形な関係を持つ特性を有することを利用したColor Alignment Measureを利用する。Color Alignment Measureでは、撮像画像の対象画素を中心とする局所境域の色分布の分散から、相関関係を表す指標が算出される。
このように、距離算出部142は、フィルタ領域に応じた対象画像のぼけ形状を、距離を仮定したぼけ補正フィルタにより補正した補正画像を生成し、生成した補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出する。
また、距離算出部142は、算出した距離から距離マップを生成する。距離マップは、たとえば、各画素の画素値が距離を示す画像として生成される。たとえば、合焦位置の手前から奥に向かって、波長の長い色を示す値(赤)から波長の短い色を示す値(紫)が割り当てられる。このように、距離マップは、被写体までの距離を示す情報が画像の領域に対応させてマッピングされたものであり、被写体までの距離を示す情報として画素値が用いられるものである。画像として生成される距離マップは、表示できるので、色で、たとえば複数の被写体間の奥行き方向の位置関係を確認することができる。第2出力情報生成部12は、距離算出部142により生成される距離マップを含む出力情報を生成して出力する。
図10は、撮像装置100により生成される画像2Aおよび距離マップ2Bの一例を示す図である。
図10中、(A)が画像2Aの表示例であり、また、(B)が距離マップ2Bの表示例である。各画素の画素値が、合焦位置より手前に位置する程、波長の長い色を示す値となり、合焦位置より奥に位置する程、波長の短い色を示す値となる距離マップは、図10の(B)に示すように、手前に位置する被写体には赤みがかった色が配され、奥に位置する被写体には紫がかった色が配された画像として表示される。
図10中、(A)が画像2Aの表示例であり、また、(B)が距離マップ2Bの表示例である。各画素の画素値が、合焦位置より手前に位置する程、波長の長い色を示す値となり、合焦位置より奥に位置する程、波長の短い色を示す値となる距離マップは、図10の(B)に示すように、手前に位置する被写体には赤みがかった色が配され、奥に位置する被写体には紫がかった色が配された画像として表示される。
次に、この画像2Aおよび距離マップ2Bを取得して各種処理を実行する処理装置1の処理の詳細について説明する。
画像2Aを撮影した際の合焦距離が既知であれば、光学中心から画像中心までの距離と光学中心から物体までの距離の比から、撮影画像上での被写体の長さと実際の被写体の長さの比を得ることができる。また、前述したように、距離マップ2Bは、画素値が距離を示すので、各画素を実空間(3次元空間)上に投影(マッピング)することができる。処理装置1、より詳細には、サイズ算出部11は、各画素を実空間(3次元空間)上に投影(マッピング)することで、たとえば画像2A上において指定される2点間に対応する被写体のサイズを取得する。また、出力情報生成部12は、たとえば、取得された被写体のサイズを画像2A上に重ねて表示するための出力情報、つまり被写体のサイズと画像とを同時に表示するための出力情報を生成して、表示部3へ出力する。なお、画像2Aは、被写体のサイズを取得するにあたり、被写体の認識や、被写体上の測定すべき箇所の指定に用いられる。換言すれば、画像2A上の測定すべき2点が与えられたサイズ算出部11は、距離マップ2Bのみで被写体のサイズを取得でき、画像2Aを必要としない。以下では、画像2Aと距離マップ2Bを用いて被写体のサイズを取得する場合を説明する。
画像2Aを撮影した際の合焦距離が既知であれば、光学中心から画像中心までの距離と光学中心から物体までの距離の比から、撮影画像上での被写体の長さと実際の被写体の長さの比を得ることができる。また、前述したように、距離マップ2Bは、画素値が距離を示すので、各画素を実空間(3次元空間)上に投影(マッピング)することができる。処理装置1、より詳細には、サイズ算出部11は、各画素を実空間(3次元空間)上に投影(マッピング)することで、たとえば画像2A上において指定される2点間に対応する被写体のサイズを取得する。また、出力情報生成部12は、たとえば、取得された被写体のサイズを画像2A上に重ねて表示するための出力情報、つまり被写体のサイズと画像とを同時に表示するための出力情報を生成して、表示部3へ出力する。なお、画像2Aは、被写体のサイズを取得するにあたり、被写体の認識や、被写体上の測定すべき箇所の指定に用いられる。換言すれば、画像2A上の測定すべき2点が与えられたサイズ算出部11は、距離マップ2Bのみで被写体のサイズを取得でき、画像2Aを必要としない。以下では、画像2Aと距離マップ2Bを用いて被写体のサイズを取得する場合を説明する。
図11は、処理装置1を含む処理システムの処理の流れの一例を示すフローチャートである。
まず、撮像装置100による画像の撮像が行われる(ステップA1)。撮像装置100は、画像2Aを生成するとともに(ステップA2)、距離マップ2Bを生成する(ステップA3)。撮像装置100により生成された画像2Aおよび距離マップ2Bは、処理装置1により取得される。
まず、撮像装置100による画像の撮像が行われる(ステップA1)。撮像装置100は、画像2Aを生成するとともに(ステップA2)、距離マップ2Bを生成する(ステップA3)。撮像装置100により生成された画像2Aおよび距離マップ2Bは、処理装置1により取得される。
処理装置1は、たとえば、表示部3により画像2Aを表示し、画像2Aに写る複数の被写体の中からいずれか1つを指定する指示や、画像2A上の2点を指定する指示などを受け付ける。この指示は、同時に、被写体のサイズの取得を要求するものである。被写体のサイズの取得が要求されると、処理装置1は、距離マップ2Bの各画素を、各々の画素値で示される距離を使って3次元空間上に投影する(ステップA4)。たとえば、ある被写体を指定する指示を受けた場合、処理装置1は、被写体の幅や長さなどを、3次元空間上に投影された画素間の距離(実距離)から取得する(ステップA5)。処理装置1は、実際の被写体のサイズを、たとえば画像2A上に重ねる等により、画像2Aと同時に表示するために、表示部3へ出力する(ステップA6)。
図12は、処理装置1を含む処理システムによる被写体のサイズの一出力例を示す図である。この処理システムは、たとえば、30fpsのフレームレートで動画(1秒あたり30枚の画像)を撮像する撮像装置として実現されているものとする。
処理装置1は、撮像された画像2Aを表示部3へ順次表示し、たとえば、画像2A上のある位置が指定されたら、その画像2Aを解析して指定された位置を含む被写体を認識するとともに、その画像2Aに対応する距離マップ2Bを用いて、その画像2Aの各画素のうち少なくとも被写体が写る画素を3次元空間上に投影する。指定された位置を含む被写体を認識するための画像2Aの解析については、特定の手法に限られず、既知の様々な手法を適用できる。処理装置1は、たとえば、被写体のあらかじめ定められた方向あるいは指定された二点間のサイズを3次元空間上に投影された画素間の距離から取得してもよい。被写体毎に、定められた方向や指定される二点が異なってもよい。処理装置1は、被写体の最大長または最小長を取得してもよい。サイズは、例えば、画像2Aに重ね合わせて表示部3へ表示してもよい。例えば、サイズは、画像2Aのうち被写体近傍に、表示してもよい。または、被写体の指定時に被写体内の1点が指定される場合、その1点を通過する被写体の一端から他端に至る線分の距離の中で最大の距離を取得するようにしてもよい。さらには、たとえば、被写体が何であるのかを認識し、その種類に応じた二点間の距離をサイズとして決定してもよい。サイズを取得すべき部分を種類ごとに設定できるようにするためのインタフェースが処理装置1に設けられてもよい。被写体のサイズを表示後、たとえば所定の操作が行われた場合、処理装置1は、表示部3による表示を、最新の画像2Aを順次表示する形態に戻す。
処理装置1は、撮像された画像2Aを表示部3へ順次表示し、たとえば、画像2A上のある位置が指定されたら、その画像2Aを解析して指定された位置を含む被写体を認識するとともに、その画像2Aに対応する距離マップ2Bを用いて、その画像2Aの各画素のうち少なくとも被写体が写る画素を3次元空間上に投影する。指定された位置を含む被写体を認識するための画像2Aの解析については、特定の手法に限られず、既知の様々な手法を適用できる。処理装置1は、たとえば、被写体のあらかじめ定められた方向あるいは指定された二点間のサイズを3次元空間上に投影された画素間の距離から取得してもよい。被写体毎に、定められた方向や指定される二点が異なってもよい。処理装置1は、被写体の最大長または最小長を取得してもよい。サイズは、例えば、画像2Aに重ね合わせて表示部3へ表示してもよい。例えば、サイズは、画像2Aのうち被写体近傍に、表示してもよい。または、被写体の指定時に被写体内の1点が指定される場合、その1点を通過する被写体の一端から他端に至る線分の距離の中で最大の距離を取得するようにしてもよい。さらには、たとえば、被写体が何であるのかを認識し、その種類に応じた二点間の距離をサイズとして決定してもよい。サイズを取得すべき部分を種類ごとに設定できるようにするためのインタフェースが処理装置1に設けられてもよい。被写体のサイズを表示後、たとえば所定の操作が行われた場合、処理装置1は、表示部3による表示を、最新の画像2Aを順次表示する形態に戻す。
図12は、サッカーの試合を撮影中、画像2Aに写る複数の選手(被写体)の中から1人の選手a1を指定する指示が行われたことに伴い、その選手の身長a2が画像2A上の選手a1の近傍に表示される例を示している。
このように、この処理装置1によれば、単眼カメラにより取得される画像2Aおよび距離マップ2Bから、たとえば試合中の選手などといった、動く物体のサイズを取得することが可能である。
このように、この処理装置1によれば、単眼カメラにより取得される画像2Aおよび距離マップ2Bから、たとえば試合中の選手などといった、動く物体のサイズを取得することが可能である。
なお、図12には、指定された被写体のサイズを取得して提示する例を示したが、画像2Aに写る被写体すべてについてサイズを取得して提示するようにしてもよい。この場合、画像2Aのうちの指定された一部の被写体のサイズを、画像2A上にポップアップでサイズを表示してもよい。また、画像2A上に重ね合わせて表示するのみならず、たとえば、画像2Aを縮小表示し、縮小表示した画像2Aの隣に別ウィンドウを開き、この別ウィンドウ内において取得したサイズをリスト形式で載せることで、画像2Aと同時に提示するようにしてもよい。
また、この処理装置1によれば、被写体のサイズのみならず、被写体の移動距離を取得することができる。図13は、処理装置1を含む処理システムによる被写体の移動距離の一出力例を示す図である。この処理システムも、動画を撮像する撮像装置として実現されているものとする。
図13は、ゴルフの試合中のティーショットの飛距離、より詳細には、ゴルフボールb1のティー位置b2からの移動距離b3が画像2A上にリアルタイムに表示される例を示している。
移動距離を取得すべき被写体(ここでは、ゴルフボールb1)と、その初期位置とが明らかであれば、処理装置1は、たとえば1/30秒ごとに撮像される画像の1フレームごとに画像2Aの各画素、少なくとも被写体が写る画素を距離マップ2Bに基づき3次元空間に投影していくことにより、初期位置と現在の位置との間の距離、つまり被写体の移動距離をリアルタイムに取得することができる。撮像対象とする領域は、被写体を追跡するように移動させて構わない。また、図13においては、ゴルフボールb1が移動する方向とほぼ一致する方向を撮像する画像2Aを例示しているが、これに限らず、被写体を捕捉し続けられる位置から撮像された画像2Aであればよい。
移動距離を取得すべき被写体(ここでは、ゴルフボールb1)と、その初期位置とが明らかであれば、処理装置1は、たとえば1/30秒ごとに撮像される画像の1フレームごとに画像2Aの各画素、少なくとも被写体が写る画素を距離マップ2Bに基づき3次元空間に投影していくことにより、初期位置と現在の位置との間の距離、つまり被写体の移動距離をリアルタイムに取得することができる。撮像対象とする領域は、被写体を追跡するように移動させて構わない。また、図13においては、ゴルフボールb1が移動する方向とほぼ一致する方向を撮像する画像2Aを例示しているが、これに限らず、被写体を捕捉し続けられる位置から撮像された画像2Aであればよい。
このように、この処理装置1によれば、動く物体の移動距離を取得することが可能である。
また、被写体の移動距離を取得することができるので、この処理装置1は、モーションキャプチャシステムに適用することができる。
また、被写体の移動距離を取得することができるので、この処理装置1は、モーションキャプチャシステムに適用することができる。
一般的に、モーションキャプチャシステムは、図14に示すように、動きを測定するためのセンサc1などを被験者の様々な部位に装着する。一方、この処理装置1を含む処理システムでは、このような準備を必要とせず、被写体の動きを計測することができる。処理装置1は、たとえば1/30秒ごとに撮像される画像の1フレームごとに画像2Aの各画素を距離マップ2Bに基づき3次元空間に投影していくことにより、1/30秒刻みで被写体の動きを測定することができる。
このように、この処理装置1によれば、モーションキャプチャを実現することが可能である。
また、この処理装置1の機能は、たとえば(距離マップを生成可能な)カメラ機能を有するスマートフォンにインストールされるアプリケーションの1つである採寸ツールなどとして実現することもできる。たとえば、販売店に陳列されている商品のサイズを知りたい場合、その商品を撮影することで、メジャーを携帯していなくとも、その商品のサイズを取得することができる。なお、スマートフォンのタッチスクリーンディスプレイが、表示部3に相当するものとする。
また、この処理装置1の機能は、たとえば(距離マップを生成可能な)カメラ機能を有するスマートフォンにインストールされるアプリケーションの1つである採寸ツールなどとして実現することもできる。たとえば、販売店に陳列されている商品のサイズを知りたい場合、その商品を撮影することで、メジャーを携帯していなくとも、その商品のサイズを取得することができる。なお、スマートフォンのタッチスクリーンディスプレイが、表示部3に相当するものとする。
たとえば、家具店に展示されているイスの様々なサイズを測りたいと考えている場合を想定する。この場合、まず、採寸ツールを起動した上で、図15に示すような、そのイスの画像2Aをスマートフォンのカメラ機能により撮像する。採寸ツールは、画像2Aをスマートフォンのタッチスクリーンディスプレイ上に表示する。また、採寸ツールは、画像2Aの各画素を距離マップ2Bに基づき3次元空間上に投影する。
ユーザは、一端と他端を指定することに依り、2点間の距離を知ることができる。そのイスの背もたれの幅を図りたい場合、ユーザは、たとえば、背もたれの横方向の一端(d1)に触れた後、他端(d2)に触れるように、タッチスクリーンディスプレイ上でタッチ操作を行う。画像2A上の2点を指定する方法は、様々な方法を採用し得る。たとえば、タッチスクリーンディスプレイ上にバーを表示させ、バーの先端と終端とを背もたれの横方向の両端(d1,d2)に対応させるように、バーを伸縮させるといった方法でもよい。画像2A上の2点が指定されると、採寸ツールは、3次元空間上に投影された2つの画素の3次元空間上の座標を用いて、指定された2点間の実際のサイズを取得し、たとえば、画像2Aに重ね合わせるようにスマートフォンのタッチスクリーンディスプレイ上にそのサイズを表示する(d3)。
また、画像2A上で2点が指定された場合に測定する距離は、その2点間の直線距離のみに限られない。たとえば、被写体の湾曲している外面上の2点が指定された場合、湾曲した外面に沿った外周距離を取得することもできる。外周距離は、例えば、湾曲した外面に沿った二点間を結ぶ線のうち最も短い線の長さである。外周距離は、2点間結ぶ線上にある隣り合う画素間の距離を合計することにより取得することができる。採寸ツールは、2点間の直線距離を測定する第1モードと、2点間の外周距離を測定する第2モードとを備えてもよい。入力部を通したユーザのモード設定に基づき、直線距離または外周距離のいずれか一方を取得して表示することができる。また、採寸ツールは、直線距離および外周距離の両方を取得して表示してもよい。2点間の直線距離および外周距離を測定する第3モードをさらに備え、第3モードが設定された場合、直線距離および外周距離の両方を取得して表示してもよい。
また、たとえば、リファレンスを採寸ツールとともに提供し、または、サイズが規格化された日用品をリファレンスとして、サイズを測定したい物品とともに撮像するようにしてもよい(d4)。リファレンスのサイズを画像2Aから取得することで、スマートフォンのカメラ機能の個体差を吸収するキャリブレーションを実行することができる。キャリブレーションのための補正値は、たとえば、スマートフォンの出荷時、パラメータなどとして採寸ツールにあらかじめ与えるようにしてもよい。
このように、この処理装置1の機能によれば、単眼カメラにより取得される画像2Aおよび距離マップ2Bから、たとえば販売店に陳列されている商品などといった、様々な物品のサイズを取得可能な採寸ツールを実現することができる。
また、この処理装置1は、監視システムに適用することができる。
また、この処理装置1は、監視システムに適用することができる。
図16は、たとえば商業施設内の通路上の歩行者を監視するために設置される(距離マップ2Bを生成可能な)監視カメラで撮像された画像2Aであって、処理装置1により歩行者(e1,e2,e3)が認識され、また、処理装置1により取得された歩行者それぞれの身長(e11,e21,e31)が重ね合わせられて表示される画像2Aの一例を示している。たとえば、警備員が、不審者と思われる人物を画像2A上で発見した場合、その人物の特徴を示す有力情報の1つである身長を即時に得ることができる。
また、たとえば、刃物と思われる物品が認識された際、単に、その認識をもって何らかの処理を行うのではなく、その刃渡りがあらかじめ定められた長さを超える場合、表示部3による警告表示や、音声出力部が接続されているならば、音声出力部による警告音出力を行うようにしてもよい。あるいは、刃物を含む所定の物品が認識された場合、その物品についてあらかじめ定められた部位の長さを取得して表示するようにしてもよい。歩行者や歩行者が携行する物品に不審な点が発見されない場合には、表示部3がその旨の表示を行ったり、音声出力部がその旨の音声を出力したりしてもよい。
また、処理装置1は、たとえば、歩行者や歩行者が携行する物品(前述の刃物など)の認識やサイズの取得を常時行うのではなく、ユーザが画像2A上の位置を指定した際、特殊モードに切り換り、特殊モードである期間において、指定された位置を含む被写体の認識、追跡、サイズの取得および表示などを行うようにしてもよい。特殊モードから通常モードへの切り換えは、たとえば、対象の被写体が画像2A上から消失した場合や、あらかじめ定められた操作が行われた場合に実施するようにすればよい。
このように、この処理装置1によれば、単眼カメラにより取得される画像2Aおよび距離マップ2Bから、歩行者や歩行者が携行する物品のサイズを取得でき、また、取得したサイズに応じて警告処理などを実行する監視システムを実現できる。
また、この処理装置1は、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用することができる。
また、この処理装置1は、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用することができる。
たとえば、図17に示すように、移動体が自動車であり、その進行方向を撮像するように撮像装置100が搭載されているものとする。また、いま、自動車の進行方向に段差f1が存在する状況を想定する。
このような場合、処理装置1は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、その段差f1を測定し、自動車が乗り越えられるか否かを判定し、その判定結果を表示部3により運転者に提示する。乗り越えられない場合、さらに、自動車が備える音声出力部から警告音声を出力してもよい。
このような場合、処理装置1は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、その段差f1を測定し、自動車が乗り越えられるか否かを判定し、その判定結果を表示部3により運転者に提示する。乗り越えられない場合、さらに、自動車が備える音声出力部から警告音声を出力してもよい。
また、いま、たとえば図18に示すように、自動車の進行方向にゲートg1が存在する状況を想定する。このような場合、処理装置1は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、被写体g1−1と被写体g1−2との間の幅g2を測定し、自動車が通過できるか否かを判定し、その判定結果を表示部3により運転者に提示する。通過できない場合、さらに、自動車が備える音声出力部から警告音声を出力してもよい。
このように、この処理装置1によれば、単眼カメラにより取得される画像2Aおよび距離マップ2Bから、移動体の運転、操縦を支援する処理を行うことが可能である。自動車に搭載する点を考慮すれば、この処理装置1を、たとえばドライブレコーダなどの録画機器として実現してもよい。
また、この処理装置1は、自動ドアシステムに適用することができる。
たとえば、図19に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。回転ドアの場合、どの程度のサイズまで通過可能かを通行者は把握しづらい。そこで、撮像装置100により生成される画像2Aおよび距離マップ2Bから、たとえば通行者の荷物(被写体)のサイズを取得し、回転ドアを通過できるサイズを超える場合、回転ドアに設けられる音声出力部から警告音声を出力する。この自動ドアシステムに適用される場合などにおいては、この処理装置1は、図20に示すように、図1の表示部3の代わりに音声出力部3−2を備えてもよい。表示部3と音声出力部3−2の両方を備えてもよい。前述した監視システムやサポートシステムにおいても同様である。処理装置1は、被写体の移動を追跡することができるので、被写体が回転ドアに向かって移動している場合に限り、適応的に、サイズの取得および通過可否判定を行うことができる。したがって、通過できるサイズを超える被写体が回転ドアの前を横切っても、誤って警告音声を出力するようなことを防止できる。
たとえば、図19に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。回転ドアの場合、どの程度のサイズまで通過可能かを通行者は把握しづらい。そこで、撮像装置100により生成される画像2Aおよび距離マップ2Bから、たとえば通行者の荷物(被写体)のサイズを取得し、回転ドアを通過できるサイズを超える場合、回転ドアに設けられる音声出力部から警告音声を出力する。この自動ドアシステムに適用される場合などにおいては、この処理装置1は、図20に示すように、図1の表示部3の代わりに音声出力部3−2を備えてもよい。表示部3と音声出力部3−2の両方を備えてもよい。前述した監視システムやサポートシステムにおいても同様である。処理装置1は、被写体の移動を追跡することができるので、被写体が回転ドアに向かって移動している場合に限り、適応的に、サイズの取得および通過可否判定を行うことができる。したがって、通過できるサイズを超える被写体が回転ドアの前を横切っても、誤って警告音声を出力するようなことを防止できる。
図17の段差f1や図18のゲートg1などの移動体の進行方向にある障害物が動く場合には、処理装置1は、障害物の情報を随時取得してもよい。障害物の情報は、例えば、障害物の形状や障害物と移動体が通過する経路とが重なる部分の幅などである。判断部13は、障害物の時間変化に応じた通行可否の判断を行うことができる。判断部13は、例えば、通過可能と判断した後に障害物の形状が変化した場合には、通過不可能と判断してもよい。あるいは、判断部13は、通過不可能と判断した後に障害物の形状が変化した場合には、通過可能と判断してもよい。
このように、この処理装置1によれば、単眼カメラにより取得される画像2Aおよび距離マップ2Bから、自動ドアの事故を防止する処理を行うことが可能である。
また、この処理装置1は、単眼カメラにより取得される画像2Aおよび距離マップ2Bから被写体のサイズを取得することができるので、たとえば複眼カメラと比較して、撮像装置100の軽量化が図られる。また、低コスト化も図られる。軽量化は、最大積載量の小さいたとえばドローンなどの飛翔体に搭載する場合において重要な事項であり、この点において、単眼カメラである撮像装置100は複眼カメラよりも好適である。ドローンなどの飛翔体に撮像装置100を搭載することで、この処理装置1は、たとえば構造物の点検作業などを支援するサポートシステムに適用することができる。なお、複眼カメラとの比較でさらにいえば、単眼カメラである撮像装置100は、複眼カメラでは問題となる視差を生じさせることがないので、サイズの取得精度を高めることができる。なお、複眼カメラにより取得される画像および距離マップを使って、サイズ算出を行うことも可能である。複眼カメラにより取得される画像を基に、被写体の三次元形状を取得することができるので、被写体表面の任意の2点間の距離を求めることが可能である。
また、この処理装置1は、単眼カメラにより取得される画像2Aおよび距離マップ2Bから被写体のサイズを取得することができるので、たとえば複眼カメラと比較して、撮像装置100の軽量化が図られる。また、低コスト化も図られる。軽量化は、最大積載量の小さいたとえばドローンなどの飛翔体に搭載する場合において重要な事項であり、この点において、単眼カメラである撮像装置100は複眼カメラよりも好適である。ドローンなどの飛翔体に撮像装置100を搭載することで、この処理装置1は、たとえば構造物の点検作業などを支援するサポートシステムに適用することができる。なお、複眼カメラとの比較でさらにいえば、単眼カメラである撮像装置100は、複眼カメラでは問題となる視差を生じさせることがないので、サイズの取得精度を高めることができる。なお、複眼カメラにより取得される画像および距離マップを使って、サイズ算出を行うことも可能である。複眼カメラにより取得される画像を基に、被写体の三次元形状を取得することができるので、被写体表面の任意の2点間の距離を求めることが可能である。
たとえば、GPS[global positioning system]受信機や高度センサなどの位置情報を取得する機能を撮像装置100とともにドローンへ搭載し、このドローンを点検対象の構造物周辺に飛翔させて構造物の外面の画像2Aおよび距離マップ2Bを取得し、位置情報と対応づけて記録する。たとえば、構造物の外面の欠損部分を画像2A上で発見した場合、その位置を特定することができるし、その規模・形状を確認することができる。
または、点検対象の構造物に関する立体情報に基づき、ドローンを飛翔させて構造物の外面の画像2Aおよび距離マップ2Bを取得し、その立体情報と対応づけて記録する。この場合も、たとえば、構造物の外面の欠損部分を画像2A上で発見した場合、その位置を特定することができるし、その規模・形状を確認することができる。
また、前回の点検時に撮像した画像2Aの距離マップ2Bと、今回の点検時に撮像した画像2Aの距離マップ2Bとを対比し、あらかじめ定められた値以上の差が検出された場合、その位置を識別可能な形態で、対応する画像2Aを表示することで、たとえば、ボルトの欠落などを見落としなく発見することができる。あるいは、震災発生後、震災前に撮像した画像2Aの距離マップ2Bと、震災後に撮像した画像2Aの距離マップ2Bとを対比することで、構造物が受けた損傷の状況を正確に把握することができる。
その他、ドローンを飛翔させて画像2Aおよび距離マップ2Bを取得することで、この処理装置1を、様々な用途に適用することができる。たとえば、ドローンを電線に沿って飛翔させ、電線の画像2Aおよび距離マップ2Bを取得し、何メートルの電線がどのような状態で張り巡らされているのかを調べるといった用途に適用することができる。
(第2実施形態)
次に、第2実施形態について説明する。なお、以下、第1実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図21は、第2実施形態の処理装置の機能ブロックの一例を示す図である。
次に、第2実施形態について説明する。なお、以下、第1実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図21は、第2実施形態の処理装置の機能ブロックの一例を示す図である。
この処理装置1は、取得した画像2Aと距離マップ(距離画像)2Bとから画像2A上の被写体のサイズを算出し、算出した被写体のサイズに基づき、移動体の駆動部4の駆動を制御する。本実施形態において、出力情報は、処理システムの一部または全部の動きを制御する制御信号である。
図21に示すように、処理装置1−2は、サイズ算出部11と、判断部13と、移動体制御部14とを有する。
図21に示すように、処理装置1−2は、サイズ算出部11と、判断部13と、移動体制御部14とを有する。
サイズ算出部11は、画像2Aと距離マップ2Bとから画像2A上の被写体のサイズを算出する機能を担う処理部である。判断部13は、被写体のサイズに基づき、駆動部4をどのように駆動すべきかを判断する機能を担う処理部である。移動体制御部14は、判断部13の判断に基づき、駆動部4の駆動を制御する機能を担う処理部である。処理装置1−2のハードウェア構成は、第1実施形態の処理装置1と同様であり、処理装置1−2の各処理部も、たとえば単一または複数のプロセッサで実現される。処理装置1−2には、表示部および/または音声出力部が接続されていてもよい。表示部および/または音声出力部は、例えば判断部13に接続される。
この処理装置1−2は、(画像2Aおよび距離マップ2Bを生成する)撮像装置および駆動部4とともに処理システムを構成し得る。処理システムは、たとえば、カメラ機能を有する、車両、飛翔体、ロボットなどの移動体などとして実現され得る。
まず、この処理装置1−2が、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用される場合の処理の一例について説明する。
まず、この処理装置1−2が、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用される場合の処理の一例について説明する。
たとえば、移動体が自動車であり、その進行方向を撮像するように撮像装置100が搭載されているものとする。また、いま、第1実施形態で説明した場合と同様、図17に示すように、自動車の進行方向に段差f1が存在する状況を想定する。
このような場合、処理装置1−2のサイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、その段差f1を測定する。判断部13は、その段差f1を自動車が乗り越えられるか否かを判断し、乗り越えられない場合、たとえば自動車を停止させ、または、自動車の進行方向を変更させるための信号を移動体制御部14に送信する。この信号を受信した移動体制御部14は、たとえば自動車を停止させ、または、自動車の進行方向を変更させるように駆動部4の駆動を制御する。
このような場合、処理装置1−2のサイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、その段差f1を測定する。判断部13は、その段差f1を自動車が乗り越えられるか否かを判断し、乗り越えられない場合、たとえば自動車を停止させ、または、自動車の進行方向を変更させるための信号を移動体制御部14に送信する。この信号を受信した移動体制御部14は、たとえば自動車を停止させ、または、自動車の進行方向を変更させるように駆動部4の駆動を制御する。
また、いま、第1実施形態で説明した場合と同様、図18に示すように、自動車の進行方向にゲートg1が存在する状況を想定する。サイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、ゲートg1の幅g2を測定する。判断部13は、その幅g2を自動車が通過できるか否かを判断し、通過できない場合、たとえば自動車を停止させ、または、自動車の進行方向を変更させるための信号を移動体制御部14に送信する。この信号を受信した移動体制御部14は、たとえば自動車を停止させ、または、自動車の進行方向を変更させるように駆動部4の駆動を制御する。
あるいは、判断部13は、ゲートg1の幅g2が、自動車のサイドミラーを畳めば自動車が通過できるサイズであると判断した場合、サイドミラーを畳ませるための信号を移動体制御部14に送信するようにしてもよい。この信号を受信した移動体制御部14は、サイドミラーを畳むように駆動部4の駆動を制御する。
次に、この処理装置1−2が、自動ドアシステムに適用される場合の処理の一例について説明する。
たとえば、第1実施形態で説明した場合と同様、図19に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。サイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、たとえば通行者の荷物(被写体)のサイズを取得する。判断部13は、そのサイズが回転ドアを通過できるサイズか否かを判断し、回転ドアを通過できるサイズを超える場合、たとえば自動ドアの回転を停止させるための信号を移動体制御部14に送信する。この信号を受信した移動体制御部14は、たとえば自動ドアの回転を停止させるように駆動部4の駆動を制御する。
たとえば、第1実施形態で説明した場合と同様、図19に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。サイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、たとえば通行者の荷物(被写体)のサイズを取得する。判断部13は、そのサイズが回転ドアを通過できるサイズか否かを判断し、回転ドアを通過できるサイズを超える場合、たとえば自動ドアの回転を停止させるための信号を移動体制御部14に送信する。この信号を受信した移動体制御部14は、たとえば自動ドアの回転を停止させるように駆動部4の駆動を制御する。
次に、この処理装置1−2が、ロボットに適用される場合の処理の一例について説明する。ここでは、ロボットが、たとえば図21に示すように、搬送ライン上を搬送されてくる対象物h1を摘み上げて大きさ別に仕分けるロボットアームを駆動部4として有するロボッタを想定する。
サイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、対象物h1のサイズを取得する。判断部13は、第1に、その対象物h1が摘み上げることのできるサイズを判断し、摘み上げられることのできるサイズである場合、第2に、その仕分け先を判断する。摘み上げられることのできるサイズでない場合(許容範囲よりも小さい場合と大きい場合との両方を含む)、移動体制御部14が対象物h1を摘み上げる以外の動作をするために駆動部4の駆動を制御したり、表示部に警告を表示したり、音声出力部から警告音声を出力したりしてもよい。また、判断部13は、摘み上げられることのできるサイズであって、その仕分け先を判断した場合、その仕分け先まで対象物h1を運ぶための信号を移動体制御部14に送信する。この信号を受信した移動体制御部14は、対象物h1を指示された場所に移動させるように駆動部4の駆動を制御する。
あるいは、搬送ラインに沿って複数のロボットを配置し、各々が、あらかじめ定められた範囲のサイズの対象物h1のみを摘み上げるように、対象物h1のサイズを取得するといったことも可能である。
なお、ロボットは、産業用に限らず、たとえば自律的に移動して床を掃除する掃除ロボットなどの家庭用としても実現され得る。掃除ロボットの場合、この処理装置1−2を適用することで、たとえば、ゴミのサイズが吸い込み口を通過できるか否かを判断し、吸い込むとゴミが吸い込み口に詰まるおそれのあるサイズの場合、吸引を一時停止してその場を通り過ぎたり、移動経路を変更したり、といった制御が可能となる。また、掃除ロボットのように自律的に移動する機器においては、近時、SLAM(Simultaneous localization and mapping)と称される自己位置推定技術が注目されているが、画像2Aおよび距離マップ2Bから被写体までの距離を取得できる処理装置1−2は、このSLAMによる自己位置推定に適用することができる。
なお、ロボットは、産業用に限らず、たとえば自律的に移動して床を掃除する掃除ロボットなどの家庭用としても実現され得る。掃除ロボットの場合、この処理装置1−2を適用することで、たとえば、ゴミのサイズが吸い込み口を通過できるか否かを判断し、吸い込むとゴミが吸い込み口に詰まるおそれのあるサイズの場合、吸引を一時停止してその場を通り過ぎたり、移動経路を変更したり、といった制御が可能となる。また、掃除ロボットのように自律的に移動する機器においては、近時、SLAM(Simultaneous localization and mapping)と称される自己位置推定技術が注目されているが、画像2Aおよび距離マップ2Bから被写体までの距離を取得できる処理装置1−2は、このSLAMによる自己位置推定に適用することができる。
(第3実施形態)
次に、第3実施形態について説明する。なお、以下、第1実施形態または第2実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図23は、第3実施形態の処理装置の機能ブロックの一例を示す図である。
次に、第3実施形態について説明する。なお、以下、第1実施形態または第2実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図23は、第3実施形態の処理装置の機能ブロックの一例を示す図である。
この処理装置1は、取得した画像2Aと距離マップ(距離画像)2Bとから画像2A上の被写体のサイズを算出し、算出した被写体のサイズに基づき、障害物5との間の通信を実行する。
図23に示すように、処理装置1−3は、サイズ算出部11と、判断部13と、信号送信部15とを有する。
図23に示すように、処理装置1−3は、サイズ算出部11と、判断部13と、信号送信部15とを有する。
サイズ算出部11は、画像2Aと距離マップ2Bとから画像2A上の被写体のサイズを算出する機能を担う処理部である。判断部13は、被写体のサイズに基づき、駆動部4をどのように駆動すべきかを判断する機能を担う処理部である。移動体制御部14は、判断部13の判断に基づき、障害物5との間の通信を実行する機能を担う処理部である。処理装置1−3のハードウェア構成は、第1実施形態の処理装置1や第2実施形態の処理装置1−2と同様であり、処理装置1−3の各処理部も、たとえば単一または複数のプロセッサで実現される。
また、この処理装置1−3は、(画像2Aおよび距離マップ2Bを生成する)撮像装置とともに処理システムを構成し得る。処理システムは、たとえば、カメラ機能を有する、車両、飛翔体、ロボットなどの移動体などとして実現され得る。
いま、この処理装置1−2が、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用されており、その進行方向を撮像するように撮像装置100が搭載されているものとする。また、図24に示すように、ある道路を走行中、その道路上に他の自動車(障害物j1)が停車している状況を想定する。
いま、この処理装置1−2が、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用されており、その進行方向を撮像するように撮像装置100が搭載されているものとする。また、図24に示すように、ある道路を走行中、その道路上に他の自動車(障害物j1)が停車している状況を想定する。
このような場合、処理装置1−3のサイズ算出部11は、撮像装置100により生成される画像2Aおよび距離マップ2Bから、他の自動車(障害物j1)の脇のスペースの幅j2を測定する。判断部13は、その幅j2を自動車が通過できるか否かを判断し、通過できない場合、他の自動車(障害物j1)に移動を促すための信号を信号送信部15に送信する。この信号を受信した信号送信部15は、他の自動車(障害物j1)に対して移動を促す信号を出力する。
または、対向車として他の自動車(障害物j1)が道路上を走行してきた場合、他の自動車(障害物j1)のサイズまたは他の自動車(障害物j1)の脇のスペースのサイズを取得し、道路上ですれ違うことができないと判断した場合、可及的すみやかに、その旨を他の自動車(障害物j1)に対して通知することで、接触事故などを未然に防ぐことができる。判断部13は、他の自動車(障害物j1)のサイズまたは他の自動車(障害物j1)の脇のスペースのサイズ等を随時取得してもよい。例えば、判断部13は、他の自動車(障害物j1)の扉が開いて横幅が増えた場合に、降車しようとしている可能性のある他の自動車(障害物j1)の搭乗者(運転者のみならず、同乗者を含み得る。)の注意を喚起するための信号を、他の自動車(障害物j1)に対して信号送信部15から出力するようにしてもよい。他の自動車(障害物j1)のサイズまたは他の自動車(障害物j1)の脇のスペースのサイズ等を随時取得することで、他の自動車(障害物j1)の扉が閉じていて、すれ違うことができる状態から、他の自動車(障害物j1)の扉が開いて、すれ違うことができない状態へと移行した場合などにも、適応的に対応することが可能となる。
以上説明したように、第1乃至第3の実施形態によれば、単眼カメラで被写体のサイズを取得することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1,1−2,1−3…処理装置、2A…画像、2B…距離マップ(距離画像)、3…表示部、4…駆動部、5…障害物、11…サイズ算出部、12…出力情報生成部、13…判断部、14…移動体制御部、15…信号送信部、100…撮像装置、110…フィルタ、111…第1のフィルタ領域、112…第2のフィルタ領域、113…光学中心、120…レンズ、130…イメージセンサ、131…第1のセンサ、132…第2のセンサ、133…第3のセンサ、140…画像処理部、141…画像取得部、142…距離算出部、143…出力部。
Claims (8)
- 単一の結像光学系による1度の撮像で画像とともに取得される距離マップであって、前記画像に含まれる被写体までの距離を示す情報が前記画像と対応させてマッッピングされる距離マップに基づき、前記被写体のサイズを算出するサイズ算出部と、
前記被写体のサイズに基づき、車両の駆動方法を判断する判断部と、
を具備する車両用処理システム。 - 前記距離マップは、前記画像に含まれるぼけのぼけ関数を使って求められる請求項1に記載の車両用処理システム。
- 前記画像および前記距離マップは、ぼけ関数が対称な第1波長成分とぼけ関数が非対称な第2波長成分とを含む画像を生成可能な前記単一の光学系により取得される請求項1または2に記載の車両用処理システム。
- 前記判断部は、他の車両に対して移動を促すための信号を送信することを判断可能である請求項1乃至3のいずれか1項に記載の車両用処理システム。
- 前記判断部は、他の車両のサイズまたは道路上の前記他の車両の脇のスペースのサイズを取得し、前記車両が前記他の車両と前記道路上ですれ違うことができるか否かを判断する請求項1乃至4のいずれか1項に記載の車両用処理システム。
- 前記判断部は、前記車両が前記他の車両と前記道路上ですれ違うことができないと判断した場合、前記車両と前記他の車両とが前記道路上ですれ違うことができない旨を前記他の車両に対して通知することを前記車両の駆動方法として判断する請求項5に記載の車両用処理システム。
- 前記判断部は、段差のサイズを取得し、前記車両が前記段差を乗り越えられるか否かを判断する請求項1乃至6のいずれか1項に記載の車両用処理システム。
- 前記判断部は、第1の被写体と第2の被写体との間のサイズを取得し、前記車両が前記第1の被写体と前記第2の被写体との間を通過できるか否かを判断する請求項1乃至7のいずれか1項に記載の車両用処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021092912A JP2021152543A (ja) | 2017-03-15 | 2021-06-02 | 車両用処理システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017049918 | 2017-03-15 | ||
JP2017049918 | 2017-03-15 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136061A Division JP2018156617A (ja) | 2017-03-15 | 2017-07-12 | 処理装置および処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021092912A Division JP2021152543A (ja) | 2017-03-15 | 2021-06-02 | 車両用処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018155726A true JP2018155726A (ja) | 2018-10-04 |
Family
ID=63716392
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136061A Pending JP2018156617A (ja) | 2017-03-15 | 2017-07-12 | 処理装置および処理システム |
JP2017152660A Pending JP2018155726A (ja) | 2017-03-15 | 2017-08-07 | 車両用処理システム |
JP2021092912A Pending JP2021152543A (ja) | 2017-03-15 | 2021-06-02 | 車両用処理システム |
JP2021119562A Pending JP2021170385A (ja) | 2017-03-15 | 2021-07-20 | 処理装置および処理システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136061A Pending JP2018156617A (ja) | 2017-03-15 | 2017-07-12 | 処理装置および処理システム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021092912A Pending JP2021152543A (ja) | 2017-03-15 | 2021-06-02 | 車両用処理システム |
JP2021119562A Pending JP2021170385A (ja) | 2017-03-15 | 2021-07-20 | 処理装置および処理システム |
Country Status (1)
Country | Link |
---|---|
JP (4) | JP2018156617A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021044793A (ja) * | 2019-09-11 | 2021-03-18 | 株式会社Liberaware | 寸法表示システムおよび寸法表示方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114610A (ja) * | 2011-11-30 | 2013-06-10 | Sharp Corp | 画像処理装置、運転支援装置、画像処理方法及び画像処理プログラム |
WO2014064990A1 (ja) * | 2012-10-25 | 2014-05-01 | シャープ株式会社 | 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両 |
JP2017040642A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 画像処理装置及び撮影装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010146357A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 3次元画像処理方法および3次元画像処理装置 |
JP4778076B2 (ja) * | 2009-01-08 | 2011-09-21 | ヤマハ発動機株式会社 | 部品認識装置および部品移載装置 |
JP2012100246A (ja) * | 2010-10-29 | 2012-05-24 | Fujifilm Corp | 立体視画像表示装置および立体視画像表示方法 |
JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
JP6016226B2 (ja) * | 2012-04-04 | 2016-10-26 | シャープ株式会社 | 測長装置、測長方法、プログラム |
GB2505926A (en) * | 2012-09-14 | 2014-03-19 | Sony Corp | Display of Depth Information Within a Scene |
JP6164679B2 (ja) * | 2012-10-30 | 2017-07-19 | 株式会社Halデザイン研究所 | カメラのキャリブレーション方法及びカメラのキャリブレーション装置 |
JP6214233B2 (ja) * | 2013-06-21 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 |
JP6346445B2 (ja) * | 2014-01-10 | 2018-06-20 | キヤノン株式会社 | 処理装置、処理装置の制御方法、およびプログラム |
JP6535020B2 (ja) * | 2014-03-02 | 2019-06-26 | ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド | 内視鏡画像内で可視の物体の3d距離および寸法を測定するシステム |
US9761015B2 (en) * | 2015-04-28 | 2017-09-12 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining dimensions in an indoor scene from a single depth image |
JP6592277B2 (ja) * | 2015-06-04 | 2019-10-16 | シャープ株式会社 | 計測装置、校正方法およびプログラム |
-
2017
- 2017-07-12 JP JP2017136061A patent/JP2018156617A/ja active Pending
- 2017-08-07 JP JP2017152660A patent/JP2018155726A/ja active Pending
-
2021
- 2021-06-02 JP JP2021092912A patent/JP2021152543A/ja active Pending
- 2021-07-20 JP JP2021119562A patent/JP2021170385A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114610A (ja) * | 2011-11-30 | 2013-06-10 | Sharp Corp | 画像処理装置、運転支援装置、画像処理方法及び画像処理プログラム |
WO2014064990A1 (ja) * | 2012-10-25 | 2014-05-01 | シャープ株式会社 | 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両 |
JP2017040642A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 画像処理装置及び撮影装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021044793A (ja) * | 2019-09-11 | 2021-03-18 | 株式会社Liberaware | 寸法表示システムおよび寸法表示方法 |
JP7370045B2 (ja) | 2019-09-11 | 2023-10-27 | 株式会社Liberaware | 寸法表示システムおよび寸法表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021170385A (ja) | 2021-10-28 |
JP2021152543A (ja) | 2021-09-30 |
JP2018156617A (ja) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3362982B1 (en) | Systems and methods for producing an image visualization | |
US20180268225A1 (en) | Processing apparatus and processing system | |
KR102580476B1 (ko) | 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치 | |
US7710246B2 (en) | Vehicle driving assist system | |
US20180137607A1 (en) | Processing apparatus, imaging apparatus and automatic control system | |
JP2019509534A (ja) | 将来経路を推定するシステム及び方法 | |
JP6699897B2 (ja) | 撮像装置、自動制御システム及びシステム | |
JP2018084802A (ja) | 撮像装置、撮像システム及び距離情報取得方法 | |
CN111273765B (zh) | 车辆用显示控制装置、车辆用显示控制方法以及存储介质 | |
KR20170139548A (ko) | 이미지 라인들로부터의 카메라 외부 파라미터들 추정 | |
JP2018189636A (ja) | 撮像装置、画像処理方法及びプログラム | |
JP6699898B2 (ja) | 処理装置、撮像装置、及び自動制御システム | |
JP2020126612A (ja) | スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 | |
JP2019015575A (ja) | 画像処理装置、測距装置および処理システム | |
JP2012198857A (ja) | 接近物体検知装置及び接近物体検知方法 | |
US20220314886A1 (en) | Display control device, display control method, moving body, and storage medium | |
CN108973858B (zh) | 用于确保行驶路线安全的装置 | |
US8213683B2 (en) | Driving support system with plural dimension processing units | |
JP2012022646A (ja) | 視線方向検出装置、視線方向検出方法及び安全運転評価システム | |
JP2021170385A (ja) | 処理装置および処理システム | |
CN113614810B (zh) | 图像处理装置、车辆控制装置、方法和程序 | |
JP7021036B2 (ja) | 電子機器及び通知方法 | |
JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
JP2007051976A (ja) | 車載カメラシステム、オブジェクト位置検出システム、及びオブジェクト位置検出方法 | |
TWM486116U (zh) | 以機率方式計算爲基礎之3d環車影像系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210302 |