A.第1実施形態:
A1.装置構成:
図1に示すように本実施形態の物体認識装置10は、車両100に搭載され、車両100の前方の周囲に存在する物体、例えば、他の車両や歩行者や建物等までの距離を測定し、測定された距離に基づいて物体を認識する。本実施形態では、物体認識装置10は、LiDAR(Light Detection And Ranging)により構成されている。物体認識装置10は、照射光Lzを照射して、物体からの反射光を受光する。図1では、照射光Lzの射出中心位置を原点とし、車両100の前後方向をY軸とし、原点を通り車両100の幅方向をX軸とし、原点を通り鉛直方向をZ軸として表している。なお、車両100の前方を+Y方向、車両100の後方を−Y方向とし、車両100の右方向を+X方向、車両100の左方向を−X方向とし、鉛直上方を+Z方向、鉛直下方を−Z方向とする。照射光Lzは、X−Y平面と平行な方向の一次元走査により照射される。図1の実線の太い矢印で示すように、照射光Lzは、車両100の前方方向に向かって左から右側に走査しながら、細い実線の各マス目に照射される。照射光Lzは、物体認識装置10の分解能θ1に応じた角度で照射される。分解能θ1とは、レーザの照射軸がY−Z平面においてY軸となす角度を意味する。
物体認識装置10は、照射光Lzを照射してから反射光を受光するまでの時間、すなわち、光の飛行時間TOF(Time of Flight)を特定し、飛行時間TOFを物体までの距離として算出することによって、物体を測距点群として検出する。測距点とは、物体認識装置10が測距可能な範囲において、反射光によって特定される物体の少なくとも一部が存在し得る位置を示す点を意味し、例えば、物体の代表点に相当する。また、測距点群とは、所定期間における測距点の集合を意味し、物体の測距点の3次元座標により表される。物体認識装置10は、検出された測距点群に対してクラスタリングを行って、測距点群を複数のクラスタに分類することにより、物体を認識する。
図2に示すように、物体認識装置10は、CPU20と、メモリ30と、入出力インターフェース11とを備える。CPU20、メモリ30、および入出力インターフェース11は、バス15を介して双方向に通信可能に接続されている。メモリ30は、ROM、RAM、およびEEPROMを含む。入出力インターフェース11には、発光制御部41および受光制御部51がそれぞれ制御信号線を介して接続されている。発光制御部41に対しては発光制御信号が送信され、受光制御部51からは受光制御信号が受信される。
発光制御部41は、入出力インターフェース11を介して制御部21から入力される発光制御信号に応じたタイミングで照射光Lzを照射するよう発光素子42を駆動する。発光素子42は、例えば、赤外レーザダイオードであり、照射光Lzとして赤外レーザ光を出射する。発光素子42は1つでもよく複数であってもよく、発光素子42がZ軸方向に複数設けられている場合は、例えば、Z軸方向への走査を省略できる。
受光制御部51は、受光素子52に入射された入射光量または入射光強度を受光制御信号として出力する。受光素子52は、平板状の光センサに複数の画素が縦横方向に配列された構成を有し、例えば、SPAD(Single Photon Avalanche Diode)、その他のフォトダイオードにより構成される。受光制御部51は、受光素子52に入射された入射光量または入射光強度に応じて発生する電流を電圧に変換し、例えば、輝度値や明度を示す画素値を受光制御信号として制御部21へ出力する。
CPU20は、メモリ30に記憶されたプログラムを展開して実行することにより、制御部21と、点群取得部22と、クラスタ作成部23と、クラスタ結合部24と、物体認識部25として機能する。
制御部21は、物体認識装置10全体の動作を制御する。本実施形態では、制御部21は、後述の物体認識処理を実行する。
点群取得部22は、入出力インターフェース11を介して受光制御部51から入力される受光制御信号を用いて、測距点群を取得する。具体的には、点群取得部22は、受光制御信号により示される画素値から測距点の位置を検出することにより、測距点群を取得する。測距点群は、3次元座標として取得される。なお、測距点群は、3次元座標に代えて、2次元座標で表されてもよい。また、点群取得部22は、物体認識装置10とは異なる外部装置を介して測距点群を取得してもよい。
クラスタ作成部23は、取得された測距点群に対してクラスタリングを行うことにより、互いに近接する複数の測距点を統合して1つのグループ(クラスタ)を作成する。具体的には、クラスタ作成部23は、取得された測距点群について、3次元空間における各測距点間の距離を求め、かかる距離が予め定められた距離閾値以下である測距点(群)、すなわち、近い位置にある測距点同士をまとめて同一のクラスタに集約することにより、測距点群を複数のクラスタに分類する。なお、距離閾値は、予め実験等により算出されて、メモリ30に格納されている。
クラスタ結合部24は、クラスタを構成する構成点、すなわち、クラスタに含まれる測距点群の分布を示す特徴量に基づき、クラスタを結合する。本実施形態では、特徴量として、構成点の各座標値に対して主成分分析を行うことによって得られる主成分軸における分散値を用いる。具体的には、クラスタ結合部24は、一のクラスタにおいて、構成点の位置を示す座標値を主成分分析して3つの主成分軸を求め、各主成分軸における分散値を算出する。また、クラスタ結合部24は、当該一のクラスタと、他の一のクラスタとを仮に結合させた場合に得られるクラスタ(後述の仮結合クラスタ)において、同様に、各主成分軸における分散値を算出する。そして、クラスタ結合部24は、一のクラスタにおける各分散値と、仮結合クラスタにおける各分散値との変化量が所定の閾値以下である場合、両クラスタの特徴量が近似しているとして、これら2つのクラスタを結合して1つのクラスタにまとめる。なお、主成分分析は、図1に示すXY平面の2次元解析により行われてもよい。
物体認識部25は、結合後のクラスタを用いて、物体を認識する。
A2.物体認識処理:
本実施形態では、図3に示す走行シーンにおいて物体認識処理が実行されているとして、物体認識処理の処理手順を説明する。図3に示すように、車両100は、道路Lnを前方方向FDに走行している。道路Lnには、道路Lnと平行な壁OB1が設置された歩道RSが設けられており、壁OB1沿いに歩行者OB2が前方方向FDに歩いている。物体認識装置10では、後述の物体認識処理が実行されており、車両100の前方方向FDに存在する壁OB1や、歩行者OB2等の物体が認識され得る。
図4に示す物体認識処理は、車両100全体を制御する上位のECUからイグニッションスイッチがオフからオンに切り替わったことを示す信号が物体認識装置10に入力されると、開始される。物体認識処理は、イグニッションスイッチがオンからオフに切り替えられるまでの間、繰り返し実行される。点群取得部22は、測距点群を取得する(ステップS105)。クラスタ作成部23は、取得された測距点群に対してクラスタリングを行って、クラスタを作成する(ステップS110)。クラスタ結合部24は、作成された各クラスタの特徴量にしたがってクラスタの結合可否を判定し、クラスタを結合する(ステップS115)。物体認識部25は、結合後のクラスタに基づき物体を認識する(ステップS120)。ステップS120の実行後、物体認識処理は終了し、所定のインターバルが経過した後、ステップS105が実行される。なお、所定のインターバルは、例えば、100ミリ秒から200ミリ秒の範囲の任意の時間としてもよい。
このような物体認識処理を実現するために、クラスタ作成部23により実行されるクラスタ作成処理、およびクラスタ結合部24により実行されるクラスタ結合処理の具体的な処理内容を順次説明する。
A3.クラスタ作成処理:
図5を用いて、クラスタ作成処理の概要を説明する。図5には、点群取得部22により取得された測距点群の一部の測距点P1〜P7を模式的に示している。クラスタ作成処理では、或る測距点を基準とし、当該測距点と他の各測距点との距離をそれぞれ算出し、距離が近い場合に当該測距点と他の測距点とを一つのグループ(クラスタ)にまとめる。
図5に示す例において、まず、点P1を基準点とし、点P1と、各点P2、点P3、点P4、点P5、点P6、点P7および点P8との距離r1、距離r2、距離r3、距離r4、距離r5、距離r6および距離r7がそれぞれ算出される。次に、算出された距離r1、距離r2、距離r3、距離r4、距離r5、距離r6および距離r7が距離閾値以下となる点同士が一つのクラスタとして作成される。図5に示す例では、破線で囲んで示すように、点P1と点P2と点P8とが同じクラスタに属するようにクラスタが作成される。これに対して、点P1との距離が距離閾値以上である点は、それぞれ別のクラスタに属するようにクラスタが作成される。図5に示す例では、二点鎖線で囲んで示すように、点P3、点P4、点P5、点P6および点P7は、点P1、点P2および点P8が属するクラスタとは別のクラスタに属するようにクラスタが作成される。クラスタの作成処理では、取得された全ての測距点が順次基準点とされる。例えば、点P2が基準点となる場合には、点P2と、点P3、点P4、点P5、点P6、点P7および点P8との距離がそれぞれ算出され、算出された距離に基づいてクラスタの作成が行なわれる。以下、クラスタ作成処理の詳細な処理手順を説明する。
図6に示すように、クラスタ作成部23は、現在の処理対象の測距点を示すインデックス値iおよびjに「1」を設定する(ステップS205、S210)。なお、以降の説明では、処理対象の測距点を点Pi、点Pjと呼ぶ。クラスタ作成部23は、点Piと点Pjとが異なる測距点であるか否かを判定する(ステップS215)。
点Piと点Pjとが異なる測距点であると判定された場合(ステップS215:YES)、クラスタ作成部23は、点Piと点Pjとの間の距離を算出し(ステップS220)、算出された2点間の距離が予め定められた距離閾値以下であるか否かを判定する(ステップS225)。具体的には、図7に示すように、点Piの3次元座標値(X座標値、Y座標値、Z座標値)がX1、Y1およびZ1であり、点Pjの3次元座標値(X座標値、Y座標値、Z座標値)がX2、Y2およびZ2であるとして説明する。なお、図7に示す角度θ1は、物体認識装置10の分解能である。
クラスタ結合部24は、各座標値の差を算出する。具体的には、クラスタ結合部24は、各XYZ座標値から2点間の距離を算出し、算出された各距離がいずれも予め定められた閾値Th1以下であるか否かを判定する。本実施形態において、「予め定められた距離閾値Th1」は、物体認識装置10から点Piまでの距離Ds1と、物体認識装置10から点Pjまでの距離Ds2とのうち、より大きな距離(図7に示す例では距離Ds2)と、分解能θ1とを乗じた値の2倍の値に設定されている。なお、距離閾値は、距離Ds1と距離Ds2とのうちのより大きな距離と分解能θ1とを乗じた値としてもよい。また、距離Ds1と距離Ds2とのうちのより大きな距離に乗じる値として、雨や霧などの天候、外乱光の強さ等の車両100の周囲の環境に応じた任意の値を採用してもよい。また、車両100の周囲の環境によって点群の取得精度が低下している場合には、距離閾値を通常時に比べて大きく設定してもよい。なお、上述のステップS220において、2点間の距離は、図1に示すXY平面の2次元座標値(X座標値、Y座標値)を用いて算出されてもよい。
点Piおよび点Pj間の距離が距離閾値Th1以下であると判定された場合(ステップS225:YES)、クラスタ作成部23は、点Piがクラスタに属するか否かを判定する(ステップS230)。具体的には、クラスタ作成部23は、既に作成済みのクラスタが存在する場合には、作成済みのクラスタを順に探索し、点Piが含まれるクラスタの有無を判定する。なお、クラスタ作成処理が初回に実行される場合を除いては、ステップS230の実行時に少なくとも1つのクラスタが作成されている。
点Piがクラスタに属さないと判定された場合(ステップS230:NO)、クラスタ作成部23は、クラスタを新たに作成し(ステップS235)、作成されたクラスタに点Piおよび点Pjを追加する(ステップS240)。これに対して、点Piがクラスタに属すると判定された場合(ステップS230:YES)、クラスタ作成部23は、点Piが属するクラスタに点Pjを追加する(ステップS245)。このとき、点Piが属するクラスタに点Pjを追加することによってクラスタの大きさが予め定められた大きさよりも大きくなる場合には、クラスタ作成部23は、クラスタを新たに作成し、作成されたクラスタに点Pjを追加してもよい。「予め定められた大きさ」とは、トラック等の大きな物体と認識され得る物体よりも大きな大きさを意味し、例えば、クラスタの一辺の長さが10メートル以上の大きさとしてもよい。
上述のステップS240の実行後、または、上述のステップS245の実行後、または、上述のステップS225において点Piおよび点Pj間の距離が距離閾値Th1以下でないと判定された場合(ステップS225:NO)、または、上述のステップS215において点Piと点Pjとが異なる測距点でないと判定された場合(ステップS215:NO)、クラスタ作成部23は、インデックス値jが構成点数に達したか否かを判定する(ステップS250)。インデックス値jが構成点数に達していない場合(ステップS250:NO)、クラスタ作成部23は、インデックス値jに「1」を加算し(ステップS260)、上述のステップS215を実行する。他方、インデックス値jが構成点数に達している場合には(ステップS250:YES)、インデックス値iが構成点数に達しているか否かを判定する(ステップS255)。インデックス値iが構成点数に達していない場合(ステップS255:NO)、クラスタ作成部23は、インデックス値iに「1」を加算し(ステップS265)、上述のステップS210を実行する。他方、インデックス値iが構成点数に達している場合には(ステップS255:YES)、クラスタ作成処理は終了する。
図8には、図3に示す走行シーンにおいて取得され得る壁OB1および歩行者OB2の測距点群の一部と、上述のクラスタ作成処理を実行することによって作成されるクラスタとを模式的に示している。図8において、測距点群をハッチング付きの丸で示し、クラスタを実線で示している。図8に示す例では、壁OB1の測距点群は、複数のクラスタC1、Cn−1、CnおよびCxに分類され、歩行者OB2の測距点群は、右足部分に相当するクラスタCyと、右足部分を除く身体の部位に相当するクラスタCzとに分類されるとしている。なお、図示の便宜上、歩行者OB2の測距点群の図示を省略し、クラスタCyおよびCzにハッチングを付している。壁OB1のクラスタC1〜CnおよびCxは、壁OB1の長手方向において、前方方向FDに向かうにしたがって、すなわち、物体認識装置10から離れるにしたがって、バラバラに分散されるとともにクラスタ間の距離が離れている。具体的には、物体認識装置10に近い側(図8の左側)では、測距点間の距離が小さいために、測距点がある程度まとまったクラスタC1が作成され、物体認識装置10から遠い側(図8の右側)では、測距点間の距離が大きくなるために、より少ない構成点数のクラスタが作成される。
A4.クラスタ結合処理:
クラスタ結合処理では、概括的には以下の処理が行われる。
(1)作成された各クラスタを順に基準のクラスタとして固定し、基準のクラスタと他のクラスタとを結合させるか否かを判定する。なお、以降の説明において、基準のクラスタを基準クラスタと呼び、結合対象となる他のクラスタを対象クラスタと呼ぶ。
(2)結合の可否の判定においては、クラスタにおける構成点(測距点群)の分布を示す特徴量として、クラスタに対する主成分分析によって得られる主成分軸の分散値を用いる。
(3)同じ物体のクラスタであれば、クラスタを結合させた場合の分散の変化が少ないことから、基準クラスタの特徴量と、両クラスタを結合させたクラスタの特徴量とが近い値である場合には、基準クラスタと対象クラスタとを結合する。
以下、詳細に説明する。
図9に示すように、クラスタ結合部24は、基準クラスタを示すインデックス値k、および対象クラスタを示すインデックス値mにそれぞれ「1」を設定する(ステップS305、S310)。なお、以降の説明では、基準クラスタをクラスタCk、対象クラスタをクラスタCmと表す。クラスタ結合部24は、基準クラスタCkと対象クラスタCmとが異なるクラスタであるか否かを判定する(ステップS315)。具体的には、クラスタ結合部24は、インデックス値kとインデックス値mとが一致するか否かを判定する。
基準クラスタCkと対象クラスタCmとが異なるクラスタであると判定された場合(ステップS315:YES)、クラスタ結合部24は、基準クラスタCkを主成分分析し(ステップS320)、各主成分軸における分散を算出する(ステップS325)。具体的には、クラスタ結合部24は、基準クラスタCkにおける構成点の各座標値(X座標、Y座標およびZ座標)に対する主成分分析を行い、主成分分析により得られる第1、第2および第3の主成分軸における分散値をそれぞれ算出する。第1主成分軸は、クラスタCkにおいて分散が最も大きい固有ベクトルである。第2主成分軸は、第1主成分軸に直交し、クラスタCkにおいて分散が2番目に大きい固有ベクトルである。第3主成分軸は、第1主成分軸および第2主成分軸の双方に直交し、クラスタCkにおいて分散が3番目に大きい固有ベクトルである。以降の説明では、基準クラスタCkの各主成分軸を基準主成分軸AXk1、AXk2およびAXk3と呼ぶ。
クラスタ結合部24は、基準クラスタCkと対象クラスタCmとを仮結合した仮結合クラスタCcnを主成分分析し(ステップS330)、図10に示すように、各主成分軸における分散を算出する(ステップS335)。具体的には、クラスタ結合部24は、まず、クラスタCkとクラスタCmとを結合して一つのクラスタ(以下、「仮結合クラスタ」と呼ぶ)Ccnを作成する。次に、クラスタ結合部24は、作成された仮結合クラスタCcnの構成点、すなわち、基準クラスタCkの構成点と対象クラスタCmの構成点との各座標値に対する主成分分析を行う。そして、クラスタ結合部24は、主成分分析により得られる第1、第2および第3の主成分軸における分散値をそれぞれ算出する。なお、以降の説明では、仮結合クラスタCcnの各主成分軸を仮結合主成分軸AXcn1、AXcn2およびAXcn3と呼ぶ。
図11では、歩行者OB2を構成するクラスタCyおよびCz(図8)が結合されたクラスタを基準クラスタCkとし、壁OB1の一部を構成するクラスタCx(図8)を対象クラスタCmとした場合において、基準主成分軸AXk1、AXk2およびAXk3と、クラスタCkと対象クラスタCmとを仮結合した仮結合主成分軸AXcn1、AXcn2およびAXcn3とをそれぞれ例示している。図11に示すように、基準クラスタCkと対象クラスタCmとがそれぞれ異なる物体を構成している場合、仮結合前と仮結合後とでは、構成点の分布(ばらつき)が大きくなる。
図12では、歩行者OB2の一部(上半身および左足)を構成するクラスタCz(図8)を基準クラスタCkとし、歩行者OB2の他の一部(右足)を構成するクラスタCy(図8)を対象クラスタCmとした場合において、基準主成分軸AXk1、AXk2およびAXk3と、クラスタCkと対象クラスタCmとを仮結合した仮結合主成分軸AXcn1、AXcn2およびAXcn3とをそれぞれ例示している。図12に示すように、基準クラスタCkと対象クラスタCmとがいずれも同じ物体を構成している場合には、仮結合前と仮結合後とでは、構成点の分布(ばらつき)が小さくなる。
クラスタ結合部24は、各基準主成分軸AXk1、AXk2およびAXk3と、仮結合主成分軸AXcn1、AXcn2およびAXcn3とで傾きが近い主成分軸同士をペアリングする(ステップS340)。具体的には、クラスタ結合部24は、各主成分軸AXk1、AXk2、AXk3、AXcn1、AXcn2およびAXcn3の傾きを算出し、基準クラスタCkの3つの主成分軸の傾きと、仮結合クラスタCcnの3つの主成分軸の傾きとを対比して、傾きが近い主成分軸同士をペアにする。例えば、図11に示す例では、第1基準主成分軸AXk1の傾きは、第2仮結合主成分軸AXcn2および第3仮結合主成分軸AXcn3に比べて、第1仮結合主成分軸AXcn1の傾きと近似するため、第1基準主成分軸AXk1と第1仮結合主成分軸AXcn1とがペアになる。同様に、第2基準主成分軸AXk2と第2仮結合主成分軸AXcn2とが、第3基準主成分軸AXk3と第3仮結合主成分軸AXcn3とが、それぞれペアになる。
クラスタ結合部24は、各ペアにおける分散比を算出する(ステップS345)。具体的には、クラスタ結合部24は、ペアごとに、基準主成分軸の分散の仮結合主成分軸の分散に対する変化率を分散比として算出する。クラスタ結合部24は、算出された分散比が閾値以下であるか否かを判定する(ステップS350)。具体的には、クラスタ結合部24は、上述のステップS345において算出された各ペアの分散比がいずれも閾値以下であるか否かを判定する。
算出された分散比が閾値より大きいと判定された場合(ステップS350:NO)、クラスタ結合部24は、基準クラスタCkの第3主成分軸(第3基準主成分軸)AXk3と対象クラスタCmの第3主成分軸AXm3との間の角度が閾値以下であるか否かを判定する(ステップS355)。具体的には、図13に示すように、クラスタCkおよびCmが1つの連続した壁OB3を構成する一部のクラスタである場合、基準クラスタCkの第3主成分軸(第3基準主成分軸)AXk3と対象クラスタCmの第3主成分軸AXm3との間の角度θ2は、面の法線に相当するため、所定の閾値よりも小さくなる。このため、2つのクラスタCkおよびCmの第3主成分軸AXk3およびAXm3の間の角度を判定することにより、本来は同じ1つの物体(壁OB3)を構成するクラスタ同士であるにもかかわらず、誤って別の物体を構成するクラスタであると認識されることを抑制できる。
上述のステップS355において基準クラスタCkの第3主成分軸AXk3と対象クラスタCmの第3主成分軸AXm3との間の角度が閾値以下であると判定された場合(ステップS355:YES)、または、上述のステップS350において分散比が閾値以下であると判定された場合(ステップS350:NO)、クラスタ結合部24は、基準クラスタCkと対象クラスタCmとを結合する(ステップS360)。
ステップS360の実行後、または、上述のステップS355において基準クラスタCkの第3主成分軸AXk3と対象クラスタCmの第3主成分軸AXm3との間の角度が閾値より大きいと判定された場合(ステップS355:NO)、または、上述のステップS315において基準クラスタCkと対象クラスタCmとが異なるクラスタでないと判定された場合(ステップS315:NO)、クラスタ結合部24は、対象クラスタを示すインデックス値mがクラスタ数に達しているか否かを判定する(ステップS365)。インデックス値mがクラスタ数に達していない場合(ステップS365:NO)、クラスタ結合部24は、インデックス値mに「1」を加算し(ステップS380)、上述のステップS315に戻る。他方、インデックス値mがクラスタ数に達している場合には(ステップS365:YES)、基準クラスタを示すインデックス値kがクラスタ数に達しているか否かを判定する(ステップS370)。
インデックス値kがクラスタ数に達していない場合(ステップS370:NO)、クラスタ結合部24は、インデックス値kに「1」を加算し(ステップS375)、上述のステップS310に戻る。他方、インデックス値kがクラスタ数に達している場合(ステップS370:YES)には、クラスタ結合処理は終了する。
以上の構成を有する第1実施形態の物体認識装置10によれば、物体認識装置10の周囲に存在する物体OB1、OB2の点群を取得し、取得された点群のうち各点間の距離が予め定められた距離閾値Th1以下である点群を統合して、複数のクラスタC1、Cn−1、Cn、Cx、Cy、Czを作成し、各クラスタを構成する構成点の特徴量を算出し、算出された特徴量が近似するクラスタ同士を結合するので、複数のクラスタを多数回作成する構成に比べて、物体認識処理に要する負荷を低減できる。また、過去に作成されたクラスタの履歴を要しないので、応答性の低下を抑制できる。
加えて、特徴量は、各構成点の座標値に対する主成分分析により得られる値であるので、各クラスタにおける構成点の分布を容易に算出できる。また、クラスタ結合部24は、基準クラスタCkに対する主成分分析により得られる基準主成分軸AXk1、AXk2およびAXk3を算出し、仮結合クラスタCcnに対する主成分分析により得られる仮結合主成分軸AXcn1、AXcn2およびAXcn3を算出し、特徴量は、各基準主成分軸AXk1、AXk2およびAXk3の傾きと、各仮結合主成分軸AXcn1、AXcn2およびAXcn3の傾きとが近い主成分軸同士をペアにしたときの、基準主成分軸AXk1、AXk2およびAXk3における分散と仮結合主成分軸AXcn1、AXcn2およびAXcn3における分散との変化量であるので、基準クラスタと仮結合クラスタとの分散の変化量を精度よく算出できる。
また、特徴量は、基準主成分軸AXk1、AXk2およびAXk3における分散と、仮結合主成分軸AXcn1、AXcn2およびAXcn3における分散との比であるので、結合前のクラスタと結合後のクラスタとにおける構成点の分布の変化を容易に検出できる。加えて、特徴量は、基準第3主成分軸AXk3と、対象クラスタCmに対する主成分分析により得られる第3主成分軸AXm3との間の角度θ2であるので、基準クラスタCkおよび対象クラスタCmが壁や曲面等の面で構成される物体の一部であることを容易に検出できる。この結果、基準クラスタCkと対象クラスタCmとを結合できるので、基準クラスタCkと対象クラスタCmとが別の物体として認識されることを抑制できる。
加えて、クラスタ作成部23は、物体認識装置10の分解能θ1と、物体認識装置10から測距点Pjまでの距離Ds2とを用いて、距離閾値Th1の値を変化させるので、測距点の検出誤差が生じた場合であっても、クラスタを精度よく作成できる。また、クラスタ作成部23は、作成する予定のクラスタの大きさが予め定められた大きさよりも大きくなる場合に新たにクラスタを作成するので、クラスタの大きさを予め定められた大きさ以下にそろえることができる。この結果、各クラスタの特徴量を精度よく算出できるので、クラスタの誤結合の発生を抑制できる。
B.第2実施形態:
B1.装置構成:
第2実施形態における物体認識装置10は、図2に示す第1実施形態における物体認識装置10と同様であるので、その詳細な説明は省略する。
B2.物体認識処理:
第2実施形態における物体認識処理は、クラスタ結合処理の手順において第1実施形態におけるクラスタ結合処理と異なり、他の処理手順は第1実施形態と同じである。
第2実施形態のクラスタ結合処理は、結合可否の判定の対象となる2つのクラスタのうち、一のクラスタCkと、他の一のクラスタCmとのうち構成点数の大きなクラスタを基準クラスタとし、結合可否の判定に用いる特徴量として、仮結合クラスタCcnの仮結合主成分軸における分散に代えて、仮結合クラスタCcnの基準クラスタの主成分軸における分散を用いる。以下、詳細に説明する。
図14および図15に示す第2実施形態のクラスタ結合処理は、ステップS320に代えてステップS320aを実行する点と、ステップS325に代えてステップS325aを実行する点と、ステップS330を省略する点と、ステップS335に代えてステップS335aを実行する点と、ステップS340を省略する点と、ステップS345に代えてステップS345aを実行する点と、ステップS350に代えてステップS350aを実行する点と、ステップS360に代えてステップS360aを実行する点とにおいて、図9および図10に示す第1実施形態のクラスタ結合処理と異なる。第2実施形態のクラスタ結合処理におけるその他の手順は、第1実施形態のクラスタ結合処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明は省略する。
図14に示すように、クラスタCkとクラスタCmとが異なるクラスタであると判定されると(ステップS315:YES)、クラスタ結合部24は、クラスタCkとクラスタCmとのうち、構成点数が多いクラスタCtを主成分分析し(ステップS320a)、各主成分軸における分散を算出する(ステップS325a)。具体的には、クラスタ結合部24は、クラスタCkの構成点数と、クラスタCmの構成点数とをそれぞれ算出し、構成点数がより多いクラスタを基準クラスタCtとして特定する。次に、クラスタ結合部24は、特定された基準クラスタCtにおける構成点の各座標値に対する主成分分析を行い、主成分分析により得られる第1、第2および第3の主成分軸における分散値をそれぞれ算出する。なお、以降の説明では、基準クラスタCtの各主成分軸を基準主成分軸AXt1、AXt2およびAXt3と呼ぶ。
図15に示すように、クラスタ結合部24は、クラスタCkとクラスタCmとを仮結合した仮結合クラスタCcnの、基準クラスタCtの各基準主成分軸AXt1、AXt2およびAXt3における分散を算出する(ステップS335a)。具体的には、クラスタ結合部24は、仮結合クラスタCcnに対して基準主成分軸AXt1、AXt2およびAXt3を適用し、基準主成分軸AXt1、AXt2およびAXt3における分散をそれぞれ求める。すなわち、クラスタ結合部24は、仮結合クラスタCcnに対しては主成分分析を行わず、基準クラスタCtと仮結合クラスタCcnとにおいて、いずれも基準主成分軸AXt1、AXt2およびAXt3を用いて分散値を算出する。
本実施形態において、仮結合クラスタCcnの分散を基準主成分軸AXt1、AXt2およびAXt3を用いて算出するのは、以下の理由による。すなわち、クラスタCkとクラスタCmとが異なる物体である場合、2つのクラスタCkおよびCmの結合前と結合後とでは、主成分軸が大きく変化する。このため、クラスタCkおよびCmを結合させる前の主成分軸に固定して分散を算出すると、分散比はより大きくなるので、結合前と結合後とにおける分散の変化をより精度よく検出できる。この結果、クラスタCkとクラスタCmとを容易に分離できることになる。
クラスタ結合部24は、分散比を算出する(ステップS345a)。具体的には、クラスタ結合部24は、基準クラスタCtの分散の仮結合クラスタCcnの分散に対する変化率を、分散比として算出する。より具体的には、クラスタ結合部24は、第1基準主成分軸AXt1について、基準クラスタCtの第1基準主成分軸AXt1における分散の、仮結合クラスタCcnの第1基準主成分軸AXt1における分散に対する変化率を算出する。同様に、クラスタ結合部24は、第2基準主成分軸AXt2について、基準クラスタCtの第2基準主成分軸AXt2における分散の、仮結合クラスタCcnの第2基準主成分軸AXt2における分散に対する変化率を算出し、第3基準主成分軸AXt3について、基準クラスタCtの第3基準主成分軸AXt3における分散の、仮結合クラスタCcnの第3基準主成分軸AXt3における分散に対する変化率を算出する。
クラスタ結合部24は、分散比の最大値が閾値以下であるか否かを判定する(ステップS350a)。具体的には、クラスタ結合部24は、上述のステップS345aにおいて算出された3つの分散比のうち最大値を求め、かかる最大値と閾値とを対比する。閾値は、上述の第1実施形態のステップS350の閾値と同じ値が設定されていてもよいし、他の任意の値が設定されていてもよい。
分散比の最大値が閾値以下であると判定された場合(ステップS350a:YES)、クラスタ結合部24は、クラスタCkとクラスタCmとを結合する(ステップS360a)。ステップS360aの実行後、上述のステップS365が実行される。他方、上述のステップS350aにおいて分散比の最大値が閾値より大きいと判定された場合(ステップS350a:NO)、上述のステップS355が実行される。
以上の構成を有する第2実施形態の物体認識装置10によれば、クラスタ結合部24は、一のクラスタを基準クラスタCkとし、該基準クラスタCkに対する主成分分析により得られる第1基準主成分軸AXk1、第2基準主成分軸AXk2、および第3基準主成分軸AXk3における分散をそれぞれ算出し、基準クラスタCkと、基準クラスタCkと結合する対象の対象クラスタCmと、を仮に結合した仮結合クラスタCcnの各基準主成分軸AXk1、AXk2およびAXk3における分散をそれぞれ算出する。また、特徴量は、基準クラスタCkの各分散と、仮結合クラスタCcnの各分散との変化量である。したがって、主成分軸を仮結合前の基準主成分軸AXt1、AXt2およびAXt3に固定して、基準クラスタCkの分散および仮結合クラスタCcnの分散をそれぞれ算出することによって、仮結合前のクラスタと仮結合後のクラスタとにおける分散の変化をより精度よく検出できる。この結果、基準クラスタCkと対象クラスタCmとの結合可否を容易に判定できる。
また、基準クラスタCkは、一のクラスタと、他の一のクラスタと、のうち、構成点の数がより多いクラスタなので、構成点の数が少ない方のクラスタを基準クラスタCkに設定する構成に比べて、クラスタの結合可否の判定に要する処理負荷を低減できる。
C.第3実施形態:
C1.装置構成:
第3実施形態における物体認識装置10は、図2に示す第1実施形態における物体認識装置10と同様であるので、その詳細な説明は省略する。
C2.物体認識処理:
第3実施形態における物体認識処理は、クラスタ結合処理の手順において第1実施形態におけるクラスタ結合処理と異なり、他の処理手順は第1実施形態と同じである。
第3実施形態のクラスタ結合処理は、作成された複数のクラスタを構成点数が多い順に並び替えて、構成点数が所定数以上となる比較的大きなクラスタ同士を先に結合させ、その後、構成点数が所定数よりも少ない比較的小さなクラスタを、先に結合されたクラスタに結合させる。小さなクラスタを介して大きなクラスタ同士が結合されることを抑制するためである。以下、詳細に説明する。
図16および図17に示す第3実施形態のクラスタ結合処理は、ステップS301、ステップS303、ステップS316、ステップS317、ステップS318、ステップS319、ステップS351、ステップS385、およびステップS390を追加して実行する点と、ステップS315に代えてステップS315aを実行する点と、ステップS320に代えてステップS320bを実行する点と、ステップS325に代えてステップS325bを実行する点と、ステップS330に代えてステップS330aを実行する点と、ステップS340に代えてステップS340aを実行する点と、ステップS360に代えてステップS360aを実行する点とにおいて、図9および図10に示す第1実施形態のクラスタ結合処理と異なる。第3実施形態のクラスタ結合処理におけるその他の手順は、第1実施形態のクラスタ結合処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明は省略する。
図16に示すように、クラスタ結合処理が開始されると、クラスタ結合部24は、構成点数が最大のクラスタを基点として構成点数の多い順にクラスタを並び替える(ステップS301)。具体的には、クラスタ結合部24は、作成された各クラスタの構成点数を算出し、算出された構成点数が多い順にクラスタのインデックス値を振り直す。すなわち、クラスタ結合部24は、構成点数が最も多いクラスタのインデックス値を「1」に設定し、構成点数が少なくなるにしたがってインデックス値が増加するように、各クラスタのインデックス値を設定する。次に、構成点数が最も多いクラスタを基点として、かかる基点から予め定められた方向にインデックス値の順に各クラスタを並び替える。したがって、本実施形態では、結合の対象となるクラスタが、予め定められた方向に沿って順に選択される。上述の「予め定められた方向」は、時計回りの方向に設定されている。なお、予め定められた方向は、時計回りに限らず、他の任意の方向に設定されていてもよい。
クラスタ結合部24は、フラグLoopの値を「1」に設定する(ステップS303)。後述するように、フラグLoopが「1」である場合、比較的大きなクラスタを対象に結合可否が判定され、フラグLoopが「2」である場合には、比較的小さなクラスタを対象に結合可否が判定される。
上述のステップS305およびステップS310の実行後、クラスタ結合部24は、或る一のクラスタCkと他の一のクラスタCmとが異なるクラスタであり、かつ、クラスタCkとクラスタCmとの距離が閾値以下であるか否かを判定する(ステップS315a)。具体的には、クラスタ結合部24は、まず、インデックス値kおよびmの値が一致するか否かを判定する。次に、クラスタ結合部24は、クラスタCkとクラスタCmとの間の距離を算出し、算出された距離が閾値以下であるか否かを判定する。「クラスタCkとクラスタCmとの間の距離」とは、互いのクラスタに対する最近傍の点の間の距離を意味する。なお、クラスタCkとクラスタCmとの間の距離は、クラスタCkおよびクラスタCmの各重心位置との間の距離としてもよい。
クラスタCkとクラスタCmとが異なるクラスタであり、かつ、クラスタCkとクラスタCmとの距離が閾値以下であると判定された場合(ステップS315a:YES)、クラスタ結合部24は、クラスタCkの構成点数とクラスタCmの構成点数とがいずれも予め定められた構成点数閾値以上であるか否かを判定する(ステップS316)。本実施形態において、「予め定められた構成点数閾値」は、10点を意味する。なお、構成点数閾値は、10点に代えて、5点としてもよいし、他の任意の点数としてもよい。また、物体認識装置10からの距離に応じて、構成点数閾値を変化させてもよい。この場合、例えば、物体認識装置10からの距離が長くなるにしたがって、構成点数が少なくなるように閾値を設定してもよい。また、物体認識装置10からの距離に代えて、天候、外乱光の強さといった車両100の周囲の環境や、分解能θ1に応じて、構成点数閾値を変化させてもよい。また、物体認識装置10からの距離と、車両100の周囲の環境と、分解能θ1とに応じて、構成点数閾値を変化させてもよい。
クラスタCkの構成点数とクラスタCmの構成点数とがいずれも構成点数閾値以上であると判定された場合(ステップS316:YES)、クラスタ結合部24は、フラグLoopの値が「1」であるか否かを判定する(ステップS318)。他方、クラスタCkの構成点数とクラスタCmの構成点数とのうちのいずれか一方が構成点数閾値より小さいと判定された場合(ステップS316:NO)、クラスタ結合部24は、フラグLoopの値が「2」であるか否かを判定する(ステップS317)。
上述のステップS317においてフラグLoopの値が「2」であると判定された場合(ステップS317:YES)、または、上述のステップS318においてフラグLoopの値が「1」であると判定された場合(ステップS318:YES)、クラスタ結合部24は、クラスタCkとクラスタCmとのうち、構成点数の多いクラスタを基準クラスタとし、一部の範囲の構成点を抽出する(ステップS319)。具体的には、クラスタ結合部24は、各クラスタCkおよびCmの構成点数を比較し、構成点数がより多いクラスタを基準クラスタに設定する。次に、クラスタ結合部24は、基準クラスタにおける予め定められた範囲内の構成点を抽出する。
本実施形態において、基準クラスタから一部の範囲の構成点を抽出するのは、比較している2つのクラスタCkおよびCmの分散比を精度よく算出するためである。すなわち、比較している2つのクラスタCkおよびCmの構成点数の差が大きい場合、構成点数が多いクラスタの分散値と構成点数が少ないクラスタの分散値との乖離が大きくなり、分散比を算出する際、構成点数が少ないクラスタの分散値が分散比に寄与しないおそれがある。このため、本実施形態では、基準クラスタから一部の範囲の構成点を抽出することによって、分散比を精度よく算出できる。この結果、クラスタが過剰に結合されることを抑制できる。ステップS319において、「予め定められた範囲」とは、クラスタCkおよびCmのうち基準クラスタではない他方のクラスタ(以下、「対象クラスタ」と呼ぶ)の重心位置を中心とする所定の半径の円によって囲まれる領域を意味する。なお、予め定められた範囲は、各クラスタCkおよびCmの構成点数に応じて他の任意の範囲が設定されていてもよい。
クラスタ結合部24は、抽出された点群により構成されるクラスタ(以下、「抽出クラスタ」と呼ぶ)Cpを主成分分析し(ステップS320b)、抽出クラスタCpの各主成分軸における分散を算出する(ステップS325b)。ステップS320bおよびステップS325bの処理手順は、上述のステップS320およびステップS325と同じであるので、詳細な説明は省略する。なお、以降の説明では、抽出クラスタCpの各主成分軸を抽出主成分軸AXp1、AXp2およびAXp3と呼ぶ。
クラスタ結合部24は、抽出クラスタCpと対象クラスタとを仮結合した仮結合クラスタCcnを主成分分析し(ステップS330a)、各主成分軸における分散を算出する(ステップS335)。ステップS330aの処理手順は、上述のステップS330と同じであるので、詳細な説明は省略する。
上述のステップS335が実行されると、クラスタ結合部24は、各抽出主成分軸AXp1、AXp2およびAXp3と、仮結合主成分軸AXcn1、AXcn2およびAXcn3とで傾きが近い主成分軸同士をペアリングする(ステップS340a)。ステップS340aの処理内容は、上述のステップS340と同じであるので、詳細な説明は省略する。
各ペアにおける分散比が閾値より大きいと判定された場合(ステップS350:NO)、クラスタ結合部24は、第3主成分軸AXk3、AXm3における座標の最大値と最小値との差が閾値以下であるか否かを判定する(ステップS351)。具体的には、クラスタ結合部24は、各第3主成分軸AXk3およびAXm3において、座標が最大となる点、および最小となる点をそれぞれ特定し、最大値と最小値との差を算出する。例えば、図13に示すように、第3主成分軸AXk3における座標の最大値と最小値との差は、クラスタCkの面の厚みd1となる。次に、クラスタ結合部24は、算出した各差がいずれも閾値以下であるか否かを判定する。算出した各差、すなわち、各クラスタCk、Cmの面の厚みが所定の閾値以下であれば、クラスタCkおよびCmが連続した面を構成するクラスタであると判定できる。第3主成分軸AXk3、AXm3の座標の最大値と最小値との差が閾値以下であると判定された場合(ステップS351:YES)、上述のステップS355が実行される。
上述のステップS350において各ペアにおける分散比が閾値以下であると判定された場合(ステップS350:YES)、クラスタ結合部24は、クラスタCkとクラスタCmとを結合する(ステップS360a)。
上述のステップS360aの実行後、または、上述のステップS351において第3主成分軸AXk3、AXm3の座標の最大値と最小値との差が閾値より大きいと判定された場合(ステップS351:NO)、または、上述のステップS315aにおいてクラスタCkとクラスタCmとが同じクラスタである、あるいはクラスタCkとクラスタCmとの距離が閾値より大きいと判定された場合(ステップS315a:NO)、または、上述のステップS317においてフラグLoopが「2」でないと判定された場合(ステップS317:NO)、または、上述のステップS318においてフラグLoopが「1」でないと判定された場合(ステップS318:NO)、上述のステップS365が実行される。
上述のステップS370においてインデックス値kがクラスタ数に達している場合(ステップS370:YES)、クラスタ結合部24は、フラグLoopの値が「2」であるか否かを判定する(ステップS385)。フラグLoopの値が「2」でない場合(ステップS385:NO)、クラスタ結合部24は、フラグLoopの値に「1」を加算する(ステップS390)。ステップS390の実行後、上述のステップS305が実行される。他方、上述のステップS385において、フラグLoopの値が「2」である場合(ステップS385:YES)には、クラスタ結合処理は終了する。
以上の構成を有する第3実施形態の物体認識装置10によれば、第1実施形態と同様な効果を奏する。加えて、基準クラスタは、一のクラスタと他の一のクラスタとのうち、構成点の数がより多いクラスタCkであり、クラスタ結合部24は、基準クラスタCkの一部の範囲の構成点を抽出し、抽出された構成点からなる抽出クラスタの特徴量と、一のクラスタと他の一のクラスタとのうち基準クラスタとは異なるクラスタCmの特徴量とを用いて、一のクラスタと他の一のクラスタとを結合するか否かを判定するので、一のクラスタと他の一のクラスタとで構成点の数に大きな乖離がある場合であっても、特徴量を精度よく検出できる。このため、一のクラスタと他の一のクラスタとの結合可否を容易に判定できる。
また、特徴量は、基準クラスタCkの第3主成分軸AXk3と対象クラスタCmの第3主成分軸AXm3における最大値と最小値との差なので、クラスタCkおよびCmが連続した面を構成するクラスタであるか否かを容易に判定できる。この結果、壁等の面で構成される物体のクラスタと、歩行者や車両等の物体のクラスタとが結合されることを抑制できる。加えて、クラスタ結合部24は、クラスタ間の距離が予め定められた距離以下である場合にのみ、クラスタ結合処理を実行するので、離れた位置に存在するクラスタ同士が結合されることを抑制できる。
加えて、クラスタ結合部24は、構成点の数が最も多いクラスタを基点とし、該基点のクラスタから予め定められた方向に構成点の数が多い順に各クラスタを並び替え、基点のクラスタと結合する対象のクラスタを予め定められた方向に沿って選択するので、構成点の数が多いクラスタから順にクラスタの結合可否を判定できる。このため、構成点の数が小さいクラスタから順にクラスタの結合可否を判定する構成に比べて、クラスタの結合可否の判定に要する処理負荷を低減できる。
また、クラスタ結合部24は、各クラスタのうち、構成点の数が予め定められた構成点数閾値以上であるクラスタのみを対象にクラスタ結合処理を実行するので、構成点の数が予め定められた構成点数閾値よりも小さいクラスタ同士が結合されていくことによって全てのクラスタが結合されることを抑制できる。また、クラスタ結合部24は、各クラスタのうち、構成点の数が予め定められた構成点数閾値以上であるクラスタの結合処理を実行した後、結合処理を実行していない残りのクラスタの結合処理を実行するので、結合処理の対象となるクラスタの取りこぼしの発生を抑制できる。また、クラスタ結合部24は、物体認識装置10からの距離に応じて構成点数閾値を変化させるので、測距点の検出誤差が生じた場合であっても、クラスタの大きさを精度よく判定できる。
D.他の実施形態:
(1)上記各実施形態においては、クラスタ作成処理において、点Piとは異なる全ての測距点を対象にクラスタの作成等の処理(ステップS220〜ステップS255)が実行されていたが、点Piから所定の矩形範囲内に存在する測距点のみを対象として、ステップS220〜ステップS255の処理を実行してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
(2)上記各実施形態においては、クラスタの結合可否の判定に用いる特徴量は、基準クラスタCkにおける分散と仮結合クラスタCcnにおける分散との比(分散の変化率)に代えて、基準クラスタCkにおける分散と仮結合クラスタCcnにおける分散との差(分散の変化量)であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
(3)上記各実施形態においては、基準クラスタCkおよび仮結合クラスタCcnを主成分分析する際に3つの主成分軸(第1主成分軸、第2主成分軸および第3主成分軸)を算出していたが、第3主成分軸の算出を省略してもよいし、第3主成分軸に加えて第2主成分軸の算出を省略してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
(4)上記各実施形態において、クラスタの結合可否の判定に用いる特徴量は、主成分分析により得られる分散に代えて、標準偏差であってもよいし、反射強度であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
(5)上記第2実施形態においては、基準クラスタCkは、一のクラスタと他の一のクラスタとのうち、構成点数がより大きなクラスタであったが、クラスタの体積がより大きなクラスタを基準クラスタとしてもよい。また、点群が2次元座標で取得される構成においては、クラスタの面積がより大きなクラスタを基準クラスタとしてもよい。また、クラスタの一辺の長さがより長いクラスタを基準クラスタとしてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
(6)上記第3実施形態においては、ステップS316において、クラスタCkおよびCmの構成点数が構成点数閾値以上であるか否かを判定していたが、構成点数に代えて、クラスタCkおよびCmの大きさが予め定められた大きさ閾値以上であるか否かを判定してもよい。クラスタの大きさとしては、クラスタの一辺の長さ、クラスタの体積、あるいはクラスタの面積を採用できる。例えば、各座標軸における最大値と最小値との差を算出し、算出された各差がいずれも20センチメートル以上であるか否かを判定してもよい。また、例えば、点群が3次元座標で取得される構成においては、クラスタの体積を算出し、算出された体積が大きさ閾値以上であるか否かを判定してもよい。また、例えば、点群が2次元座標で取得される構成においては、クラスタの面積を算出し、算出された面積が大きさ閾値以上であるか否かを判定してもよい。なお、ステップS316の判定に大きさ閾値を用いる構成においても、構成点数閾値と同様に、物体認識装置10からの距離と、天候、外乱光の強さといった車両100の周囲の環境と、分解能θ1と、のうちの少なくとも1つを用いて、大きさ閾値を変化させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
(7)上記各実施形態においては、物体認識装置10は、LiDARにより構成されていたが、LiDARに代えて、単眼カメラや、ステレオカメラ等の撮像装置や、点群を取得可能な他の任意のセンサにより構成されていてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。
上記各実施形態において、ソフトウェアによって実現された機能及び処理の一部又は全部は、ハードウェアによって実現されてもよい。また、ハードウェアによって実現された機能及び処理の一部又は全部は、ソフトウェアによって実現されてもよい。ハードウェアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。すなわち、「コンピュータ読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。