以下、図面を参照しつつ本発明の実施の形態について説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
[第1の実施の形態]
{1.画像表示システム100の構成}
図1は、本発明の第1の実施の形態に係る画像表示システム100の構成を示す機能ブロック図である。
図1を参照して、画像表示システム100は、自動車等の車両に搭載される。画像表示システム100は、4台のカメラ5により撮影された4つのフレーム51のうち少なくとも2つを合成した合成フレーム60を、表示装置2に表示する。車両の運転者は、画像表示システム100を利用することにより、車両の周辺の様子をほぼリアルタイムに把握することができる。
画像表示システム100は、画像処理装置1と、表示装置2と、車速センサ3と、舵角センサ4と、4台のカメラ5とを備える。
画像処理装置1は、4台のカメラ5により撮影された4つのフレームの少なくとも2つから、合成フレーム60を生成する。画像処理装置1は、その生成した合成フレーム60を表示装置2に出力する。
表示装置2は、液晶ディスプレイ等の薄型の表示装置である。表示装置2は、画像処理装置1から合成フレーム60を受け、その受けた合成フレーム60を表示する。表示装置2は、車両の車室内において、運転者に見やすい位置に設置される。
車速センサ3は、車両の車速を検出し、その検出した車速を画像処理装置1に供給する。舵角センサ4は、車両の前輪舵角を検出し、その検出した前輪舵角を画像処理装置1に供給する。
4台のカメラ5は、レンズと撮像素子とを備える。4台のカメラ5は、車両の周辺を撮影して、複数のフレームを含む動画像を生成する。4台のカメラ5は、生成される動画像をフレーム単位で画像処理装置1に供給する。
4台のカメラ5は、具体的には、フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び右サイドカメラ5Rである。フロントカメラ5Fは、車両の前方の景色を撮影して前方フレーム51Fを生成し、その生成した前方フレーム51Fを画像処理装置1に供給する。リアカメラ5Bは、車両の後方の景色を撮影して後方フレーム51Bを生成し、その生成した後方フレーム51Bを画像処理装置1に供給する。左サイドカメラ5Lは、車両の左サイド方向の景色を撮影して左方フレーム51Lを生成し、その生成した左方フレーム51Lを画像処理装置1に供給する。右サイドカメラ5Rは、車両の右サイド方向の景色を撮影して右方フレーム51Rを生成し、その生成した右方フレーム51Rを画像処理装置1に供給する。
以下の説明において、前方フレーム51F、後方フレーム51B、左方フレーム51L、及び右方フレーム51Rを総称する場合、「フレーム51」と記載する。
図2は、4台のカメラ5の配置を示す図である。図2を参照して、フロントカメラ5Fは、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸5Faは車両9の直進方向に向けられている。リアカメラ5Bは、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸5Baは車両9の直進方向の逆方向に向けられている。これらフロントカメラ5F及びリアカメラ5Bの取付位置は、車両9の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
左サイドカメラ5Lは左のドアミラー93に設けられ、その光軸5Laは車両9の左右方向(直進方向に直交する方向)に沿って車両9の左方に向けられている。一方、右サイドカメラ5Rは右のドアミラー93に設けられ、その光軸5Raは車両9の左右方向に沿って車両9の右方に向けられている。
これら4台のカメラ5のレンズは、魚眼レンズなどが採用されており、4台のカメラ5は、180度以上の画角αを有している。このため、4台のカメラ5を利用することで、車両9の全周囲の撮影が可能となっている。
図3は、4台のカメラ5の撮影領域を模式的に示す図である。図3を参照して、各カメラの撮影領域を模式的に半楕円形状で示している。このため、図3に示す各カメラの撮影領域は、各カメラの実際の撮影領域を正確に反映したものではない。
図3において、2台のカメラの撮影領域が重複している領域をハッチングで示している。重複領域61は、フロントカメラ5Fの撮影領域52Fの一部と、左サイドカメラ5Lの撮影領域52Lの一部とが重複した領域である。重複領域62は、左サイドカメラ5Lの撮影領域52Lの一部と、リアカメラ5Bの撮影領域52Bの一部とが重複した領域である。重複領域63は、リアカメラ5Bの撮影領域52Bの一部と、右サイドカメラ5Rの撮影領域52Rの一部とが重複した領域である。重複領域64は、右サイドカメラ5Rの撮影領域52Rの一部と、フロントカメラ5Fの撮影領域52Fの一部とが重複した領域である。
{2.画像処理装置1の構成}
再び、図1を参照して、画像処理装置1の構成を説明する。画像処理装置1は、画像取得部11と、検出部12と、判定部13と、領域設定部14と、画像補正部15と、画像合成部16と、信号取得部17と、カメラ選択部18とを備える。
(画像取得部11)
画像取得部11は、4台のカメラ5からフレーム51を取得する。具体的には、画像取得部11は、前方フレーム51Fと、後方フレーム51Bと、左方フレーム51Lと、右方フレーム51Rとを取得する。
また、画像取得部11は、カメラ選択部18から供給されるカメラ選択データ32を取得し、その取得したカメラ選択データ32に基づいて、4台のカメラ5中から2台のカメラを選択する。選択される2台のカメラの撮影領域の一部は、重複している。カメラ選択データ32の詳細については後述する。なお、以下の説明において、2台のカメラの一方を「第1カメラ」と、他方のカメラを「第2カメラ」と記載する場合がある。
画像取得部11は、選択された2台のカメラにより撮影された2つのフレームを抽出し、その抽出した2つのフレームを検出部12に出力する。以下の説明において、画像取得部11により抽出される2つのフレームのうち、第1カメラにより撮影されたフレームを「第1フレーム」と、第2カメラにより撮影されたフレームを「第2フレーム」と記載する場合がある。
(検出部12)
検出部12は、画像取得部11から2つのフレームを受け、その受けた2つのフレームから物体を検出する。すなわち、検出部12は、第1フレームから物体を検出し、第2フレームから物体を検出する。以下の説明において、第1フレームから検出された物体を「第1物体」と、第2フレームから検出された物体を「第2物体」と記載する場合がある。
例えば、検出部12は、機械学習による識別器を用いて、人物、自動車、自転車、カラーコーン等を検出する。この場合、検出部12は、人物、自動車、自転車、カラーコーンの各々を検出するために最適化された複数の識別器を有する。AdaBoost識別器、多層パーセプトロン、サポートベクターマシンを各識別器として使用することができる。なお、各識別器で採用されるアルゴリズムは、上記に限定されない。
検出部12は、第1フレームから第1物体を検出した場合、第1物体に対応する検出データ31を生成し、生成した検出データ31を判定部13に供給する。検出部12は、第2フレームから第2物体を検出した場合、第2物体に対応する検出データ31を生成し、生成した検出データ31を判定部13に供給する。検出データ31は、検出物体ごとに生成される。検出データ31は、検出物体のIDと、検出物体の種別と、検出物体がフレームにおいて検出された領域を示すデータとを少なくとも含む。
(判定部13)
判定部13は、検出部12から受けた検出データ31に基づいて、第1物体と第2物体とが同一物体であるか否かを判定する。判定部13は、第1物体と第2物体とが同一物体であると判定した場合、第1物体及び第2物体に対応する検出データ31を領域設定部14に出力する。
図4は、判定部13の構成を示す機能ブロック図である。図4を参照して、判定部13は、位置特定部131と、位置判定部132と、種別判定部133と、最終判定部134と、記憶部135を備える。
位置特定部131は、第1物体及び第2物体の各々に対応する検出データ31を検出部12から受ける。位置特定部131は、その受けた検出データ31に基づいて、所定の座標系における第1物体の位置及び第2物体の位置を特定する。位置特定部131は、第1物体の所定の座標系における位置を、第1物体に対応する検出データ31に追加する。位置特定部131は、第2物体の所定の座標系における位置を、第2物体に対応する検出データ31に追加する。所定の座標系については、後述する。
位置判定部132は、所定の座標系における位置が追加された検出データ31を、位置特定部131から受ける。位置判定部132は、位置特定部131により特定された第1物体の位置及び第2物体の位置に基づいて、第1物体と第2物体とが同一物体であるか否かを判断する。
種別判定部133は、第1物体及び第2物体に対応する検出データ31を検出部12から受ける。種別判定部133は、その受けた検出データ31に記録された検出物体の種別に基づいて、第1物体と第2物体とが同一物体であるか否かを判定する。所定の座標系における第1物体及び第2物体の位置の比較に加えて、第1物体の種別を第2物体の種別と比較することで、第1物体と第2物体が同一物体であるか否かを判定する精度を、さらに向上させることができる。
最終判定部134は、位置判定部132及び種別判定部133の判定結果に基づいて、第1物体と第2物体とが同一物体であるか否かを最終的に判定する。具体的には、位置判定部132及び種別判定部133の両者が、第1物体と第2物体とが同一物体であると判定した場合、最終判定部134は、第1物体と第2物体とが同一物体であるとの最終判定を行う。位置判定部132及び種別判定部133の少なくとも一方が第1物体と第2物体とが異なる物体であると判定した場合、最終判定部134は、第1物体と第2物体とが同一物体でないとの最終判定を行う。最終判定部134は、第1物体と第2物体とが同一物体であると最終判定した場合、位置特定部131から受けた検出データ31を領域設定部14に出力する。
記憶部135は、書き換え可能な記憶装置であり、履歴データ35を記憶する。記憶部135は、例えば、RAM(Read Only Memory)等の揮発性記憶装置、あるいはフラッシュメモリ等の不揮発性記憶装置である。履歴データ35は、検出部12により検出された物体の位置の履歴を記録する。履歴データ35に記録される位置は、所定の座標系に対応する。
(領域設定部14)
領域設定部14は、第1物体及び第2物体に対応する検出データ31を判定部13から受けた場合、その受けた検出データ31に基づいて、第1フレーム及び第2フレームに対して、色味抽出領域を設定する。
第1フレームに設定される色味抽出領域は、第1物体が検出された第1フレームの領域に基づいて設定される。第2フレームに設定される色味抽出領域は、第2物体が検出された第2フレームの領域に基づいて設定される。
(画像補正部15)
画像補正部15は、第1フレーム及び第2フレームに設定された色味抽出領域を領域設定部14から受け、第1フレーム及び第2フレームを画像取得部11から受ける。画像補正部15は、第1フレームで設定された色味抽出領域における色味と、第2フレームで設定された色味抽出領域における色味とに基づいて、第2フレームを補正する。なお、画像補正部15は、第1フレーム及び第2フレームの少なくとも一方の色味を補正すればよい。
(画像合成部16)
画像合成部16は、第1フレームと、色味が補正された第2フレームを画像補正部15から受ける。画像合成部16は、その受けた第1フレームと第2フレームとを合成して合成フレーム60を生成し、生成した合成フレーム60を表示装置2に出力する。なお、第1フレーム及び第2フレームの両者の色味が補正された場合、画像合成部16は、色味が補正された第1フレーム及び第2フレームを合成する。
(信号取得部17)
信号取得部17は、車速センサ3から車両9の車速を示す車速信号を定期的に取得し、取得した車速信号をカメラ選択部18に出力する。信号取得部17は、舵角センサ4から車両9の前輪舵角を示す舵角信号を定期的に取得し、取得した舵角信号をカメラ選択部18に出力する。
(カメラ選択部18)
カメラ選択部18は、信号取得部17から受けた車速信号及び舵角信号に基づいて、カメラ選択データ32を生成する。具体的には、カメラ選択部18は、4台のカメラ5の中から、物体検出の対象となる2台のカメラを選択し、選択した2台のカメラを示すデータをカメラ選択データ32として生成する。
{3.色味調整処理の概略}
(色味調整処理の必要性)
図5は、4台のカメラ5により撮影されるフレーム51の一例を示す図である。図5を参照して、人物41が前方フレーム51F及び右方フレーム51Rに映っている。人物41Fは、前方フレーム51Fに映っている人物41であり、人物41Rは、右方フレーム51Rに映っている人物41である。
人物41Fと人物41Rとが同一人物であるにも関わらず、人物41Fと人物41Rとは、異なる色味で表現される場合がある。例としては、フロントカメラ5Fの機種と、右サイドカメラ5Rの機種とが異なる場合などが挙げられる。
2つのフレームを合成する場合、2つのフレームの境界を目立たなくするために、各フレームの色温度を変化させるホワイトバランスの調整が行われる。色温度の変化は、フレームの全領域にわたって行われる。つまり、ホワイトバランスの調整は、2つのフレームにおける特定の色(例えば、黄色)の色味を一致させる処理ではない。
従って、前方フレーム51F及び右方フレーム51Rのホワイトバランスを一致させてから、右方フレーム51Rを前方フレーム51Fと合成したとしても、合成フレーム60における前方フレーム51Fの領域と、合成フレーム60における右方フレーム51Rの領域とで、特定の色が異なる色味で表現されるという現象が生じる。
人物41が、合成フレーム60における前方フレーム51Fと右方フレーム51Rとの境界を横切るように移動した場合、合成フレーム60における人物41の色は、人物41が境界を通過する時に変化する。車両9の運転者は、人物41の色が合成フレーム60の特定の領域で変化するため、違和感を覚える。
そこで、画像処理装置1は、第1フレーム及び第2フレームの2つのフレームを合成する際に、2つのフレームから物体を検出し、2つのフレームから検出された2つの物体が同じであるか否かを判断する。第1フレーム及び第2フレームは、撮影領域が重複する2台のカメラにより生成される。検出された2つの物体が同じである場合、画像処理装置1は、各フレームで物体が検出された領域を色味抽出領域に設定し、各フレームに設定された色味抽出領域の色味に基づいて、第2フレームの色味を調整する。これにより、物体が合成フレームにおける2つのフレームの境界を通過する際に生じる物体の色味の変化を抑制できるため、合成フレームに対する運転手の違和感を抑制することができる。
{4.画像処理装置1の動作}
図6は、図1に示す画像処理装置1の動作を示すフローチャートである。図6を参照しながら、画像処理装置1の動作について説明する。例えば、画像処理装置1は、車両9が停止状態から動き出した場合、図6に示す処理を開始して、合成フレーム60をリアルタイムに表示装置2に出力する。
{4.1.カメラの選択}
最初に、カメラ選択部18が、4台のカメラ5の中から、2台のカメラを選択する(ステップS11)。具体的には、信号取得部17は、車速信号を車速センサ3から定期的に取得し、舵角信号を舵角センサ4から定期的に取得する。信号取得部17は、車速信号及び舵角信号を取得するたびに、その取得した車速信号及び舵角信号をカメラ選択部18に出力する。
カメラ選択部18は、信号取得部17から受けた車速信号に基づいて、車両9の進行方向及び速さを特定する。車両9の速さは、合成フレーム60を生成するか否かを判定するために用いられる。具体的には、車両9が所定値以下の速さで走行している場合、カメラ選択部18は、合成フレーム60を生成することを決定する。車両9の進行方向は、車両9が前進しているか後進しているかを示しており、フロントカメラ5F及びリアカメラ5Bのうちいずれ一方を選択するために用いられる。車両9が前進している場合、フロントカメラ5Fが選択される。車両9が後進している場合、リアカメラ5Bが選択される。
カメラ選択部18は、信号取得部17から受けた舵角信号に基づいて、車両9の前輪舵角を特定する。車両9の前輪舵角は、左サイドカメラ5L及び右サイドカメラ5Rのうちいずれ一方を選択するために用いられる。前輪が直進方向を基準として時計回りに回転している場合、右サイドカメラ5Rが選択される。前輪が反時計回りに旋回している場合、左サイドカメラ5Lが選択される。
つまり、カメラ選択部18は、車両9の挙動に基づいて2台のカメラを選択する。例えば、後退駐車している車両9の出庫時において、車両9が右折する場合を想定する。この場合、カメラ選択部18は、車両9の右前方の映像を表示装置2に表示させるために、フロントカメラ5F及び右サイドカメラ5Rを選択する。前方フレーム51Fと右方フレーム51Rとが合成された合成フレーム60が表示装置2に表示されるため、運転者は、車両9の進行方向である右前方の様子を容易に確認できる。
{4.2.物体検出}
カメラ選択部18は、ステップS11で選択した2台のカメラを示すカメラ選択データ32を生成し、生成したカメラ選択データ32を検出部12に供給する。検出部12は、カメラ選択部18から受けたカメラ選択データ32に基づいて、ステップS11で選択された2台のカメラにより撮影された2つのフレームを画像取得部11から取得する(ステップS12)。
ステップS12で取得される2つのフレームは、検出タイミングに設定された一の時刻(時刻t)に撮影されたフレームである。なお、2つのフレームの一方(第1フレーム)の撮影時刻と他方(第2フレーム)の撮影時刻とが完全に一致していなくてもよい。検出部12は、画像取得部11が取得した第1フレームのうち、時刻tに最も近い時刻に撮影された第1フレームを取得すればよい。時刻tに撮影された第2フレームの取得についても同様である。
検出部12は、ステップS12で取得した2つのフレームに対して物体検出処理を行う(ステップS13)。検出部12が複数種類の物体を検出する場合、検出部12は、物体の種類に応じて、物体検出アルゴリズムを使い分けてもよい。検出部12は、検出データ31を検出物体ごとに生成する。つまり、検出部12は、第1フレーム及び第2フレームの各々から物体を1つずつ検出した場合、2つの検出データ31を生成する。
図7は、検出部12により生成される検出データ31の一例を示す図である。図7を参照して、検出データ31は、フレーム識別番号、仮ID、検出時刻、窓位置、窓サイズ、種別、及び車両座標系における検出位置を記録する。車両座標系については後述する。
フレーム識別番号は、各カメラにより撮影されたフレームを一意に特定するために、フレームごとに付与される。フレーム識別番号を参照することにより、物体が検出されたフレーム、そのフレームを撮影したカメラを特定できる。仮IDは、検出物体に割り当てられる一時的な識別番号である。検出時刻は、検出タイミングに設定された時刻tである。窓位置及び窓サイズは、物体検出時にフレームに設定されていた窓の中心位置及び窓のサイズを示す。種別は、検出物体の種類を示す。検出位置は、時刻t(検出時刻)における検出物体の車両座標系での位置を示す。なお、検出位置は、位置特定部131によって特定されるため、検出データ31が生成された時点で検出データ31に記録されない。
{4.3.位置特定}
判定部13において、位置特定部131は、検出部12から検出データ31を受けた場合、その受けた検出データ31に記録されている検出物体の車両座標系における位置を特定する(ステップS14)。
図2を参照して、車両座標系を説明する。車両座標系は、車両9の車両中心Oを原点とした2次元座標である。車両中心Oは、例えば、車両9の重心である。車両座標系において、X軸は、車両の直進方向に平行であり、かつ、車両中心Oを通過する直線である。Y軸は、車両の左右方向に平行であり、かつ、車両中心Oを通過する直線である。なお、車両中心Oを、フロントカメラ5Fとリアカメラ5Bとを結ぶ直線と、左サイドカメラ5Lと右サイドカメラ5Rとを結ぶ直線との交点に設定してもよい。
位置特定部131は、検出データ31に記録されている窓位置及び窓サイズに基づいて、車両座標系における検出物体の位置を特定する。車両座標系における検出物体の位置を特定する方法は、既知であるため、その詳細な説明を省略する。位置特定部131は、特定した検出物体の車両座標系における位置を、検出位置として検出データ31に追加する。図7を参照して、ステップS14を実行することにより、検出位置が検出データ31に記録されていることが分かる。
{4.4.同一判定方法の決定}
位置判定部132は、検出位置が追加された検出データ31を位置特定部131から受ける。位置判定部132は、位置特定部131から受けた検出データ31に基づいて、時刻tにおける2つのフレームから物体が検出されたか否かを判定する(ステップS15)。
位置判定部132は、時刻tにおける第1フレームから検出された第1物体の検出データ31と、時刻tにおける第2フレームから検出された第2物体の検出データ31とを受けた場合、時刻tにおける2つのフレームから物体が検出されたと判定する(ステップS15においてYes)。この場合、位置判定部132は、時刻tの検出位置を用いた同一判定を実行する(ステップS16)。ステップS16については後述する。
一方、2つのフレームの少なくとも一方から物体が検出されなかった場合(ステップS15においてNo)、位置判定部132は、予測位置を用いた同一判定を実行する(ステップS23)。ステップS23については後述する。
{4.5.時刻tの検出位置に基づく同一判定}
時刻tにおける2つのフレームから物体が検出されている場合(ステップS15においてYes)、位置判定部132は、時刻tの検出位置に基づく同一判定を実行する(ステップS16)。
図8は、時刻tの検出位置に基づく同一判定(ステップS16)のフローチャートである。図9は、前方フレーム51Fから検出された物体と、右方フレーム51Rから検出された物体との位置関係の一例を示す図である。図9に示す座標系は、車両座標系である。図8及び図9を参照しながら、ステップS16を詳しく説明する。
位置判定部132は、第1物体と第2物体とが同一物体であるための第1条件が満たされるか否かを判定する(ステップS161)。第1条件は、時刻tにおいて、第1物体及び第2物体の両者が重複領域内にあることである。重複領域は、第1カメラの撮影領域と第2カメラの撮影領域とが重複する領域であり、車両座標系において定義される。
時刻tにおいて、第1物体及び第2物体の両者が重複領域内にある場合、位置判定部132は、第1条件が満たされていると判断する。図9に示す例において、前方フレーム51Fから検出された物体DF1が位置P12に存在し、右方フレーム51Rから検出された物体DR1が位置P13に存在すると仮定する。この場合、物体DF1及び物体DR1は重複領域64内に存在する。フロントカメラ5F及び右サイドカメラ5Rの両者は、重複領域64を撮影できる。位置P12にある物体DF1と、位置P13にある物体DR1とは、同一物体の可能性があるため、第1条件を満たす。
一方、時刻tにおいて、第1物体及び第2物体の少なくとも一方が、重複領域外にある場合、位置判定部132は、第1条件が満たされていないと判断する。図9に示す例において、物体DF1が位置P11に存在し、物体DR1が位置P13に存在すると仮定する。この場合、右サイドカメラ5Rは、位置P11にある物体DF1を撮影することができない。位置P11にある物体DF1と、位置P13にある物体DR1とは、異なる物体であるため、第1条件を満たさない。
ステップS161の後に、位置判定部132は、時刻tにおける第1物体から第2物体までの距離を算出する(ステップS162)。
位置判定部132は、第1物体と第2物体とが同一物体であるための第2条件が満たされるか否かを判定する(ステップS163)。第2条件は、ステップS162で算出した距離が所定の距離以下であることである。所定の距離は、例えば、検出物体の車両座標系における位置について想定される最大誤差に基づいて決定される。第1物体の車両座標系における位置の誤差の最大範囲と、第2物体の車両座標系における位置の誤差の最大範囲とが重ならない場合、第1物体と第2物体とが同一物体である可能性は低いと考えられるためである。
図9に示す例では、物体DF1が位置P12にあり、物体DR1が位置P13にある場合、位置判定部132は、位置P12から位置P13までの距離D1を算出する。距離D1が所定の距離以下である場合、位置特定部131は、第2条件が満たされていると判定する。
次に、種別判定部133が、第1物体と第2物体とが同一物体であるための第3条件が満たされるか否かを判定する(ステップS164)。第3条件は、時刻tにおいて、第1物体の種別と第2物体の種別とが一致することである。種別判定部133は、検出部12から取得した検出データ31に記録された種別を比較して、第3条件が満たされているか否かを判定する。例えば、図9に示す物体DF1の種別と物体DR1の種別とがともに人物である場合、種別判定部133は、第3条件が満たされていると判定する。
最終判定部134は、位置判定部132による判定結果と、種別判定部133による判定結果とに基づいて、時刻tにおける第1物体と第2物体とが同一物体であるか否かの最終判定を行う(ステップS165)。具体的には、第1〜第3条件の全てが満たされている場合、最終判定部134は、時刻tにおいて、第1物体と第2物体とが同一物体であると最終的に決定する。第1〜第3条件の少なくとも1つが満たされていない場合、最終判定部134は、時刻tにおいて、第1物体と第2物体とが異なる物体であると最終的に決定する。
最終判定部134は、時刻tにおいて、第1物体と第2物体とが同一物体であると決定した場合、検出位置が追加された第1物体及び第2物体の検出データ31を、領域設定部14に出力する。
{4.6.予測位置に基づく同一判定}
再び、図6を参照する。時刻tにおける第1フレーム及び第2フレームの少なくとも一方から物体が検出されなかった場合(ステップS15においてNo)、判定部13は、予測位置を用いた同一判定を実行する(ステップS23)。
予測位置を用いた同一判定(ステップS23)の説明では、第1フレームが前方フレーム51Fであり、第2フレームが右方フレーム51Rである場合を例に説明する。
図10は、前方フレーム51Fから検出された物体と、右方フレーム51Rから検出された物体との位置関係の他の例を示す図である。図10において、物体DF2は、前方フレーム51Fから検出される。物体DR2は、右方フレーム51Rから検出される。図10に示す座標系は、車両座標系である。
物体DR1、DR2について以下のように想定する。物体DR1は、時刻t−1の前方フレーム51Fから検出されず、時刻tの前方フレーム51Fから新たに検出される。物体DR2は、時刻t−1の右方フレーム51Rから検出され、時刻tの右方フレーム51Rから検出されない。ここで、時刻t−1は、時刻tの直前に設定された検出タイミングである。つまり、物体DF2は、一の時刻(時刻t)において第1フレームから検出された第1物体に対応し、物体DR2は、時刻tよりも前の時刻(時刻t−1)において第2フレームから検出された第2物体に対応する。
これらの想定の下において、位置判定部132は、時刻tにおける物体DF1の検出位置と、時刻tにおける物体DR2の予測位置とに基づいて、物体DF1と物体DR2とが同一物体であるか否かを判定する。
予測位置を用いた同一判定(ステップS23)では、時刻t−1におけるフレームから検出された検出物体の検出位置を記録する履歴データ35が参照される。図11は、履歴データ35の一例を示す図である。図11を参照して、履歴データ35は、検出物体ごとに、物体ID、フレーム識別番号、時刻t−1における検出位置、時刻t−2における検出位置、予測位置、窓位置、窓サイズ、及び種別を記録する。t−2は、時刻t−1の直前に設定された検出タイミングである。
物体IDは、時刻t−1に検出された検出物体を一意に特定する識別番号であり、検出データ31に記録される仮物体IDと異なる。物体ID「1」の物体は、図10に示す物体DR2に対応する。フレーム識別番号は、図7に示すフレーム識別番号と同じであり、各カメラにより撮影されたフレームを一意に特定する。例えば、図11において、物体ID「1」が付与された物体DR2は、右方フレーム51Rから検出されたことが分かる。
時刻t−1及び時刻t−2における検出位置は、検出物体の車両座標系における位置を示す。図11において、物体ID「3」の時刻t−2における検出位置が、履歴データ35に記録されていない。この理由は、物体ID「3」の検出物体が時刻t−2においてフレーム51から検出されなかったためである。予測位置は、時刻t−1に検出された検出物体が時刻tにおいて存在するであろう位置を示す。
窓位置及び窓サイズは、図7に示す窓位置及び窓サイズと同じであり、検出物体が検出されたときにフレームに設定されていた窓の中心位置及び窓のサイズである。種別は、検出データ31に記録される種別と同じである。
図12は、予測位置に基づく同一判定(ステップS23)のフローチャートである。以下、図10〜図12を参照しながら、時刻tにおける物体DF2の検出位置と、時刻tにおける物体DR2の予測位置とに基づいて、物体DF2と物体DR2とが同一物体であるか否かを判定する処理を詳しく説明する。
位置判定部132は、記憶部135から履歴データ35を読み出す(ステップS231)。位置判定部132は、読み出した履歴データ35を参照して、予測位置を用いた同一判定に利用可能な検出物体が記録されているか否かを判断する(ステップS232)。
上記の想定では、物体DF2が、一の時刻(時刻t)において第1フレームから検出された第1物体に対応する。前方フレーム51Fが第1フレームに対応するため、位置判定部132は、右方フレーム51Rから検出され、かつ、予測位置が記録されている検出物体を、履歴データ35から検索する。図11に示すように、履歴データ35において、物体DR2(ID「1」の検出物体)の予測位置が記録されており、物体DR2は、右方フレーム51Rから検出されている。このため、位置判定部132は、履歴データ35における物体DR2の記録を利用可能であると判断し(ステップS232においてYes)、物体DR2の予測位置を取得する(ステップS233)。履歴データ35に記録されている物体DR2が、時刻t−1において第2フレームから検出された第2物体に対応する。
位置判定部132は、時刻tにおける物体DF1の検出位置から、時刻tにおける物体DR2の予測位置までの距離を算出する(ステップS234)。
一方、図11に示す履歴データ35が、時刻tにおける物体DR2の予測位置を記録していない場合、位置判定部132は、予測位置を用いた同一判定に利用可能な検出物体が記録されていないと判断する(ステップS232においてNo)。この場合、位置判定部132は、予測位置に基づく同一判定が不可能であると判断し(ステップS238)、図12に示す処理を終了する。
ステップS233の後、位置判定部132は、時刻tにおける物体DF2と時刻t−1における物体DR2とが同一物体であるための第1条件が満たされているか否かを判断する(ステップS235)。第1条件は、ステップS234で算出した距離が所定の距離以下であることである。所定の距離は、例えば、時刻tにおける物体DR1の検出位置で想定される最大誤差と、時刻tにおける物体DR2の予測位置で想定される最大誤差に基づいて決定される。
図10において、位置P21は、時刻tにおける物体DF1の検出位置である。位置P22は、時刻t−1における物体DR2の検出位置である。位置P23は、時刻tにおける物体DR2の予測位置である。つまり、物体DR2は、時刻t−1から時刻tまでの期間において、位置P22から位置P23まで移動すると予測されている。位置P21から位置P23までの距離D2が所定の距離以下である場合、位置判定部132は、時刻tにおいて位置P21にある物体DF1と、時刻t−1において位置P22にある物体DR2とが同一物体の可能性があると判定する。
次に、種別判定部133が、時刻tにおける物体DF2と時刻t−1における物体DR2とが同一物体であるための第2条件が満たされるか否かを判定する(ステップS236)。第2条件は、時刻tにおける物体DF2の種別と時刻t−1における物体DR2の種別とが一致することである。種別判定部133は、検出データ31に記録されている物体DF2の種別と、履歴データ35に記録されている物体DR2の種別とを比較して、第2条件が満たされているか否かを判定する。
最終判定部134は、位置判定部132による判定結果と、種別判定部133による判定結果とに基づいて、時刻tにおける物体DF2と時刻t−1における物体DR2とが同一物体であるか否かの最終判定を行う(ステップS237)。具体的には、第1〜第2条件の全てが満たされている場合、最終判定部134は、時刻tにおける物体DF2と時刻t−1における物体DR2とが同一物体であると最終的に決定する。第1〜第2条件の少なくとも1つが満たされていない場合、最終判定部134は、時刻tにおける物体DF2と時刻t−1における物体DR2とが異なる物体であると最終的に決定する。
最終判定部134は、時刻tにおける物体DF2と、時刻t−1における物体DR2とが同一物体であると決定した場合、時刻tにおける物体DF2の検出データ31と、時刻t−1における物体DR2の検出データ31とを、領域設定部14に出力する。
なお、時刻tにおいて右方フレーム51Rから物体が検出され、時刻t−1において前方フレーム51Fから物体が検出された場合も、上記と同様に、これら2つの物体が同一の物体であるか否かを予測位置を用いて判定できる。また、カメラ選択部18が、フロントカメラ5F及び右サイドカメラ5R以外の2台のカメラを選択した場合であっても、予測位置に基づく同一判定を同様に実行できる。
{4.7.色味抽出領域設定}
図6を参照して、第1フレームから検出された第1物体と、第2フレームから検出された第2物体とが同一物体であると判定された場合(ステップS17においてYes)、領域設定部14は、第1フレーム及び第2フレームの両者に対して色味抽出領域を設定する(ステップS18)。ただし、時刻tの検出位置に基づく同一判定(ステップS16)が行われた場合と、予測位置に基づく同一判定(ステップS23)が行われた場合とで、色味抽出領域が設定されるフレームが異なる。
(時刻tの検出位置に基づく同一判定が行われた場合)
時刻tの検出位置に基づく同一判定(ステップS16)が行われた場合、領域設定部14は、時刻tにおける第1フレーム及び第2フレームに対して色味抽出領域を設定する(ステップS18)。
色味抽出領域を第1フレームに設定する場合を例に説明する。色味抽出領域は、第1フレームにおいて第1物体を検出した窓の位置及びサイズに基づいて決定される。色味抽出領域は、例えば、以下の第1〜第4の方法のいずれか1つによって設定される。第1の方法は、第1物体の検出に用いられた窓の領域を色味抽出領域に設定する。
第2の方法は、第1物体が人物である場合に用いられる。具体的には、第1物体の検出に用いられた窓が、垂直方向に3分割される。窓を分割する方法は、特に限定されない。3等分された領域が、上から順に頭領域、上半身領域、及び下半身領域に設定される。領域設定部14は、これら3つの領域の各々において代表色を特定し、これら領域の中で代表色の占める割合が最も大きい領域を、色味抽出領域に設定する。代表色は、3つの領域の各々において一番大きい面積を占める色である。
第3の方法は、第1物体が自動車である場合に用いられる。第1物体の検出に用いられた窓のうち、自動車のボディ部に相当する領域が色味抽出領域に設定される。この場合、第1物体が検出された窓に対してエッジ検出処理を行う。検出されたエッジの内側領域が自動車のボディ部に相当するため、色味抽出領域に設定される。
第4の方法は、第1物体の検出に用いられた窓において、最も多くの領域を占める色を特定し、この特定した色の領域を色味抽出領域として設定する。
第2フレームの色味抽出領域は、第1フレームにおける色味抽出領域の決定方法と同じ方法で設定される。
(予測位置に基づく同一判定が行われた場合)
予測位置に基づく同一判定が行われた場合、領域設定部14は、検出物体が実際に検出されたフレームに対して色味抽出領域を設定する。例えば、時刻tにおける第1フレームから検出された第1物体と、時刻t−1における第2フレームから検出された第2物体とが同一物体であると判定された場合、領域設定部14は、時刻tにおける第1フレームと時刻t−1における第2フレームに対して色味抽出領域を設定する。
時刻tにおける第1フレームと時刻t−1における第2フレームに対して色味抽出領域を設定する方法は、上記と同じであるため、その説明を省略する。
{4.8.色味補正}
画像補正部15は、第1フレーム及び第2フレームに対して設定された色味抽出領域を示すデータを領域設定部14から受け、その受けた色味抽出領域を示すデータに基づいて、第1フレーム及び第2フレームを補正する(ステップS19)。
(RGB信号を用いる場合)
図13は、画像補正部15により実行される色味補正(ステップS19)のフローチャートである。図13を参照しながら、第1フレーム及び第2フレームの各画素の画素信号がRGB信号である場合を例にして、色味補正(ステップS19)を説明する。
最初に、画像補正部15は、画像取得部11から、時刻tにおける第1フレーム及び第2フレームを取得し、取得した2つのフレームの少なくとも一方の色味を補正する。なお、予測位置に基づく同一判定が行われた場合、画像補正部15は、さらに、時刻t−1における第2フレームを取得する。
画像補正部15は、ステップS18で設定された第1フレームの色味抽出領域と第2フレームの色味抽出領域とから色味を抽出する(ステップS191)。色味は、同一判定が行われたフレームから抽出される。具体的には、時刻tの検出位置に基づく同一判定(図6に示すステップS16)が行われた場合、時刻tにおける第1フレーム及び第2フレームから色味が抽出される。予測位置に基づく同一判定(図6に示すステップS23)が行われた場合、時刻tにおける第1フレームと、時刻t−1における第2フレームとから色味が抽出される。
色味の抽出を具体的に説明する。画像補正部15は、第1フレームの色味抽出領域内の各画素の画素信号から、第1フレームの領域平均を算出する。領域平均は、色味抽出領域内の各画素のRGB信号を成分ごとに平均することにより得られる。第1フレームの領域平均が、第1フレームの色味抽出領域から抽出された色味に相当する。同様に、画像補正部15は、第2フレームの領域平均を算出する。
画像補正部15は、各フレームの色味抽出領域から抽出された色味を用いて、色味補正量を算出する(ステップS192)。具体的には、画像補正部15は、第1フレームの領域平均と第2フレームの領域平均との差分を色味補正量として算出する。つまり、色味補正量は、RGB信号であり、下記の式(1)〜(3)によって算出される。
ΔR1−2=R1−R2 ・・・(1)
ΔG1−2=G1−G2 ・・・(2)
ΔB1−2=B1−B2 ・・・(3)
式(1)〜(3)において、R1、G1、B1は、第1フレームの領域平均におけるR成分、G成分、B成分である。R2、G2、B2は、第2フレームの領域平均におけるR成分、G成分、B成分である。ΔR1−2、ΔG1−2、ΔB1−2は、色味補正量のR成分、G成分、B成分である。
画像補正部15は、ステップS192で算出した色味補正量を用いて、時刻tにおける第1フレーム及び第2フレームの少なくとも一方の色味を補正する(ステップS193)。
画像補正部15は、式(1)〜(3)により得られた色味補正量を第2フレームの各画素の画素信号に加算する。この結果、第2フレーム全体の色味が、第1フレームの色味抽出領域における色味と合うように調整される。この場合、第1フレームの色味をしなくてもよいため、色味補正に要する時間を短縮することができる。
あるいは、画像補正部15は、第2フレームの各画素に設定された補正係数を色味補正量に乗じることにより乗算値を算出し、その乗算値を第2フレームの各画素の画素信号に加算する。補正係数は、第2フレームの各画素から、合成フレーム60における第1フレームと第2フレームとの境界線までの距離に応じて設定される。補正係数の最大値は1であり、その最小値は0である。補正係数は、第2フレームの各画素から境界線までの距離が大きくなるにつれて小さくなる。
図14は、前方フレーム51Fと右方フレーム51Rとを合成する場合における補正係数の設定方法を説明する図である。図14において、合成フレーム60は、前方フレーム51Fと右方フレーム51Rとを合成することにより生成される。このため、ハッチング領域における映像(左サイドカメラ5L及びリアカメラ5Bの映像)は、表示装置2に表示されない。境界線KLは、合成フレーム60における前方フレーム51Fと右方フレーム51Rとの境界を示す。
図14において、画像補正部15は、右方フレーム51Rの色味を補正する場合、右方フレーム51Rの画素Pの補正係数を、境界線KLと画素Pとを結ぶ直線MLの長さに基づいて設定する。補正係数は、直線MLの長さが0に近づくほど1に近づき、直線MLの長さが大きくなるにつれて0に近づく。この結果、右方フレーム51Rの画素は、境界線KLに近いほど、第1フレームの色味と合うように調整される。画素Pは、境界線KLから遠ざかるにつれて、補正前の画素Pの色味に近づくため、色味が極端に変化することを抑制できる。
なお、画像補正部15は、第1フレーム及び第2フレームの各々に対応する色味補正量を算出して、第1フレーム及び第2フレームの両者を補正してもよい。具体的には、画像補正部15は、フレーム間平均を算出する。フレーム間平均は、第1フレームの領域平均と第2フレームの領域平均との平均である。第1フレームの色味補正量は、フレーム間平均と第1フレームの領域平均との差分である。第2フレームの色味補正量は、フレーム間平均と第2フレームの領域平均との差分である。第1フレーム及び第2フレームの色味は、上述した第2フレームの色味の補正と同様に補正される。この場合、補正前と補正後において、色味が極端に変化することを抑制できる。
(HSV信号を用いる場合)
画像補正部15は、HSV信号を用いて、2つのフレームの一方の色味を補正してもよい。この場合、画像補正部15は、第1フレーム及び第2フレームにおける色味抽出領域内の各画素のRGB信号をHSV信号に変換し、変換したHSV信号を用いて、第1フレーム及び第2フレームの領域平均を算出する。
画素信号がRGB信号である場合と同様に、画像補正部15は、第1フレームの領域平均と第2フレームの領域平均との差分を、HSV信号の成分ごとに算出する。画像補正部15は、以下の式(4)〜(6)を用いて、第2フレームの各画素の画素信号を補正する。式(4)〜(6)が用いられる場合、第1フレームの色味は補正されない。
Hp’=Hp+ΔH1−2 ・・・(4)
Sp’=(1+ΔS1−2/S1)×Sp ・・・(5)
Vp’=(1+ΔV1−2/V1)×Vp ・・・(6)
式(4)〜(6)において、S1、V1は、第1フレームの領域平均のS成分、V成分である。Hp,Sp、Vpは、第2フレームの各画素における補正前の画素信号のH成分、S成分、V成分である。Hp’,Sp’、Vp’は、第2フレームの各画素における補正後の画素信号のH成分、S成分、V成分である。ΔH1−2、ΔS1−2、ΔV1−2は、第1フレームの領域平均と第2フレームの領域平均との差分値におけるH成分、S成分、V成分である。
式(4)は、第2フレームの色相を、第1フレームの色相に一致させることを示す。式(5)、(6)は、第2フレームの各画素の彩度、明度のゲインを、第1フレームの領域平均の彩度、明度を用いて調整することを示す。
画像補正部15は、式(4)〜(6)を用いて第2フレームの各画素のHSV信号を補正した後に、補正されたHSV信号をRGB信号に再び変換する。これにより、第2フレームにおける色味補正が終了する。
なお、画像補正部15は、HSV信号を用いて色味補正を行う場合においても、補正係数を用いてもよいし、第1フレーム及び第2フレームの両者の色味を補正してもよい。HSV信号を用いて第1フレーム及び第2フレームの色味を補正する場合、画像補正部15は、上記と同様に、フレーム間平均を用いて、第1フレーム及び第2フレームの色味を補正すればよい。
また、各フレームの色味を補正する際に、RGB信号及びHSV信号以外の信号を用いてもよい。例えば、HLS信号や、YUV信号を用いて、各フレームの色味を補正してもよい。
また、各フレームの画素の画素信号は、RGB信号でなくてもよく、特に限定されない。例えば、画素信号は、HSV信号、HLS信号、YUV信号のいずれかでもよい。また、各フレームの色空間が互いに異なっていてもよい。例えば、第1フレームにおける色空間がRGBであり、第2フレームにおける色空間がYUVであってもよい。この場合、第1フレームから抽出される色味と、第2フレームから抽出される色味とを、第1フレーム及び第2フレームの一方の色空間に合わせればよい。
{4.9.位置予測}
再び、図6を参照する。画像補正部15が第1フレーム及び第2フレームの少なくとも一方の色味を補正した(ステップS19)後に、位置特定部131は、時刻tにおける検出物体の検出位置に基づいて、時刻t+1における検出物体の位置を予測する(ステップS20)。
図15は、図6に示す位置予測(ステップS20)のフローチャートである。図15を参照しながら、図10に示す物体DF2が時刻tに撮影された前方フレーム51Fから検出された場合を例にして、位置予測(ステップS20)を詳しく説明する。この場合、位置特定部131は、時刻t+1における物体DF2の位置を予測する。
位置特定部131は、時刻tに検出された前方フレーム51Fから検出された物体DF2に関して、予測位置に基づく同一判定処理(図6に示すステップS23)が行われたか否かを判定する(ステップS201)。
予測位置に基づく同一判定処理が物体DF2に関して行われていた場合(ステップS201においてYes)、位置特定部131は、物体DF2と同一物体と判定された物体の時刻t−1における検出位置を、履歴データ35から取得する(ステップS202)。具体的には、物体DF2が、図11に示す履歴データ35に記録された物体DR2と同一であるとステップS23において判定されていた場合、位置特定部131は、物体DR2(物体ID「1」の検出物体)の時刻t−1における検出位置を、履歴データ35から取得する。
位置特定部131は、時刻tにおける物体DF2の検出位置と時刻t−1における物体DR2の検出位置とに基づいて、時刻t+1における物体DF2の位置を予測する(ステップS203)。時刻t+1は、時刻tの次に設定される検出タイミングである。具体的には、位置特定部131は、時刻t−1における物体DR2の検出位置から時刻tにおける物体DF2の検出位置へ移動するベクトルを算出する。位置特定部131は、その算出した移動ベクトルを平行移動して、移動ベクトルの起点を時刻t−1における物体DR2の検出位置に設定する。位置特定部13は、平行移動後の移動ベクトルの示す位置を、時刻t+1における物体DF2の予測位置として取得する。
位置特定部131は、履歴データ35における物体DR2(物体ID「1」の物体)の記録を更新し(ステップS204)、図15に示す処理を終了する。時刻tに検出された物体DF2と、時刻t−1に検出された物体DR2とが同一物体であると判定されているためである。
具体的には、位置特定部131は、図11に示す履歴データ35において、物体ID「1」に対応するフレーム識別番号を、時刻tに撮影された前方フレーム51Fのフレーム識別番号に書き換える。位置特定部131は、時刻tにおける物体DF2の検出位置を、物体ID「1」の時刻tにおける検出位置として履歴データ35に追加する。位置特定部131は、物体ID「1」に対応する予測位置を、ステップS203で予測された時刻t+1における予測位置に書き換える。
次に、図9に示す物体DF1及びDF2が、時刻tの検出位置に基づく同一判定(図6に示すステップS16)により同一物体であると判定された場合における、物体DF1の位置予測について説明する。
物体DF1と物体DR1とが、時刻tの検出位置に基づく同一判定により同一物体であると判定されている(ステップS201においてNo、ステップS205においてYes)。この場合、物体DF1及び物体DR1の両者の位置を予測する必要がないため、位置特定部131は、物体DR1を位置予測の対象から外す(ステップS206)。
なお、図9に示す物体DF1及びDR1が、時刻tの検出位置に基づく同一判定により同一物体でないと判定されている場合(ステップS205においてNo)、位置特定部131は、物体DF1の位置予測と別に、物体DR1の位置を予測する。
位置特定部131は、物体DF1と同一の物体が履歴データ35に記録されているか否かを判定する(ステップS207)。例えば、物体ID「2」の物体の時刻t−1における検出位置が、物体DF1の時刻tにおける検出位置を中心とした所定の範囲内にあり、かつ、物体ID「2」の物体の種別が、物体DF1の種別と一致する場合、位置特定部131は、物体ID「2」の物体が物体DF1と同一物体であると判定する(ステップS207においてYes)。
この場合、位置特定部131は、物体DF1の時刻t+1における位置を、物体DF1の時刻tにおける検出位置と、物体ID「2」の物体の時刻t−1における検出位置とに基づいて予測する(ステップS203)。位置特定部131は、履歴データ35における物体ID「2」の物体の記録を更新し(ステップS204)、図15に示す処理を終了する。具体的には、位置特定部131は、物体ID「2」に対応するフレーム識別番号を、物体DF1が検出された前方フレーム51Fのフレーム識別番号に書き換える。位置特定部131は、物体DF1の検出位置を、物体ID「2」の時刻tにおける検出位置として履歴データ35に追加する。位置特定部131は、物体ID「2」に対応する予測位置を、ステップS203で予測された時刻t+1における予測位置に書き換える。
一方、物体DF1と同一の物体が履歴データ35に記録されていない場合(ステップS207においてNo)、位置特定部131は、物体DF1の時刻t−1における位置を取得できないため、物体DF1の時刻t+1における位置を予測することができない。この場合、位置特定部131は、物体DF1に関するレコードを履歴データ35に追加することを決定する(ステップS208)。
位置特定部131は、物体DF1に関するレコードを履歴データ35に追加する。図11に示す履歴データ35に物体DF1に関するレコードを追加する場合、位置特定部131は、新たな物体ID「4」を発行し、物体ID「4」のレコードを履歴データ35に追加する。位置特定部131は、物体ID「4」のフレーム識別番号として、物体DF1が検出された前方フレーム51Fの識別番号を書き込む。物体DF1が検出された前方フレーム51Fの識別番号は、物体DF1の検出データ31から取得される。位置特定部131は、物体ID「4」の時刻tにおける検出位置として、物体DFの検出位置を書き込む。時刻tよりも前の検出タイミングにおける物体ID「4」の検出位置は、履歴データ35に記録されない。
{4.10.画像合成}
図1を参照する。画像合成部16は、画像補正部15から第1フレーム及び第2フレームを取得する。画像補正部15から取得される2つのフレームの少なくとも一方が、画像補正部15により補正されている。画像合成部16は、取得した第1フレームと第2フレームとを合成して、合成フレーム60を生成する(図6に示すステップS21)。合成フレーム60は、公知の方法を用いることにより生成されるため、合成フレーム60の生成についての説明を省略する。画像合成部16は、合成フレーム60を表示装置2に供給する。表示装置2は、画像合成部16から受けた合成フレーム60を表示する。
画像処理装置1は、画像合成を終了する場合(ステップS22においてYes)、図6に示す処理を終了する。画像処理装置1は、画像合成を継続する場合(ステップS22においてNo)、ステップS12に戻る。
以上説明したように、画像処理装置1において、カメラ選択部18は、4台のカメラ5のうち、車両9の進行方向に向けられた2台のカメラを選択する。検出部12は、2台のカメラの一方により撮影された第1フレームから第1物体を検出し、他方により撮影された第2フレームから第2物体を検出する。第1物体と第2物体とが同一物体である場合、領域設定部14は、第1フレームにおける第1物体の検出領域に基づいて第1フレームに色味抽出領域を設定し、第2フレームにおける第2物体の検出領域に基づいて第2フレームに色味抽出領域を設定する。画像補正部15は、第1フレームの色味抽出領域における色味と、第2フレームの色味抽出領域における色味とに基づいて、第2フレームの色味を補正する。画像合成部16は、第1フレームと、色味が補正された第2フレームとを合成する。これにより、物体が合成フレーム60における第1フレームと第2フレームとの境界を通過する際に生じる当該物体の色味の変化が抑制されるため、運転者が合成フレーム60に対して違和感を持つことを防ぐことができる。
時刻tに撮影された第1フレーム及び第2フレームから第1物体及び第2物体が検出されている場合、色味抽出領域は、一の時刻に撮影された第1フレーム及び第2フレームに対して設定される。この場合、2台のカメラが同一時刻に同一物体を撮影しているため、第1フレームと第2フレームとの色味差をさらに小さくできる。
第1物体が、時刻t−1に撮影された第1フレームから検出され、時刻tに撮影された第1フレームから検出されなかった場合、判定部13は、時刻tにおける第1物体の所定の座標系における予測位置と、時刻tにおける第2物体の所定の座標系における位置とに基づいて、第1物体と第2物体とが同一物体であるか否かを判定する。第1物体と第2物体とが同一物体である場合、領域設定部14は、時刻t−1に撮影された第1フレームに対して色味抽出領域を設定し、時刻tに撮影された第2フレームに対して色味抽出領域を設定する。この結果、実空間内を物体が移動することにより、同一時刻に撮影された第1フレーム及び第2フレームから同一物体を検出することができない場合であっても、画像処理装置1は、第1フレームの色味と第2フレームの色味とを合わせることができるため、合成フレーム60に対する違和感を抑制することができる。
{5.変形例}
なお、第1の実施の形態において、判定部13が、種別判定部133及び最終判定部134を備える例を説明したが、これに限られない。判定部13は、種別判定部133及び最終判定部134を備えなくてもよい。つまり、判定部13は、時刻tにおける検出位置に基づく同一判定(図8参照)において、ステップS164、S165を実行しなくてもよく、予測位置を用いた同一判定(図12参照)において、ステップS236、S237を実行しなくてもよい。
また、時刻tにおける検出位置に基づく同一判定のステップS163において(図8参照)において、第1物体と第2物体が同一であるための第2条件が、第1物体から第2物体までの距離が所定の距離以下であることを説明したが、これに限られない。例えば、位置判定部132は、所定の座標系における第1物体及び第2物体の占有領域を特定する。判定部13は、第1物体の占有領域が第2物体の占有領域と重複する場合に、第2条件が満たされると判定してもよい。あるいは、位置判定部132は、ステップS163を実行しなくてもよい。つまり、位置判定部132は、第1物体及び第2物体の両者が第1カメラの撮影領域と第2カメラの撮影領域との重複領域内に位置する場合、第1物体と第2物体とが同一物体であると判定してもよい。予測位置に基づく同一判定のステップS235(図12参照)についても同様である。つまり、判定部13は、第1物体の所定の座標系における検出位置と、第2物体の所定の座標系における検出位置とに基づいて、第1物体と第2物体とが同一物体であるか否かを判定すればよい。
{第2の実施の形態}
{1.画像処理装置2の概略}
図16は、本発明の第2の実施の形態に係る画像表示システム200の構成を示す機能ブロック図である。画像表示システム200は、画像処理装置1に代えて画像処理装置2を備える点が画像表示システム100と異なる。
画像処理装置2は、画像処理装置2を搭載する車両9が切り返しを伴う自動駐車を行う際に、4台のカメラ5により撮影された4つのフレームのうち少なくとも1つの色味を補正し、色味が補正されたフレームを含む4つのフレームを合成する。これにより、4台のカメラ5のいずれかにより撮影された物体が、合成フレーム60におけるフレームの境界を跨いで移動する際に、この物体の色味が変化することを防ぐことができる。
{2.画像処理装置2の構成}
画像処理装置2は、画像取得部11と、検出部22と、判定部23と、領域設定部24と、画像補正部25と、画像合成部16と、駐車領域取得部27と、順序決定部28とを備える。
検出部22は、第1〜第Kカメラにより撮影された第1〜第Kフレームから物体を検出する。Kは、3以上の自然数であり、本実施の形態において4である。判定部23は、第1〜第4フレームから検出された第1〜第4物体が同一物体であるか否かを判定する。
領域設定部24は、第1〜第4物体が同一物体であると判定部23により判定された場合、第1〜第4フレームに対して色味抽出領域を設定する。画像補正部25は、第1〜第4フレームに設定された色味抽出領域から色味を抽出し、抽出した色味に基づいて、第1〜第4フレームのうち少なくとも1つの色味を補正する。画像合成部16は、色味が補正されたフレームを含む4つのフレームを合成して合成フレーム60を生成する。
駐車領域取得部27は、画像処理装置2が搭載された車両9の駐車領域を取得する。順序決定部28は、駐車開始時における車両9の位置と、駐車領域取得部27により取得された駐車領域に基づいて、駐車領域と車両9との間に位置する物体を撮影するカメラの順序を決定する。
図17は、図16に示す判定部23の構成を示す機能ブロック図である。図17を参照して、判定部23は、位置特定部231と、第1位置判定部232と、第2位置判定部233とを備える。
位置特定部231は、第1〜第4フレームから検出された第1〜第4物体の所定の座標系における位置を特定する。
第1位置判定部232は、順序決定部28により1番目のカメラに設定された第Mカメラが撮影した画像を第Mフレームとした場合、第Mフレームから検出された第M物体の所定の座標系における位置が、基準領域内に位置するか否かを判定する。Mは、1以上K以下の自然数である。基準領域は、所定の座標系において設定され、駐車開始時における車両9の位置と駐車領域取得部27により設定された駐車領域とに基づいて設定される。第2位置判定部233は、第1〜第4フレームから検出された第1〜第4物体が同一物体であるか否かを、第1〜第4物体の所定の座標系における位置に基づいて判定する。
{3.画像処理装置2の動作}
図18は、画像処理装置2を搭載する車両9の駐車経路の一例を示す図である。図19は、図16に示す画像処理装置2の動作を示すフローチャートである。車両9が図18に示す駐車領域RPに駐車する場合を例にして、画像処理装置2の動作を詳しく説明する。
車両9の運転者が自動駐車を指示した場合、画像処理装置2は、図19に示す処理を開始する。図19に示すステップS51〜54は、第1〜第4フレームの色味を補正するための前段階の処理である。
駐車領域取得部27は、運転者による自動駐車の指示に応じて、車両9の駐車領域RPを設定する(ステップS51)。例えば、表示装置2がタッチパネル式ディスプレイである場合、駐車領域取得部27は、前方フレーム51Fを表示装置2に表示する。駐車領域取得部27は、タッチパネル式ディスプレイにおいて運転者がタッチした位置に基づいて駐車領域RPを設定する。
駐車領域取得部27は、車両9の現在位置と、ステップS51で設定された駐車領域RPとに基づいて、車両9の駐車経路を設定する(ステップS52)。図18に示す例では、位置P30は、ステップS51において駐車領域RPが設定された時点における車両9の中心である。駐車領域取得部27は、位置P30から駐車領域RPに達する経路として、位置P31、位置P32、位置P33、位置P34を通過する経路を設定する。位置P30〜P34は、所定の座標系である駐車座標系により記述される。
駐車座標系は、運転者が自動駐車を指示した時点における車両9の中心O(図2参照)を原点とした車両座標系である。位置P30は、駐車座標系の原点である。画像処理装置2は、車両9の移動に関係なく、駐車領域取得部27により設定された駐車座標系を使用する。
駐車領域取得部27は、ステップS52で設定された駐車経路に基づいて基準領域RSを設定する(ステップS53)。具体的には、駐車領域取得部27は、車両9がステップS52で設定された駐車経路を移動する際に、4台のカメラ5の全てが撮影することができる領域を基準領域RSとして設定する。図18に示す車両9が位置P30から駐車領域RPへ移動する場合、4台のカメラ5は、車両9の現在位置(位置P30)と駐車領域RPとの間にあり、かつ、位置P30から見て左前方に位置する領域を撮影することができる。このため、駐車領域取得部27は、当該領域を基準領域RSに設定する。
順序決定部28は、ステップS52で設定された駐車経路と、ステップS53で設定された基準領域RSとに基づいて、基準領域RSを撮影するカメラの順序を決定する(ステップS54)。図18に示す駐車経路で車両9が移動する場合、フロントカメラ5Fは、位置P30から位置P31までの区間で基準領域RSを撮影できる。左サイドカメラ5Lは、位置P31から位置P32までの区間で基準領域RSを撮影できる。リアカメラ5Bは、位置P32から位置P33までの区間で基準領域RSを撮影できる。右サイドカメラ5Rは、位置P33から位置P34までの区間で基準領域RSを撮影できる。従って、順序決定部28は、基準領域RSを撮影するカメラの順序を、フロントカメラ5F、左サイドカメラ5L、リアカメラ5B、右サイドカメラ5Rに決定する。
なお、フロントカメラ5Fが基準領域RSを撮影できる区間と、左サイドカメラ5Lが基準領域RSを撮影できる区間とが重複していてもよい。他のカメラについても同様である。
以下、画像処理装置2は、ステップS55〜S59を繰り返すことにより、4台のカメラ5を用いて基準領域RSを撮影し、第1〜第4フレームから検出された第1〜第4物体が同一物体であるか否かを判定する。
最初に、順序決定部28は、ステップS54で決定した順序に従って、基準領域RSを撮影する1番目のカメラとしてフロントカメラ5Fを指定する(ステップS55)。画像処理装置2は、フロントカメラ5Fにより撮影された前方フレーム51Fに対する同一物体検出処理を実行する(ステップS56)。
図20は、図19に示す同一物体検出処理(ステップS56)のフローチャートである。図20を参照しながら、ステップS55でフロントカメラ5Fが指定された場合における同一物体検出処理(ステップS56)を説明する。
検出部22は、フロントカメラ5Fにより撮影された前方フレーム51Fを画像取得部11から取得し、取得した前方フレーム51Fから車両C1を検出する(ステップS561)。検出部12は、前方フレーム51Fから検出された車両C1の検出データ31を位置特定部231に供給する。
位置特定部231は、前方フレーム51Fから検出された車両C1の検出データ31に基づいて、前方フレーム51Fから検出された車両C1の駐車座標系における位置を特定する(ステップS562)。ステップS562は、図6に示すステップS14と同じであるため、その説明を省略する。位置特定部231は、前方フレーム51Fから検出された車両C1の駐車座標系における位置を追加した検出データ31を、第1位置判定部232及び第2位置判定部233に供給する。
第1位置判定部232は、前方フレーム51Fから検出された車両C1の検出データ31を位置特定部231から受ける。第1位置判定部232は、その受けた検出データ31と撮影順序とに基づいて、車両C1が検出されたフレームが1番目に指定されたカメラにより撮影されたか否かを判断する(ステップS563)。
具体的には、位置特定部231から受けた車両C1の検出データ31は、前方フレーム51Fのフレーム識別番号が記録されている。第1位置判定部232は、車両C1が検出されたフレームがステップ54で一番目に指定されたフロントカメラ5Fにより撮影されたと判定し(ステップS563においてYes)、ステップS564に進む。
第1位置判定部232は、位置特定部231から受けた検出データ31に基づいて、前方フレーム51Fから検出された車両C1が基準領域RS内にあるか否かを判定する(ステップS564)。
第1位置判定部232は、前方フレーム51Fから検出された車両C1が基準領域RS内にある場合(ステップS564においてYes)、前方フレーム51Fから検出された車両C1を基準物体として登録する(ステップS565)。第1位置判定部232は、基準位置データ36を第2位置判定部233に供給し、図20に示す処理を終了する。基準位置データ36は、前方フレーム51Fから検出された車両C1の駐車座標系における位置を示す。
一方、前方フレーム51Fから検出された車両C1が基準領域RS外にある場合(ステップS564においてNo)、第1位置判定部232は、前方フレーム51Fから基準物体を検出できなかったと判定し(ステップS566)、図20に示す処理を終了する。
再び、図19を参照する。第2位置判定部233は、第1位置判定部232から基準位置データ36を受けた場合、基準物体を検出したと判定する(ステップS57においてYes)。第2位置判定部233は、位置特定部231から受けた車両C1の検出データ31を領域設定部24に供給する。一方、第2位置判定部233は、基準物体が検出されなかった場合(ステップ57においてNo)、車両C1の検出データ31を領域設定部24に供給しない。この場合、画像処理装置2は、ステップS59に進む。
領域設定部24は、車両C1の検出データ31を第2位置判定部233から受けた場合、その受けた検出データ31に基づいて、前方フレーム51Fに対して色味抽出領域を設定する(ステップS58)。ステップS58は、図6に示すステップS18と同じであるため、その説明を省略する。
図19及び図20に示していないが、画像処理装置2は、フロントカメラ5FがステップS55において指定された場合、ステップS56〜S58の処理を、基準物体が検出されるまで繰り返し実行する。車両9が図18に示す位置P31に移動した場合、画像処理装置2は、前方フレーム51Fを対象としたステップS56〜S58の処理を終了する。
順序決定部28は、全てのカメラを指定したか否かを判定する(ステップS59)。現時点において、2番目以降のカメラが指定されていないため(ステップS59においてNo)、順序決定部28は、2番目のカメラとして、左サイドカメラ5Lを指定する。画像処理装置2は、左サイドカメラ5Lにより撮影された左方フレーム51Lに対する物体検出を行う(ステップS56)。
図20を参照して、左方フレーム51Lから物体が検出され(ステップS561)、左方フレーム51Lから検出された物体の駐車座標系における位置が特定される(ステップS562)。左サイドカメラ5Lが2番目のカメラとして指定されているため(ステップS563においてNo)、第2位置判定部233は、左方フレーム51Lから検出された物体が基準物体と駐車座標系において同じ位置にあるか否かを判定する(ステップS567)。基準物体の位置と、左方フレーム51Lから検出された物体の位置とは、完全に一致しなくてもよく、基準物体の位置と、左方フレーム51Lから検出された物体の位置とのずれが所定の範囲内であればよい。所定の範囲とは、例えば、実空間における検出物体の位置と、検出物体の駐車座標系における位置との間で生じると想定される最大誤差に基づいて決定される。
左方フレーム51Lから検出された物体が基準物体と同じ位置にある場合(ステップS567においてYes)、第2位置判定部233は、左方フレーム51Lから検出された物体が基準物体と同一物体であると判定する(ステップS568)。つまり、第2位置判定部233は、左方フレーム51Lから検出された物体が車両C1であると判定し、左方フレーム51Lから検出された物体の検出データ31を領域設定部24に供給する。
一方、左方フレーム51Lから検出された物体が基準物体と同じ位置にない場合(ステップS567においてNo)、第2位置判定部233は、左方フレーム51Lから検出された物体が基準物体と同一物体でないと判定する(ステップS569)。つまり、第2位置判定部233は、左方フレーム51Lから検出された物体が車両C1でないと判定する。
再び図19を参照し、基準物体と同一物体が検出された場合(ステップS57においてYes)、領域設定部24は、左方フレーム51Lに対して色味抽出領域を設定する(ステップS58)。基準物体と同一物体が検出されなかった場合(ステップS57においてNo)、色味抽出領域は、左方フレーム51Lに対して設定されない。
画像処理装置2は、左サイドカメラ5LがステップS55において指定された場合、ステップS56〜S58の処理を、基準物体と同一の物体が左方フレーム5lLから検出されるまで繰り返し実行する。車両9が図18に示す位置P32に移動した場合、画像処理装置2は、左方フレーム51Lを対象としたステップS56〜S58の処理を終了する。
順序決定部28は、3番目のカメラとしてリアカメラ5Bを指定する(ステップS59においてNo、ステップS55)。画像処理装置2は、リアカメラ5Bにより撮影された後方フレーム51Bから基準物体と同一の物体を検出する(ステップS56)。判定部23が、後方フレーム51Bから検出された物体が基準物体(車両C1)と同一であると判定した場合(ステップS57においてYes)、領域設定部24は、後方フレーム51Bに対して色味抽出領域を設定する(ステップS58)。
画像処理装置2は、リアカメラ5BがステップS55において指定された場合、ステップS56〜S58の処理を、基準物体と同一の物体が後方フレーム51Bから検出されるまで繰り返し実行する。車両9が図18に示す位置P33に移動した場合、画像処理装置2は、後方フレーム51Bを対象としたステップS56〜S58の処理を終了する。
順序決定部28は、4番目のカメラとして右サイドカメラ5Rを指定する(ステップS59においてNo、ステップS55)。画像処理装置2は、右サイドカメラ5Rにより撮影された右方フレーム51Rから基準物体と同一物体を検出する(ステップS56)。判定部23が、基準物体(車両C1)と同一物体を右方フレーム51Rから検出した場合(ステップS57においてYes)、領域設定部24は、右方フレーム51Rに対して色味抽出領域を設定する(ステップS58)。
画像処理装置2は、右サイドカメラ5RがステップS55において指定された場合、ステップS56〜S58の処理を、基準物体と同一の物体が右方フレーム51Rから検出されるまで繰り返し実行する。車両9が図18に示す位置P34に移動した場合、画像処理装置2は、右方フレーム51Rを対象としたステップS56〜S58の処理を終了する。
順序決定部28が全てのカメラを指定した場合(ステップS59においてYes)、領域設定部24は、各フレームに対して設定された色味抽出領域を画像補正部25に供給する。画像補正部25は、領域設定部24から受けた色味抽出領域に基づいて、4台のカメラ5により撮影された4つのフレームの色味を補正する(ステップS60)。
具体的には、画像補正部25は、領域設定部24から受けた色味抽出領域に基づいて、基準物体が検出されたフレームと、基準物体と同一物体が検出されたフレームとの各々から色味を抽出する。具体的には、色味抽出領域が設定されたフレームから、色味を抽出する。例えば、前方フレーム51Fから基準物体が検出された場合、基準物体が最初に検出されたフレームから色味が抽出される。左方フレーム51L、後方フレーム51B、右方フレーム51Rの各々については、基準物体と同一の物体が最初に検出されたフレームから色味が抽出される。色味の抽出方法は、上記第1の実施の形態と同じである。画像補正部25は、各フレームから抽出された色味に基づいて、色味補正量を算出する。
画像補正部25は、算出された色味補正量に基づいて、4つのカメラ5により同一時刻に撮影された4つのフレームのうち、少なくとも1つの色味を補正する。色味補正のための基準フレームが設定された場合、基準フレームを除くフレームの色味が補正される。4つのフレームの各々に対して色味補正量が算出された場合、各フレームの色味が補正される。
なお、色味が補正されるフレームは、順序決定部28が全てのカメラを指定したと判定した後に4台のカメラ5によって撮影されるフレームである。つまり、車両9が駐車領域RPに移動した後に、4台のカメラ5により撮影された4つのフレームの色味が補正される。車両9が図18に示す経路を移動した後でなければ、4台のカメラ5は同一物体(車両C1)を撮影することができないためである。
4台のカメラ5により撮影された4つのフレームから基準物体が検出されなかった場合、画像補正部25は、4つのフレームの色味を補正しない。また、画像補正部25は、基準物体と同一の物体が検出されなかったフレームの色味を補正しない。
画像合成部16は、色味補正が行われたフレームを用いて、合成フレーム60を生成し(ステップS60)、生成した合成フレーム60を表示装置2に出力する。
以上説明したように、画像処理装置2は、車両9が位置P30から駐車領域RPに移動する場合、4台のカメラ5の全てが撮影できる基準領域RSを設定し、4台のカメラ5により撮影された4つのフレームから、基準領域RSに位置する物体を検出する。画像処理装置2は、4つのフレームにおける物体の検出領域に基づいて、4つのフレームに色味抽出領域を設定し、4つのフレームに設定された色味抽出領域に基づいて4つのフレームのうち少なくとも1つの色味を補正する。これにより、4台のカメラ5により撮影された物体が、合成フレーム60における2つのフレームの境界を横切る際に、当該物体の色味が変化することを抑制でき、運転者の合成フレーム60に対する違和感を小さくできる。
また、画像処理装置2は、撮影領域が重複しない2つのカメラにより撮影された色味のフレームを補正できるため、4台のカメラ5により撮影された4つのフレームを合成する場合においても、合成フレーム60に対する運転手の違和感を小さくできる。
上記第2の実施の形態において、車両9が、車両9の左前方に位置する駐車領域RPに、切り返しを伴う並列駐車を行う場合における画像処理装置2の動作を説明したが、これに限られない。車両9が、車両9の右前方に位置する駐車領域に、切り返しを伴う並列駐車をする場合においても、画像処理装置2は、第1〜第4フレームの色味を調整することができる。例えば、図18において、領域RXに車両9を駐車させる場合、基準領域RSは、車両C3が位置する領域であり、カメラの撮影順序は、フロントカメラ5F、右サイドカメラ5R、リアカメラ5B、左サイドカメラ5Lである。つまり、画像処理装置2は、切り返しを伴う並列駐車など、車両9が第1〜第Kのカメラが同一物体を撮影できる経路を通過する場合に、第1〜第Kカメラにより撮影された第1〜第Kフレームの色味を調整することが可能である。従って、後退して駐車場に入場し、切り返しを伴う前進駐車の場合であっても、車両9の第1〜第Kカメラは、同一物体を撮影できる。
また、車両9が自動駐車する場合に、画像処理装置2が第1〜第4フレームの色味を調整する例を説明したが、これに限られない。画像処理装置2は、運転者がハンドル等を操作して車両9を駐車領域RPに駐車させる場合に、第1〜第4フレームの色味を調整してもよい。この場合、運転者は、ステップS52で設定された経路に従って、車両9を移動させればよい。
また、画像処理装置2は、車両9が駐車領域RPの外に移動する場合においても、4つのフレームに対する色味補正を継続してもよい。
また、第1及び第2の実施の形態において、所定の座標系は、車両9の中心Oを原点とした車両座標系でなくてもよい。例えば、所定の座標系は、緯度及び経度で表される世界座標系であってもよい。また、所定の座標系は、カメラの光軸を原点としたカメラ座標系であってもよい。
また、上記実施の形態で説明した画像処理装置において、各機能ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
また、上記各実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
例えば、上記実施の形態(変形例を含む)の各機能ブロックを、ソフトウェアにより実現する場合、図21に示したハードウェア構成(例えば、CPU、ROM、RAM、入力部、出力部等をバスBusにより接続したハードウェア構成)を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
また、上記実施の形態における処理方法の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。