JP2020197974A - 状況認識装置、状況認識方法、および状況認識プログラム - Google Patents

Abstract

【課題】事前に準備するデータを少なく抑えながらも判定基準を調整し得る状況認識を行うことに寄与する状況認識装置を提供する。【解決手段】状況認識装置１は、認識すべき状況のデータを取得する計測部１０と、計測部１０が取得したデータから要素オブジェクトを検知し、検知された要素オブジェクトの組み合わせに基づいて状況認識を行う状況認識部１１と、状況認識部１１が判定した結果を出力する結果出力部１２とを備える。【選択図】図１

Description

本発明は、状況認識装置、状況認識方法、および状況認識プログラムに関するものである。

車両周囲の状況を認識するための技術として、車載カメラ等の撮像装置（以下、単にカメラと呼ぶ）などの画像から、写っているオブジェクトを認識する手法が知られている。このような状況認識の技術は、例えば自動運転車への利用が期待されており、認識されたオブジェクトに対応して自動運転車を制御する技術の開発も盛んである。

特許文献１には、自動運転のために、車載センサなどから工事区域と非作業中の工事区域を区別する方法が示されている。特許文献２には、車載端末にて、車両から見える画像あるいは映像を撮像し、得られた画像あるいは映像に含まれる画像から標識などの道路上付属物を検出する技術が記載されている。特許文献３には、サーバに格納された道路情報を、最新の道路情報に更新し得る道路情報更新技術が記載されている。特許文献４には、以前に通過したことがある地点の通過時の道路状況と現在の道路状況との道路状況を比較する技術が記載されている。

特開２０１８−１５４３３８号公報 特開２０１８−９７７３８号公報 特開２０１８−１０５３５号公報 特開２００６−２９２７０１号公報 特開２０１６−６２２５３号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

ところで、工事現場の様態は無限である。したがって、すべてのバリエーションの工事現場の写真（画像）を事前に準備することはできない。つまり、道路状況を認識するためのデータが必ずしも十分ではない中で、正確な状況認識を行う必要がある。

一方、機械学習をベースにしたオブジェクト認識の技術では、教師データの量を減らすと、計算量が多くなってしまったり精度が落ちたりするというトレードオフの問題がある。また、オブジェクト認識の判定基準を調整しようとすると、教師データを再準備しなければならず、必要とする教師データの量がますます増大する。このことは機械学習に限らず、特徴量などを用いた認識技術でも同様の傾向を有しており、事前に準備するデータの量を減らすと精度などが犠牲となる傾向がある。

顔認識におけるこのトレードオフ問題に対しては、例えば特許文献５では、変動の少ない部分（領域）毎の類似度を使い、その類似度を選択的に統合して合致しているかという方法が採用されている。しかしながら、この方法は特定物体検知（インスタンス分類）の方法であって、一般物体検知（クラス分類）ではない。つまり、道路状況認識には、個々の三角コーンなどを区別するのではなく、三角コーンや工事フェンスなどの存在する物体の種類を区別するという一般物体検知が必要とされる。

本発明の目的は、上述した課題を鑑み、事前に準備するデータを少なく抑えながらも判定基準を調整し得る状況認識を行うことに寄与する状況認識装置、状況認識方法、および状況認識プログラムを提供することにある。

本発明の第１の視点では、認識すべき状況のデータを取得する計測部と、前記計測部が取得したデータから要素オブジェクトを検知し、前記検知された要素オブジェクトの組み合わせに基づいて状況認識を行う状況認識部と、前記状況認識部が判定した結果を出力する結果出力部と、を備えることを特徴とする状況認識装置が提供される。

本発明の第２の視点では、認識すべき状況のデータを取得し、前記取得したデータから要素オブジェクトを検知し、前記検知された要素オブジェクトの組み合わせに基づいて状況認識を行う、ことを特徴とする状況認識方法が提供される。

本発明の第３の視点では、認識すべき状況のデータを取得するステップと、前記取得したデータから要素オブジェクトを検知するステップと、前記検知された要素オブジェクトの組み合わせに基づいて状況認識を行うステップと、をコンピュータに実行させることを特徴とする状況認識プログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、事前に準備するデータを少なく抑えながらも判定基準を調整し得る状況認識を行うことに寄与する状況認識装置、状況認識方法、および状況認識プログラムを提供することができる。

図１は、第１実施形態に係る状況認識装置を示す図である。 図２は、コンピュータが実行する状況認識プログラムの手順例を示す図である。 図３は、状況認識プログラムを実行するコンピュータのハードウェア構成例を示す図である。 図４は、第２実施形態に係る状況認識装置の状況認識部を示す図である。 図５は、状況認識装置の動作の手順を示す図である。 図６は、モデル作成装置の構成を示す図である。 図７は、モデル生成装置の動作の手順を示す図である。 図８は、計測部が取得する画像の例を示す図である。 図９は、第５実施形態に係る状況認識装置の構成を示す図である。 図１０は、前判断部の動作の手順を示す図である。 図１１は、状況認識装置の動作の手順を示す図である。

以下、図面を参照しながら、本発明の実施形態について説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。また、各図面において、同一または対応する要素には適宜同一の符号を付している。さらに、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実のものとは異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（第１実施形態）
図１は、第１実施形態に係る状況認識装置を示す図である。図１に示すように、状況認識装置１は、計測部１０と状況認識部１１と結果出力部１２とを備えている。

計測部１０は、認識すべき状況のデータを取得する。計測部１０は、例えばカメラであり、画像ないし映像を取得する。また、これに限らず、計測部１０は、三次元センサや音波や赤外線や電磁波などの波長センサとすることもできる。

状況認識部１１は、計測部１０で取得したデータから状況認識を行う。具体的には、計測部１０が取得したデータから要素オブジェクトを検知し、検知された要素オブジェクトの組み合わせに基づいて状況認識を行う。

ここで、要素オブジェクトの検知とは、いわゆる一般物体検知であり、ある要素オブジェクトが画像などのデータ中に存在するか否かを検知することをいう。つまり、要素オブジェクトとは、特定の要素オブジェクト（インスタンス）を個別に区別せず、要素オブジェクトのクラス（カテゴリ、種別）分類で区別する。例えば人の検知であれば、個人の特定ではなく、男性か女性か、大人か子供かなどのクラス（カテゴリ、種別）分類をする。工事状況の検知であれば、三角コーンであるか、工事フェンスであるか、工事看板であるかなど、工事物のクラス（カテゴリ、種別）分類をする。即ち、存在を検知した物体の種類による分類を行う。

要素オブジェクトの検知は、特徴量を用いたモデルによる検知や、機械学習技術を用いたクラス分類による検知などにより実現する。機械学習技術を用いる場合は事前に教師データを必要とし、特徴量を用いたモデルを構成するためにも事前に準備するデータを必要とする。本明細書では、どちらの方式であっても事前のデータに含まれるものとする。

上記のように検知された要素オブジェクトは、一般に複数であり、状況認識部１１は、複数の要素オブジェクトの組み合わせに基づいて状況認識を行う。ここで、複数の要素オブジェクトの組み合わせとは、種類・個数・位置・大きさなどの変数によって重み付けを行ってもよい。すなわち、状況認識部１１は、一つの要素オブジェクトの検知だけでは状況認識を行わない。検知された複数の要素オブジェクトの種類・個数・位置・大きさなどを総合考慮して状況認識を行う。例えば、道路状況の認識であれば、三角コーンだけ存在しても工事であると判定せず、三角コーンと工事フェンスと工事看板の複数が同時に存在すれば、それを工事であると判定する。また、三角コーンと工事フェンスよりも工事看板の方に重点を置き、工事看板があれば判定結果の確信度への寄与を重み付ける（例えば寄与率を倍にする等）ことが可能である。

結果出力部１２は、状況認識部１１が判定した結果を出力する。ここで、結果の出力とは、結果を表示し、利用者に提示することに限らず、別の装置への入力とすることができる。例えば、状況認識装置１を自動運転車における道路状況の認識に用いている場合、状況認識装置１の結果出力部１２を自動運転車の制御装置の入力へ接続することもできる。

上記構成の状況認識装置１は、要素オブジェクトを検知し、当該検知された要素オブジェクトの組み合わせに基づいて状況認識を行うので、事前に準備すべきデータは、要素オブジェクト毎である。つまり、相対的には準備すべきデータの量が少なくて済む。一方、要素オブジェクトの組み合わせに基づいて状況認識を行うので、事前のデータの再準備をすることなく、例えば重み付けの変更などにより判定基準を調整することが可能である。

ただし、本実施形態の効果を享受するためには、状況認識装置１の内部構成は必須ではない。認識すべき状況のデータを取得し、取得したデータから要素オブジェクトを検知し、検知された要素オブジェクトの組み合わせに基づいて状況認識を行う方法を実現することができれば、状況認識装置１の内部構成は自由に変更することができる。

したがって、例えば、上記状況認識方法を、コンピュータが実行する状況認識プログラムとして実現することも可能である。図２は、コンピュータが実行する状況認識プログラムの手順例を示す図である。図２に示すように、本実施形態のコンピュータが実行する状況認識プログラムは、認識すべき状況のデータを取得するステップＳ１と、取得したデータから要素オブジェクトを検知するステップＳ２と、検知された要素オブジェクトの組み合わせに基づいて状況認識を行うステップＳ３とを含んでいる。このような状況認識プログラムをコンピュータ上で実行することにより、教師データを再準備することなく判定基準を調整できる状況認識を行うことが可能である。

図３は、状況認識プログラムを実行するコンピュータのハードウェア構成例を示す図である。上記状況認識プログラムを実行するコンピュータ１３は、例えば、図３に示すハードウェア構成の装置として構成することができる。ただし、図３に示すハードウェア構成は、状況認識プログラムを実行するハードウェア構成の一例であり、このハードウェア構成を限定する趣旨ではない。また、本実施形態の状況認識プログラムを状況認識方法として実現するためのハードウェア構成も図３に示すハードウェア構成に限定するものではない。コンピュータ１３は、図３に示さないハードウェアを含むことができる。

図３に示すように、コンピュータ１３のハードウェア構成は、例えば内部バスにより相互に接続される、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４、主記憶装置１５、および補助記憶装置１６を備える。

ＣＰＵ１４は、コンピュータ１３が実行する状況認識プログラムを実行する。主記憶装置１５は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、コンピュータ１３が実行する状況認識プログラムなどをＣＰＵ１４が処理するために一時記憶する。

補助記憶装置１６は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、状況認識プログラムなどを中長期的に記憶しておくが可能である。状況認識プログラムは、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）に記録されたプログラム製品として提供することができる。補助記憶装置１６は、非一時的なコンピュータ可読記録媒体に記録されたケーブル接続作業支援プログラムを中長期的に記憶することに利用することが可能である。

（第２実施形態）
図４は、第２実施形態に係る状況認識装置の状況認識部を示す図である。第２実施形態に係る状況認識装置は、第１実施形態に係る状況認識装置１における状況認識部１１の内部構成についてのみ異なる。したがって、第２実施形態の説明では、第１実施形態に係る状況認識装置１と同一の構成については、同一の参照番号を引用することによって説明を省略する。

図４に示すように、第２実施形態に係る状況認識部１１は、前処理部１０１と前処理設定値保持部１１１と検知部１０２とモデル保持部１１２と判定処理部１０３と判定設定値保持部１１３とを備えている。

前処理部１０１は、検知部１０２でのオブジェクト検知をより適切に行うための前処理を行う。前処理としては、画像であれば、明るさやコントラスト、色調などの補正や、ノイズ除去やかすみ除去などの画像処理を行う。後段のオブジェクト検知での精度向上や計算資源の削減などの目的のために、正準化、標準化、ノイズ削減、単純化、抽象化、データ拡張などを行う。また、画像であれば、オブジェクト検知の判定対象領域の特定などを行う。後段のオブジェクト検知での精度向上や計算資源の削減などの目的のために、画像全体ではなく一部の領域に絞ることを行う。動画・映像・音声の経時データの場合には、時間領域的な範囲の特定（限定）も行う。

前処理設定値保持部１１１は、前処理部１０１での前処理のための設定値（パラメータ）を保持する。前処理部１０１は、前処理設定値保持部１１１から処理のための設定値（パラメータ）を取得する。

検知部１０２は、前処理部１０１で処理されたデータに対して、要素オブジェクト検知を行う。画像であれば、この画像の中に、ある要素オブジェクトがあるかどうかを検知し、その数・場所・領域・確信度を算出する。要素オブジェクトの検知は、例えば人の検知であれば、個人の特定ではなく、人かどうかというクラス（カテゴリ、種別）分類を意味する。この例では、人というクラスではなく、男性か女性か、大人か子供か、工事作業者かそれ以外か、などといったクラスでもよい。なお、特定のオブジェクトのみで構成されるクラスを設定してもよい。要素オブジェクトの検知は、特徴量を用いたモデルによる検知や、機械学習技術を用いたクラス分類による検知などにより実現される。

モデル保持部１１２は、検知部１０２での要素オブジェクト検知のためのモデル（判定モデル、判定アルゴリズム、判定方式、およびそれらの設定値（パラメータ））などを保持する。検知部１０２は、モデル保持部１１２から処理のためのモデルを取得する。このモデルは、後述のモデル作成装置２で作られ、このモデル保持部１１２に格納される。

判定処理部１０３は、検知部１０２で判定された結果を基に、状況（シーン）の判定を行う。画像であれば、この画像の中にある要素オブジェクトの種類・個数・位置・大きさなどから、この画像の状況（シーン）を判定する。この判定は、要素オブジェクトの組み合わせで行う。例えば道路状況の判定であれば、三角コーンだけ存在しても工事であると判定せず、三角コーンと工事フェンスと工事看板の複数が同時に存在すれば、それを工事であると判定するなどである。

また、この判定は、要素オブジェクトの重み付けられた組み合わせで行ってもよい。例えば道路状況の判定であれば、三角コーンと工事フェンスよりも工事看板の方に重点を置き、工事看板があれば判定結果の確信度への寄与を重み付ける（例えば寄与率を倍にする等）ことを行っても良い。判定結果は、判定した状況、および確信度などで表す。また、複数の状況・確信度の集合でもよい。判定した状況とは、例えば道路状況の判定であれば、工事現場か否かなどを表すものである。確信度とは、前記の判定した状況の確かさを表すものである。複数の状況とは、例えば道路状況の判定であれば、道路工事現場、建築現場、交通事故現場、除草作業などの複数の状況を意味する。

判定設定値保持部１１３は、判定処理部１０３での状況（シーン）判定のための設定値（パラメータ）を保持する。判定処理部１０３は、判定設定値保持部１１３から処理のための設定値（パラメータ）を取得する。

図５は、状況認識装置の動作の手順を示す図である。なお、第２実施形態に係る状況認識装置の動作の手順は、第１実施形態と同様に、状況認識方法として実施することも可能であり、図３に示したようなハードウェア構成のコンピュータ上で実行させる状況認識プログラムとしても実施することが可能である。

図５に示すように、最初に、計測部１０が画像などのデータを取得する（ステップＳ１０１）。一方、前処理部１０１が前処理設定値保持部１１１から、前処理設定値を取得する（ステップＳ１０２）。そして、前処理部１０１は、計測部１０から画像データを受け取り、前ステップで取得した前処理設定値を基に前処理を行う（ステップＳ１０３）。

また、検知部１０２は、モデル保持部１１２から、要素オブジェクト検知のためのモデルを取得する（ステップＳ１０４）。例えば、工事看板用モデル、工事サイン用モデル、工事フェンス用モデル、警備員用モデル、三角コーン用モデル、重機用モデルを取得するなどである。検知部１０２は、前処理部１０１から前処理された画像データを受け取り、前ステップで取得したモデルを基に要素オブジェクト検知を行う（ステップＳ１０５）。

ここで、モデルが複数あれば、ステップＳ１０４およびステップＳ１０５をモデルの数だけ繰り返す（ステップＳ１０６）。

判定処理部１０３は、判定設定値保持部１１３から、工事現場の判定のための工事現場判定基準としての判定設定値を取得する（ステップＳ１０７）。判定処理部１０３は、検知部１０２で判定された要素オブジェクト検知結果を受け取り、前ステップで取得した判定設定値を基に、工事現場かどうかの判定を行う（ステップＳ１０８)。

例えば、判定設定値として、工事看板、工事サイン、三角コーンがそれぞれ１つ以上存在することが工事現場であることの判定基準であると設定されている場合、検知部１０２で判定された要素オブジェクト検知結果に工事看板、工事サイン、三角コーンがそれぞれ１つ以上存在すれば、工事現場であると判定する。判定結果は、判定した状況、および確信度などで表す。また、複数の状況・確信度の集合でもよい。

結果出力部１２は、前ステップＳ１０７から判定結果を受け取り、表示装置にその結果を表示する（ステップＳ１０９)。

上記のような構成の状況認識装置１でも、要素オブジェクトを検知し、当該検知された要素オブジェクトの組み合わせに基づいて状況認識を行うので、事前に準備すべきデータは、要素オブジェクト毎である。つまり、相対的には準備すべきデータの量が少なくて済む。一方、要素オブジェクトの組み合わせに基づいて状況認識を行うので、事前のデータの再準備をすることなく、例えば重み付けの変更などにより判定基準を調整することが可能である。

（第３実施形態）
図６は、モデル作成装置の構成を示す図である。第３実施形態係る状況認識装置は、第１実施形態または第２実施形態に係る状況認識装置１にモデル作成装置２を追加したものである。ここで、状況認識装置１にモデル作成装置２を追加する方式は、状況認識装置１にモデル作成装置２を内蔵する方式でも、状況認識装置１の外部にモデル作成装置２を接続する方式であってもよい。また、以下の説明では、第１実施形態または第２実施形態と同一の構成については、同一の参照番号を引用することによって説明を省略する。

図６に示すように、モデル作成装置２は、データ管理部２０１とデータ保持部２１１と前処理部２０２と前処理設定値保持部２１２とモデル作成部２０３とモデル保持部２１３とモデル管理部２０４とを備えている。

データ管理部２０１は、モデルを生成するためのデータの管理を行う。機械学習によるモデル作成を行う場合は、教師データセットの管理を行う。例えば、要素オブジェクト毎にセットとしてデータ保持部２１１からそのデータセットを取得する。データは要素だけの意味を持つデータでもよいし、その要素の領域指定（バウンディングボックス等）の付加情報付きのデータでもよい。データ保持部２１１は、モデルを生成するために事前に準備されたデータ（データセット）を保持する。

前処理部２０２は、前処理部１０１と同等の機能を持つ。すなわち、画像であれば、明るさやコントラスト、色調などの補正や、ノイズ除去やかすみ除去などの画像処理を行う。後段のオブジェクト検知での精度向上や計算資源の削減などの目的のためには、正準化、標準化、ノイズ削減、単純化、抽象化、データ拡張などを行う。また、画像であれば、オブジェクト検知の判定対象領域の特定などを行う。後段のオブジェクト検知での精度向上や計算資源の削減などの目的のために、画像全体ではなく一部の領域に絞ることを行う。動画・映像・音声の経時データの場合には、時間領域的な範囲の特定（限定）も行う。

前処理設定値保持部２１２は、前処理設定値保持部１１１と同等の機能を持つ。すなわち、前処理部２０２での前処理のための設定値（パラメータ）を保持する。

モデル作成部２０３は、前処理部２０２で処理されたデータを用いて、各要素オブジェクトの検知のためのモデルの作成を行う。要素オブジェクト毎にモデルを作成し、作成したモデルをモデル保持部２１３に格納する。教師あり学習等の機械学習技術を用いる場合は、学習・訓練を行うことになる。モデルの検定・評価・検証も含めて行う。

モデル保持部２１３は、モデル作成部２０３で作成された要素オブジェクト検知のためのモデル（判定モデル、判定アルゴリズム、判定方式、およびそれらの設定値（パラメータ））などを保持する。なお、状況認識装置１にモデル作成装置２を内蔵する場合、モデル保持部２１３とモデル保持部１１２とを共通化することが可能である。

モデル管理部２０４は、モデルの管理と状況認識部１１へのモデル提供を行う。ここで、状況認識部１１へのモデル提供とは、状況認識部１１のモデル保持部１１２へモデルのデータ提供を行うことである。

なお、モデルは要素オブジェクト毎にある。例えば、三角コーン用モデル、工事フェンス用モデル、工事看板モデルなどである。また、複数要素オブジェクトを検知するモデルであってもよい。モデル管理とは、これらの複数のモデルを基とになったデータセットと紐づけたり、バージョン（版数）や更新履歴、性能値などと一緒に結びつけたり、アクセスや検索しやすいようにまとめたりすることなどを言う。モデルは前処理に依存したものであることもあるので、モデル管理部２０４は前処理設定値保持部２１２が持つ前処理設定値（パラメータ）も合わせてモデル提供してもよい。

図７は、モデル作成装置の動作の手順を示す図である。なお、モデル作成装置２の動作の手順は、状況認識方法の一部として実施することも可能であり、図３に示したようなハードウェア構成のコンピュータ上で実行させる状況認識プログラムの一部としても実施することが可能である。

図７に示すように、まず、データ管理部２０１がデータ保持部２１１から、教師画像データセットを取得する（ステップＳ２０１）。例えば、教師あり学習等の機械学習によるモデル作成を行う場合、対象モデルの作成に使う画像データとして、正例としての要素オブジェクトが存在する画像と負例としての他の要素オブジェクトが存在する画像を取得する。事前に、要素オブジェクトが存在する画像を教師データとして収集しデータ保持部２１１に格納しておく。データ管理部２０１は、前ステップで取得した教師画像データセットにおいて、ラベルやアノテーションとともに管理する（ステップＳ２０２）。

前処理部２０２は、前処理設定値保持部２１２から、前処理設定値を取得する（ステップＳ２０３）。前処理部２０２は、データ管理部２０１から教師画像データセットを受け取り、前ステップで取得した前処理設定値を基に前処理を行う（ステップＳ２０４）。

モデル作成部２０３は、前処理部２０２から教師画像データセットを受け取り、ここでの対象要素オブジェクトを検知する対象モデルの作成を行う（ステップＳ２０５）。また、作成したモデルをモデル保持部２１３に格納する（ステップＳ２０６）。モデルとしての情報（判定モデル、判定アルゴリズム、判定方式）の他、モデル作成（学習）に利用した設定値（ハイパーパラメータ、パラメータ）、対象教師画像データセットの情報、モデル作成時の検定・評価・検証結果なども併せて格納する。モデル管理部２０４は、これらのモデル（その他付加情報を含む）の配置や提供のための管理を行う。

モデルが複数あれば、ステップＳ２０１からステップＳ２０６をモデルの数だけ繰り返す（ステップＳ２０７）。

最後に、モデル管理部２０４が作成したモデルを状況認識部１１に配置し、道路工事現場検知システムの構築を行う（ステップＳ２０８）。

（第４実施形態）
ここで、第４実施形態について説明する。第４実施形態は、上記説明した実施形態を道路状況の認識に適用したものである。したがって、上記説明した実施形態と同一の構成については、同一の参照番号を引用することによって説明を省略する。

本実施形態においても状況認識装置１は、計測部１０と状況認識部１１と結果出力部１２とを備えている。

状況認識装置１の計測部１０は、車に搭載したカメラとする。具体的には、自動運転や運転支援システムで用いられるカメラや、ドライブレコーダーのカメラ、スマートフォンのカメラなどであり、それらはCMOS(Complementary metal-oxide-semiconductor)やCCD(charge-coupled device)イメージセンサなどのセンサから成り立つ。計測部１０は、例えば図８に示すような画像を取得する。計測部１０は、取得した画像のデータを状況認識部１１に出力する。

状況認識部１１は、車に搭載された情報処理装置であり、計測部１０から受け取った画像データを処理し結果出力部１２に情報処理結果を出力する。具体的には、車載コンピュータやスマートフォンなどである。また、計測部１０で取得したデータを通信によりサーバやクラウドなどの車外の情報処理装置に転送して情報処理・演算してもよい。

結果出力部１２は、車に搭載された表示装置であり、状況認識部１１から結果を受け取る。具体的には、インストルメントパネルなどの計器やディスプレイ、スマートフォンの画面などであり、人に状況認識部１１の判定結果を伝えることができる。また、状況認識部１１の判定結果および様々な情報を、別の車内外の装置に出力しても良い。この情報を別の装置が利用したり、記憶装置に記録したりしてもよい。

本実施形態においても状況認識部１１は、前処理部１０１と前処理設定値保持部１１１と検知部１０２とモデル保持部１１２と判定処理部１０３と判定設定値保持部１１３とを備えている。

前処理部１０１は、計測部１０から画像データを受け取り、後段の検知部１０２での画像解析などによるオブジェクト検知をより行いやすくするための前処理を行う。具体的には、以下のような処理を行う。全て行ってもよいし行わなくてもよく、またこれらに限らない。晴天や曇天などの環境の明るさの違いや照明変化に追随するために、画像の明るさやコントラストを整えて正準化・標準化する。朝昼晩の時間帯による色調の違いや、自然光と人工照明による違いなどを吸収するための色調などの補正を行い正準化・標準化する。雨や雪、またはゴミや埃などのノイズ除去やかすみ除去などを行う。

また、後段の検知部１０２での精度向上や計算資源の削減などの目的のために、次のような前処理を行ってもよい。画像から検知部１０２でのオブジェクト検知に明らかに必要がない部分を削除したり、画像全体ではなく一部の領域に絞るためのバウンディングボックスなどの領域を示す情報を算出したりする。例えば、エッジ検出などの技術により道路の形状を認識し、消失点やパース等から判定対象領域を特定・限定する。また、工事現場に多い赤色や橙色、黄色、緑色、青色などの特定の色域の領域を検知しそれらの集積箇所を特定して、判定対象の領域を特定・限定する。

前処理設定値保持部１１１は、前記の前処理部１０１での前処理のための設定値（パラメータ）を保持する。具体的には、この設定値（パラメータ）を保持するデータベースである。前処理部１０１は、前処理設定値保持部１１１から処理のための設定値（パラメータ）を取得する。

検知部１０２は、前処理部１０１で処理された画像データに対して、複数の要素オブジェクト検知を行い、要素オブジェクト検知結果を生成し、判定処理部１０３に要素オブジェクト検知結果を出力する。

例えば、図８の画像の例では、「工事看板Ａ」、「工事サインＢ」、「工事フェンスＣ」、「警備員Ｄ」、「三角コーンＥ」、「重機Ｆ」などの要素オブジェクトがあるかどうかを検知し、その数・場所・領域・確信度を算出し、これらをまとめた要素オブジェクト検知結果を生成する。

この要素オブジェクトの検知は、特徴量を用いたモデルによる検知や、機械学習技術を用いたクラス分類による検知などにより実現される。この要素オブジェクト検知のためのモデル（判定モデル、判定アルゴリズム、判定方式、およびそれらの設定値（パラメータ））は、モデル保持部１１２から取得する。

モデル保持部１１２は、検知部１０２での要素オブジェクト検知のためのモデル（判定モデル、判定アルゴリズム、判定方式、およびそれらの設定値（パラメータ））などを保持する。具体的には、これらのモデルおよびパラメータセットを保持するデータベースである。このモデルとは、例えば「工事看板Ａ」、「工事サインＢ」、「工事フェンスＣ」、「警備員Ｄ」、「三角コーンＥ」、「重機Ｆ」などをそれぞれ検知するモデルおよびそのパラメータセットである。要素オブジェクトを検知するモデルは、画像処理におけるオブジェクト検知アルゴリズムや機械学習モデルなどである。

判定処理部１０３は、検知部１０２で判定された要素オブジェクト検知結果を基に、工事現場かどうかの判定を行う。この判定は、要素オブジェクト検知結果を用い、要素オブジェクトの組み合わせがどのようなものであるかから判定を行う。

例えば、図８の画像の例では、要素オブジェクト検知結果には、「工事看板Ａ」、「工事サインＢ」、「工事フェンスＣ」、「警備員Ｄ」、「三角コーンＥ」、「重機Ｆ」の検知結果がある。一方、工事現場判定基準として、「工事看板」、「工事サイン」、「三角コーン」がそれぞれ１つ以上存在することとして判定する。これにより、道路工事現場の判定であれば、三角コーンだけ存在しても工事であると判定せず、工事看板と工事サインと三角コーンの複数が同時に存在すれば、それを工事であると判定することができる。

判定結果は、道路工事現場であるかどうかであってもよいし、道路工事現場である確信度であってもよい。この確信度は、要素オブジェクト検知結果から求められる。例えば、要素オブジェクト検知結果のそれぞれの確信度の平均であったり、判定基準にない「工事フェンス」、「警備員」、「重機」が存在すればより確信度を上げるといったりすることを行う。

工事現場判定基準は、要素オブジェクトの種類・個数・位置・大きさなどの満たすべき基準であり、判定設定値保持部１１３で判定設定値として保持している。判定設定値保持部１１３は、判定処理部１０３での工事現場の判定のための工事現場判定基準としての判定設定値（パラメータ）を保持する。具体的には、この判定設定値（パラメータ）を保持するデータベースである。本実施例では、前記のように、「工事看板」、「工事サイン」、「三角コーン」がそれぞれ１つ以上存在することが設定されている。

本実施形態においてもモデル作成装置２は、データ管理部２０１とデータ保持部２１１と前処理部２０２と前処理設定値保持部２１２とモデル作成部２０３とモデル保持部２１３とモデル管理部２０４とを備えている。

データ管理部２０１は、要素オブジェクト検知のためのモデル（判定モデル、判定アルゴリズム、判定方式、およびそれらの設定値（パラメータ））を生成するための画像データの管理を行う。

機械学習によるモデル作成を行う場合は、教師画像のデータセットの管理を行う。本実施例の場合は、「工事看板」、「工事サイン」、「工事フェンス」、「警備員」、「三角コーン」、「重機」の各要素の教師画像のデータセットの管理を行う。

この管理の主な機能は、上記の要素オブジェクト毎にセットとしてデータ保持部２１１からそのデータセットを取得し、後段の前処理部２０２に提供することである。このデータは要素だけの意味を持つデータでもよいし、その要素の領域指定（バウンディングボックス等）の付加情報付きのデータでもよい。

また、後述のモデル管理部２０４と連携して、データセットのバージョン（版数）管理や更新履歴管理、モデル検証での性能値や実運用からのフィードバック情報との紐付け管理、アクセスや検索しやすいようにインデックス生成や統合管理などを行う。

データ保持部２１１は、データ管理部２０１で管理するデータ（データセット）を保持する。具体的には、このデータ（データセット）を保持するデータベースである。本実施例の場合、このデータ（データセット）とは、「工事看板」、「工事サイン」、「工事フェンス」、「警備員」、「三角コーン」、「重機」の各要素の教師画像のデータ、およびラベルやアノテーション、領域等の付加情報の集合である。

前処理部２０２は、前処理部１０１と同等の機能を持つ。また、前処理設定値保持部２１２は、前処理設定値保持部１１１と同等の機能を持つ。

モデル作成部２０３は、前処理部２０２で処理された画像データを用いて、各要素オブジェクト検知のためのモデルの作成を行い、作成したモデルをモデル保持部２１３に格納する。具体的には、本実施例の場合、 「工事看板」、「工事サイン」、「工事フェンス」、「警備員」、「三角コーン」、「重機」の各要素のオブジェクト検知モデルを作成する。教師あり学習等の機械学習によるモデル作成を行う場合は、各要素の教師画像のデータセットから、学習・訓練を行い、モデル作成を行う。モデルの作成には、単なる学習・訓練だけでなく、モデルの検定・評価・検証も含めて行ってもよい。

モデル保持部２１３は、モデル作成部２０３で作成された要素オブジェクト検知のためのモデル（判定モデル、判定アルゴリズム、判定方式、およびそれらの設定値（パラメータ））などを保持する。具体的には、本実施例の場合、 「工事看板」、「工事サイン」、「工事フェンス」、「警備員」、「三角コーン」、「重機」の各要素のオブジェクト検知モデルを保持する。

モデル管理部２０４は、要素オブジェクト検知のためのモデルの管理と状況認識部１１へのそのモデル提供を行う。

本実施形態におけるモデルは要素オブジェクト毎にある。具体的には、工事看板用モデル、工事サイン用モデル、工事フェンス用モデル、警備員用モデル、三角コーン用モデル、重機用モデルである。また、複数要素オブジェクトを検知するモデルであってもよい。例えば、工事看板と工事サインを多クラス（多カテゴリー）で分類するモデル（マルチクラスモデル）であってもよい。

このモデル管理部２０４の主な機能は、状況認識部１１にこれらのモデル提供を行うことである。状況認識部１１へのモデル提供とは、製造時に配置したり、サーバやクラウドなどから取得したりすることなどを意味する。

モデル管理とは、これらの複数のモデルを基とになったデータセットと紐づけたり、バージョン（版数）や更新履歴、性能値などと一緒に結びつけたり、アクセスや検索しやすいようにまとめたりすることなどを言う。これにより、状況認識部１１へ柔軟にモデルおよび付加情報を提供することができる。また、モデルは前処理に依存したものであることもあるので、モデル管理部２０４は前処理設定値保持部２１２が持つ前処理設定値（パラメータ）も合わせてモデル提供してもよい。

なお、上記実施形態では道路工事現場を検知するものであったが、道路工事のうち掘削に関わる現場のみを検知するものとしてもよい。

（第５実施形態）
ここで、第５実施形態について説明する。第５実施形態は、状況認識の前に前判断を行うようにした実施形態である。したがって、上記説明した実施形態と同一の構成については、同一の参照番号を引用することによって説明を省略する。

図９は、第５実施形態に係る状況認識装置の構成を示す図である。図９に示すように、状況認識装置１は、１つもしくは複数の計測部１０ａ，１０ｂと前判断部１７と状況認識部１１と結果出力部１２とを備えている。

１つもしくは複数の計測部１０ａ，１０ｂは、他の実施形態と同様に、それぞれをカメラや、ドライブレコーダーのカメラ、スマートフォンのカメラなどにすることができる。また、複数の計測部１０ａ，１０ｂは、同一のものに限らず、カメラと波長センサなど異なる種類のセンサを組み合わせることも可能である。

前判断部１７は、１つもしくは複数の計測部１０ａ，１０ｂから受け取った画像データを処理し、状況認識部１１による状況認識の前に状況認識を実行させるかの前判断を行い、状況認識を行うと判断した場合に状況認識部１１に画像データを出力する。これは、無駄な状況認識を避け計算資源の削減を行うためである。

なお、状況認識部１１および結果出力部１２は、他の実施形態と同様に構成することができるのでここでは説明を省略する。また、本実施形態においても、状況認識装置１がモデル作成装置２を備えてもよい。

図１０は、前判断部の動作の手順を示す図である。図１０に示すように、まず、１つもしくは複数の計測部１０ａ，１０ｂが画像データを取得する（ステップＳ５０１）。

一方、前判断部１７は、前判断条件を以下のように取得する（ステップＳ５０２)。なお、以下で説明する前判断条件は例示であり、また、これらは１つもしくは複数を組み合わせて用いることができる。

［マップ情報による前判断］
GPS（全地球測位システム）等で取得した位置情報と、事前に準備もしくはサーバ等に問い合わせ等して取得したマップ情報との組み合わせを１つの前判断条件とする。これは自分の位置にある工事が、例えば許可されているものかどうかを判断して、後段の状況認識が必要か不要かを判断するためである。マップ情報とは、どの位置の工事を判定する必要があるか不要であるかが記された情報である。例えば、許可された工事は判定不要である、必要な道路（対象となる道路）以外は判定不要であるなどである。

［工事情報による前判断］
画像データから工事看板の文字を読み取りその読み取った文字情報と、事前に準備もしくはサーバ等に問い合わせ等して取得した工事情報との組み合わせを１つの前判断条件とする。これは画像データで読み取った工事が、例えば許可されているものかどうかを判断して、後段の状況認識が必要か不要かを判断するためである。工事情報とは、工事目的・工事名、工事期間、工事種別、工事の発注者や施工者などの情報である。

前判断部１７は、上記のような前判断条件から、後段の状況認識が必要か不要かを判断する（ステップＳ５０３）。

例えば、マップ情報による前判断の場合、位置情報の位置（場所、領域）が、マップ情報にある判定が必要な工事もしくは道路であれば、後段の状況認識が必要であると判定し、それ以外を不要と判定する。

例えば、工事情報による前判断の場合、文字情報の工事目的・工事名、工事期間、工事種別、工事の発注者や施工者などが、工事情報にある判定が不要な工事であれば、後段の状況認識が不要であると判定し、それ以外を必要と判定する。

そして、前判断部１７は、状況認識が必要と判定された画像データのみを、状況認識部１１に出力する（ステップＳ５０４）。

図１１は、状況認識装置の動作の手順を示す図である。第５実施形態に係る状況認識装置の動作の手順は、他の実施形態と同様に、状況認識方法として実施することも可能であり、図３に示したようなハードウェア構成のコンピュータ上で実行させる状況認識プログラムとしても実施することが可能である。

図１１に示すように、まず、車載カメラなどの１つもしくは複数の計測部１０ａ，１０ｂが画像データを取得する（ステップＳ６０１）。複数の車載カメラがある場合は、複数の画像データを取得する。この複数の車載カメラとは、例えば、前方を撮影するカメラと側方を撮影するカメラなどである。これは、複数のカメラ画像を使うことで判定精度を上げるためである。また、時間的な間隔を開けて撮影した時間差画像データでもよい。例えば、１秒前に撮影した画像と現在撮影した画像の２つの画像などである。これは、車が走行することで別の異なる視点から撮影した別の画像を用いることで、死角に隠れていた要素オブジェクトの認識をしやすくし、より判定精度を上げるためである。

次に、前処理部１０１が、前処理設定値保持部１１１から前処理設定値を取得する（ステップＳ６０２）。なお、複数の車載カメラがある場合は、異なる前処理設定でもよい。そして、前処理部１０１は、計測部１０から１つもしくは複数の画像データを受け取り、前ステップで取得した前処理設定値を基に前処理を行う（ステップＳ６０３）。複数の車載カメラがある場合は、異なる前処理でもよい。

検知部１０２は、モデル保持部１１２から、要素オブジェクト検知のためのモデルを取得する（ステップＳ６０４）。例えば、工事看板用モデル、工事サイン用モデル、工事フェンス用モデル、警備員用モデル、三角コーン用モデル、重機用モデルを取得するなどである。検知部１０２は、前処理部１０１から前処理された１つまたは複数の画像データを受け取り、前ステップで取得したモデルを基に要素オブジェクト検知を行う（ステップＳ６０５）。モデルが複数あれば、ステップＳ６０４およびステップＳ６０５を繰り返す（ステップＳ６０６）。

次に、判定処理部１０３は、判定設定値保持部１１３から、工事現場の判定のための工事現場判定基準としての判定設定値を取得する（ステップＳ６０７）。例えば、判定設定値として、工事看板、工事サイン、三角コーン、警備員、重機がそれぞれ１つ以上存在することが工事現場であることの判定基準であるとの設定と、重機の重みが他と比べて２倍であるといった設定である。

判定処理部１０３は、検知部１０２で判定された１つもしくは複数の要素オブジェクト検知結果を受け取り、前ステップで取得した判定設定値を基に、工事現場かどうかの判定を行う（ステップＳ６０８)。ここでは、複数画像データを用いるために、以下のような判定を用いる。

［複数画像データによる判定］
複数画像データがある場合、それらの画像データに対する複数の要素オブジェクト検知結果があるが、これらの和（合計）を取ったり、重複オブジェクトを除外してまとめたりして、その結果に対し、判定設定値を基に、工事現場かどうかの最終的な判定を行ってもよい。

また、複数の要素オブジェクト検知結果に対し、判定設定値を基に、工事現場かどうかの判定を行って、その複数の結果に対し、多数決をとったり確信度の高い方を優先したりして、工事現場かどうかの最終的な判定を行ってもよい。

［重み付けによる判定］
重み付けによる判定を行う場合、例えば、判定設定値として、工事看板、工事サイン、三角コーン、警備員、重機がそれぞれ１つ以上存在することが工事現場であることの判定基準であるとの設定と、重機の重みが他と比べて優先であるとの設定の場合、検知部１０２で判定された要素オブジェクト検知結果に工事看板、工事サイン、三角コーン、警備員、重機がそれぞれ１つ以上存在すれば、工事現場であると判定するが、重機の重みにより判定結果もしくは確信度を調整してもよい。

重みにより判定結果を調整するとは、例えば、工事看板、工事サイン、三角コーン、警備員、重機がそれぞれ１つ以上存在することが工事現場であることの判定基準である場合、重機の重みが他と比べて優先であるとすると、重機以外のオブジェクトが存在しなくても、工事現場であると判断するなど、優先的な判定を行うなどを意味する。

重みにより判定結果の確信度を調整するとは、検知部１０２で判定された要素オブジェクト検知結果の中の優先すべき該当要素オブジェクトの確信度を指定された優先方法で調整することをいう。本実施例の場合、例えば、重機の重みが２倍であるとの設定であれば、上記の重機の確信度を２倍することになる。

判定結果は、判定した状況、および確信度などで表す。また、複数の状況・確信度の集合でもよい。

結果出力部１２は、判定結果を受け取り、表示装置にその結果を表示する（ステップＳ６０９)。

以上、本発明を実施形態に基づいて説明してきたが、ここで上記説明した実施形態に共通する効果について説明する。

[データ準備の容易性]
本発明の実施形態では、事前に準備するデータは要素オブジェクト毎でよい。例えば、工事現場のバリエーションは無限であり、事前に工事現場のあらゆる画像データを準備するのは現実的にはできない。しかしながら、本発明の実施形態では、「工事看板」、「工事サイン」、「工事フェンス」、「警備員」、「三角コーン」、「重機」に限定することができる。

教師あり学習等の機械学習を用いて工事現場を検出（分類）する場合、工事現場のバリエーションは非常に多いため、その分教師データを多量に準備する必要がある。また、ルールや特徴量を用いた判定方式の場合、様々な工事現場のバリエーションに対応できる多量のルールやアルゴリズムの構築が必要となる。

一方、本発明の実施形態は、多種多様の教師データを事前に大量に準備したり大量のルールを準備したりすることなく、限定された種別の少数の教師データを準備するだけで、工事現場であるかどうかの判定ができる。

[解釈可能性]
本発明の実施形態における判定は、複数の各要素オブジェクトが存在するかどうかの真偽、各要素の個数、もしくは要素オブジェクト毎の確信度を基に判断して出すことができるため、本システムが判断した結果を解釈することができる（解釈可能性の存在）。

つまり、判定結果は、工事現場であるかどうかの真偽やその確信度だけでなく、どういう判断・推論結果だったのかをユーザもしくは開発者に提示することができる。これにより、モデルやデータの正当性や性能を判断することができ、モデルのチューニングやデータセットの調整などに利用することができる。

[チューニング可能性]
本発明の実施形態は、判定設定値により判定基準を決定しているため、判定基準を調整（チューニング）することができる。

本発明の実施形態は、例えば、判定設定値として、工事看板、工事サイン、三角コーンがそれぞれ１つ以上存在することが工事現場であることの判定基準であると設定されているが、三角コーンを３つ以上に変更したり、あるいは新たに「警備員」が１つ以上という条件を追加したりすることができる。これは、教師データを再準備したり、あるいは学習をやり直したりすることなく、調整（チューニング）ができることを意味する。

また、「工事看板」、「工事サイン」、「工事フェンス」、「警備員」、「三角コーン」、「重機」のモデルを前提にしていたが、新たに「工事用照明」といった別の要素モデルを追加することができ、判定基準に加えることができる。これは、すでに作成済みモデルを再度作成しなおすことなくできる。

[頑健性]
本発明の実施形態における判定結果は、複数の種類の複数の要素オブジェクトが存在するかどうか等で判断して出すため、多少の誤検知や検出漏れに対して判定結果は頑健である。すなわち、検出対象のオブジェクトが別のオブジェクトで隠されていたり（オクルージョン）、照明やノイズの影響があったりして、誤検知もしくは検出漏れがあっても、判定結果への影響は少ないという効果がある。

[モデルの軽量性]
本発明の実施形態における判定では、要素オブジェクトごとにモデルを作成し、その要素オブジェクトごとのモデルを用いる。このような要素オブジェクトを検知するモデルは、工事現場全体の検知を１つのモデルで行うモデルよりも軽量であるため、モデル保持部１１２の容量低減の効果が期待できる。また、同様に、検知部１０２での計算量の低減の効果も期待できる。

[データの軽量性]
本発明の実施形態における判定では、前処理部１０１では画像から検知部でのオブジェクト検知に明らかに必要がない部分を削除してもよい。すなわち、計測部１０から取得した画像データの全ては不要であることを意味する。したがって、前処理部１０１から検知部１０２が受け取る前処理された画像データは軽量となる（データ量の削減）効果が期待できる。

なお、本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（少なくとも部分的な非選択を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、修正を含むことはもちろんである。特に、本書に記載した数値範囲について、当該範囲内に含まれる任意の数値ないし小範囲が別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。また、引用した上記の特許文献等の各開示は、本書に引用をもって織り込むものとする。

１ 状況認識装置
２ モデル作成装置
１０、１０ａ、１０ｂ 計測部
１１ 状況認識部
１２ 結果出力部
１３ コンピュータ（ハードウェア構成）
１４ ＣＰＵ
１５ 主記憶装置
１６ 補助記憶装置
１７ 前判断部
１０１ 前処理部
１０２ 検知部
１０３ 判定処理部
１１１ 前処理設定値保持部
１１２ モデル保持部
１１３ 判定設定値保持部
２０１ データ管理部
２０２ 前処理部
２０３ モデル作成部
２０４ モデル管理部
２１１ データ保持部
２１２ 前処理設定値保持部
２１３ モデル保持部

Claims (10)

1. 認識すべき状況のデータを取得する計測部と、
   前記計測部が取得したデータから要素オブジェクトを検知し、前記検知された要素オブジェクトの組み合わせに基づいて状況認識を行う状況認識部と、
   前記状況認識部が判定した結果を出力する結果出力部と、
   を備えることを特徴とする状況認識装置。
2. 前記状況認識部は、
   前記要素オブジェクト毎のモデルを保持するモデル保持部と、
   前記モデル保持部が保持するモデルのそれぞれに基づいて前記データから要素オブジェクトを検知する検知部とを有する、
   ことを特徴とする請求項１に記載の状況認識装置。
3. 前記モデルは、事前に準備された教師データを用いた機械学習によって作成されたものであることを特徴とする請求項２に記載の状況認識装置。
4. 前記モデルは、事前に準備されたデータから作成された特徴量を用いたものであることを特徴とする請求項２に記載の状況認識装置。
5. 事前に準備したデータから前記モデルを作成するモデル作成装置をさらに備える、ことを特徴とする請求項２から請求項４のいずれか１項に記載の状況認識装置。
6. 前記状況認識部は、
   前記要素オブジェクトの組み合わせに基づいて状況認識を行う判断基準を変更可能に保持する判定設定保持部と、
   前記判定設定保持部に保持された判定基準に基づいて状況認識を行う判定処理部とを有する、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の状況認識装置。
7. 前記要素オブジェクトの検知は、ある要素オブジェクトがデータ中に存在するか否かを検知するものであることを特徴とする請求項１から請求項６のいずれか１項に記載の状況認識装置。
8. 前記計測部は、車載カメラであり、
   前記要素オブジェクトは、道路工事現場に配置される工事物である、
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の状況認識装置。
9. 認識すべき状況のデータを取得し、
   前記取得したデータから要素オブジェクトを検知し、
   前記検知された要素オブジェクトの組み合わせに基づいて状況認識を行う、
   ことを特徴とする状況認識方法。
10. 認識すべき状況のデータを取得するステップと、
    前記取得したデータから要素オブジェクトを検知するステップと、
    前記検知された要素オブジェクトの組み合わせに基づいて状況認識を行うステップと、
    をコンピュータに実行させることを特徴とする状況認識プログラム。

Images