JP2018092489A - 分類装置、分類方法およびプログラム - Google Patents

分類装置、分類方法およびプログラム Download PDF

Info

Publication number
JP2018092489A
JP2018092489A JP2016237056A JP2016237056A JP2018092489A JP 2018092489 A JP2018092489 A JP 2018092489A JP 2016237056 A JP2016237056 A JP 2016237056A JP 2016237056 A JP2016237056 A JP 2016237056A JP 2018092489 A JP2018092489 A JP 2018092489A
Authority
JP
Japan
Prior art keywords
light
information
pattern
unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016237056A
Other languages
English (en)
Inventor
安藤　丹一
Tanichi Ando
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2016237056A priority Critical patent/JP2018092489A/ja
Priority to EP17878608.3A priority patent/EP3553461A4/en
Priority to PCT/JP2017/010016 priority patent/WO2018105138A1/ja
Priority to CN201780062368.2A priority patent/CN109844450B/zh
Publication of JP2018092489A publication Critical patent/JP2018092489A/ja
Priority to US16/386,431 priority patent/US11475294B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を検出可能な分類装置、分類方法及びプログラムを提供する。【解決手段】空間状態検出装置４は、投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定部４４と、所定の空間に投光された投光パターンの情報を取得して、特定部４４に出力する投光情報取得部４２と当該所定の空間からの光を受光した受光パターンの情報を取得して、特定部４４に出力する受光部４３と、備える。特定部４４は、投光情報取得部４２が取得した当該投光パターンの情報と、受光部４３が受光した当該受光パターンの情報とに基づいて、当該所定の空間の状態を分類した分類結果を出力する。【選択図】図５

Description

本発明は、ニューラルネットワークにより学習された分類器を用いた、分類装置、分類方法およびプログラムに関する。
赤外線などの光を用いて、物体の存在や状態を検出する技術が開発されている。特許文献１には、赤外線深度センサを用いて、胴体の３次元的動きを検出する動体３次元運動検出方法が開示されている。特許文献１に記載の動体３次元運動検出方法は、可視光を遮断し赤外線を透過する遮蔽板を介して、反対側で動く動体の表面の各点を赤外線深度センサで時系列的に検出し、検出した当該各点の隣接点間を接続線で結ぶことにより、当該動体１２の表面を接続線のメッシュで表わす。そして、当該メッシュより、各時点における動体１２の特徴点を抽出し、その時系列的変化により、当該動体の３次元的動きを検出する。
特開２０１４−５９６５４号公報
ここで、特許文献１に記載の動体３次元運動検出方法のように、赤外線などの光により所定の空間の状態を検出するためには、当該所定の空間の状態を示す情報と、光のパターンとの関係を分析する必要がある。しかしながら、光のパターンは、直接入射する光の経路および反射する光の経路の存在により、多数かつ複雑となる。そのため、通常のプログラミングにより、光のパターンを用いて所定の空間の状態を判定可能な判定プログラムを作成することは、時間とコストの増加につながる。
本発明の目的は、上記問題に鑑み、判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を分類可能な分類装置、分類方法およびプログラムを提供することである。
本発明の一形態における分類装置は、投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定部と、所定の空間に投光された投光パターンの情報を取得して、当該特定部に出力する投光情報取得部と、当該所定の空間からの光を受光した受光パターンの情報を取得して、当該特定部に出力する受光部と、を備え、当該特定部は、当該投光情報取得部が取得した当該投光パターンの情報と、当該受光部が受光した当該受光パターンの情報とに基づいて、当該所定の空間の状態を分類した分類結果を出力する。
上記構成を備える分類装置は、判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を分類可能である。
本発明の一形態における分類装置において、当該投光情報取得部は、当該所定の空間内の対象に対して投光された投光パターンの情報を取得して、当該特定部に出力し、当該受光部は、当該所定の空間内の対象に対して投光された光の受光パターンを取得して、当該特定部に出力し、当該特定部は、当該所定の空間内における当該対象の存在または状態を分類した分類結果を出力することを特徴としてもよい。
上記構成を備える分類装置は、所定の空間内の対象に対する光の投光パターンおよび当該光の受光パターンを分類に用いることにより、当該所定の空間内の対象の存在または状態を分類することが可能となる。
本発明の一形態における分類装置において、当該特定部は、予め与えられた空間の状態に対して投光された投光パターンの情報と、当該予め与えられた空間からの光を受光した受光パターンの情報を使って、当該空間の状態を分類する学習を行ったニューラルネットワークを組み込んだことを特徴としてもよい。
上記構成を備える分類装置は、予め与えられた空間の状態についてニューラルネットワークの学習を行うことにより、当該ニューラルネットワークに教師あり学習を行わせることが可能となる。
本発明の一形態における分類装置において、当該特定部は、複数の投光パターンの情報と、当該複数の投光パターンの各々で投光された光を受光した受光パターンの情報を使って、当該空間の状態を分類する学習を行ったニューラルネットワークを組み込んだことを特徴としてもよい。
上記構成を備える分類装置は、複数の投光パターンの情報を用いてニューラルネットワークの学習を行うことにより、光を投光する投光部の数が所定数であっても、異なる投光パターンの各々を用いて学習データを作成することができ、当該学習データを増やすことが可能となる。
本発明の一形態における分類装置において、当該特定部は、当該投光パターンの情報と、当該受光パターンの情報と、当該空間の状態に関する情報とを対応付けた学習データを使って、当該空間の状態を分類する学習を行ったニューラルネットワークを組み込んだことを特徴としてもよい。
上記構成を備える分類装置は、投光パターンの情報と、受光パターンの情報と、空間の状態に関する情報とを対応付けた学習データにより、ニューラルネットワークに教師あり学習を行わせることができ、赤外線などの光を用いて所定の空間の状態を分類可能である。
本発明の一形態における分類装置において、当該特定部は、当該投光パターンの情報と当該受光パターンの情報に加えて、補助センサからの補助情報を使って、空間の状態を分類する学習を行ったニューラルネットワークを組み込むことを特徴としてもよい。
上記構成を備える分類装置は、赤外線などの光を投光および受光するセンサに加えて、様々な補助センサを用いることにより、所定の空間の状態の検出能力をより高めることが可能となる。
上本発明の一形態における分類方法は、投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定ステップと、所定の空間に投光された投光パターンの情報を取得して、当該特定部に出力する投光情報取得ステップと当該所定の空間からの光を受光した受光パターンの情報を取得して、当該特定部に出力する受光ステップと、を含み、当該特定ステップにおいて、取得した当該投光パターンの情報と、受光した当該受光パターンの情報とに基づいて、当該所定の空間の状態を分類した分類結果を出力することを特徴とする。
上記構成を備える分類方法は、判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を分類可能である。
本発明の一形態におけるプログラムは、投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定機能と、所定の空間に投光された投光パターンの情報を取得して、当該特定部に出力する投光情報取得機能と、当該所定の空間からの光を受光した受光パターンの情報を取得して、当該特定部に出力する受光機能と、を含み、当該特定機能において、取得した当該投光パターンの情報と、受光した当該受光パターンの情報とに基づいて、当該所定の空間の状態を分類した分類結果を出力することをコンピュータに実行させることを特徴とする。
上記構成を備えるプログラムは、判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を分類可能である。
本発明の分類装置、分類方法およびプログラムによれば、判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を検出することが可能となる。
本発明の第１の実施形態における、分類システムの概要を説明するための図である。 本発明の第１の実施形態における、学習用システムの構成例を示す図である。 本発明の第１の実施形態における、学習環境準備装置の構成例を示す図である。 本発明の第１の実施形態における、学習装置の構成例を示す図である。 本発明の第１の実施形態における、空間状態検出装置の構成例を示す図である。 本発明の第１の実施形態における、学習環境準備装置の動作例である。 本発明の第１の実施形態における、学習装置の動作例である。 本発明の第１の実施形態における、空間状態検出装置の動作例である。 本発明の第１の実施形態における、投光パターンの例を示す図である。 本発明の第１の実施形態における、投光パターンの他の例を示す図である。 本発明の第１の実施形態における、受光パターンの例を示す図である。 本発明の第２の実施形態における、学習環境準備装置の構成例を示す図である。 本発明の第２の実施形態における、空間状態検出装置の構成例を示す図である。
＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。
（概要）
本発明の第１の実施形態は、センサによる測定情報から機械学習を行い、当該機械学習によって学習した検出機能を用いて、所定の空間の状態を検出するものである。
図１は、本発明の第１の実施形態における、分類システムの概要を説明するための図である。図１に示すように、本発明の第１の実施形態における分類システムは、まず、（１）学習データ作成システム１により、学習データの作成を行う。学習データ作成システム１は、センサによる検出対象の測定情報と、所定の空間の状態に関する情報とに基づいて、教師データ（学習データ）を作成する。
次に、（２）学習サービスシステム２は、学習データ作成システム１が作成した学習データにより、ニューラルネットワークにおける“教師つき学習”を行う。学習サービスシステム２では、ニューラルネットワークに対して教師データ（学習データ）を順に入力することにより、当該ニューラルネットワークの各層のパラメータ（重み）を調整し、理想的な出力（分類）が可能な分類器を作成する。
そして、（３）空間状態検出装置（分類装置）は、作成した分類器を用いて、所定の入力（センサによる測定情報）を与えた際に、その空間状態（物体の状態）を分類する。
（システム構成について）
図２は、本発明の第１の実施形態における、学習用システムの構成例を示す図である。図２に示すように、学習用システムは、学習データ作成システム１と、学習サービスシステム２と、ネットワーク３とを含む。
ネットワーク（ＮＷ）３は、学習データ作成システム１と学習サービスシステム２とを相互に接続するための通信網である。ＮＷ３は、例えば、有線ネットワークや無線ネットワークである。具体的には、ＮＷ３は、ワイヤレスＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）や広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）、ＩＳＤＮｓ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋｓ）、無線ＬＡＮｓ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）などである。なお、ＮＷ３は、これらの例に限られず、例えば、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ：ＰＳＴＮ）やブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、衛星通信などであってもよく、どのようなＮＷであってもよい。
（学習データ作成システム１の構成例）
学習データ作成システム１は、学習データを作成するためのシステムである。図２に示すように、学習データ作成システム１は、通信部１０と、学習環境準備装置１１と、学習データ管理装置１２と、学習データ入力装置１３とを含む。
通信部１０は、学習データ作成システム１の通信を実行するための通信インターフェースである。学習データ管理装置１２は、通信部１０を介して、各種データを送受信する。
学習データ管理装置１２は、学習環境準備装置１１が生成した教師データである学習データを管理するための装置である。学習データ管理装置１２は、学習サービスシステム２からの要求に応じて、教師データである学習データを、学習環境準備装置１１から読み出し、当該学習サービスシステム２に通知する。
学習データ入力装置１３は、所定の空間の状態に関する測定情報を収集し、または入力を受け付け、学習環境準備装置１１に対して当該測定情報を提供するための装置である。所定の空間の状態は、検出対象である人や物、ロボットなどの位置や状態に関する情報である。例えば、学習データ入力装置１３は、投光部の投光パターンや、受光部の配置パターンなどの測定情報を取集しまたは入力を受け、学習環境準備装置１１に対して提供する。
学習環境準備装置１１は、教師データである学習データを作成するための装置である。学習環境準備装置１１が生成する学習データは、例えば、教師ありの学習データである。学習環境準備装置１１は、学習データを作成して、学習サービスシステム２に提供する。
（学習環境準備装置１１の構成例）
図３は、本発明の第１の実施形態における、学習環境準備装置１１の構成例を示す図である。
学習環境準備装置１１は、図３に示すように、通信部１１０と、投光部１１１と、投光情報取得部１１２と、受光部１１３と、空間状態情報入力部１１４と、検出部１１５と、学習データベース（ＤＢ）１１５とを含む。
通信部１１０は、学習環境準備装置１１の通信を実行するための通信インターフェースである。検出部１１５と、学習ＤＢ１１６は、通信部１１０を介して、各種データの送受信を行う。
投光部１１１は、赤外線などの光を投光する機能を備える。投光部１１１は、センサの一部である。投光部１１１は、所定のパターンで赤外線などの光を投光可能である。
投光情報取得部１１２は、投光部１１１による赤外線などの光の投光パターンを検出する機能を備える。なお、投光部１１１の投光パターンは、予め定められていてもよいし、ランダムであってもよい。投光情報取得部１１２は、予め定められた投光パターンを取得してもよいし、投光部１１１からの投光を検知し、投光パターンを検出してもよい。
また、投光情報取得部１１２は、投光部１１１による投光情報を取得する機能を備える。投光情報は、対象に対してどのような光が照射されているか、に関する情報である。投光情報取得部１１２は、投光部が対象に対してどのような光を照射するかに関する情報を取得する。例えばどの投光素子が点灯しているか、という情報を出力する。輝度や色に関する情報を含んでも良い。それらを組み合わせた投光パターンの識別情報でも良い。
受光部１１３は、投光部１１１からの光を受光する機能を備える。受光部１１３は、複数あってもよい。受光部１１３は、受光した光を、検出部１１５に出力する。なお、複数の受光部１１３がある場合、受光部１１３の配置は、所定の周期でまたはランダムに変更可能である。
空間状態情報入力部１１４は、所定の空間の状態に関する情報の入力を受け付ける。例えば、空間状態情報入力部１１４は、検出対象である人や物、ロボットなどの位置や状態に関する情報の入力を受け付ける。空間状態情報入力部１１４は、検出部１１５に対して、受け付けた検出対象の位置や状態に関する情報を通知する。
検出部１１５は、受光部１１３から入力された光の受光パターンを検出する。
また、検出部１１５は、空間状態情報入力部１１４から通知された（１）所定の空間の状態に関する情報と、（２）投光情報取得部１１２から通知された投光パターンと、（３）受光部１１３から通知された受光パターンと、を対応付ける。検出部１１５は、対応付けた情報を、学習ＤＢ１１６に通知する。
学習ＤＢ１１６は、検出部１１５から通知を受けるごとに、（１）所定の空間の状態に関する情報と、（２）投光情報取得部１１２から通知された投光パターンと、（３）受光部１１３から通知された受光パターンと、を対応付けて記憶する。学習ＤＢ１１６に記憶される情報は、（１）検出対象の状態に関する情報が判明しており、教師データである学習データとして用いられる。
学習環境準備装置１１は、例えば、次のように教師データである学習データを作成する。
動作学習用データは、例えば、人の動作（ジェスチャ）に関する学習データである。なお、動作学習用データは、人の動作に関する学習データに限られず、どのようなものであってもよい。以下では、動作学習用データが、人の動作に関する学習データの場合を例にして説明する。
学習環境準備装置１１は、まず、人の複数の動作（ジェスチャ）の各々について、動作パターンを取得する。その後、学習環境準備装置１１は、取得した動作パターンを、行動指令情報として人型ロボットに通知して、ジェスチャ動作を実行させる。なお、学習環境準備装置１１は、人型ロボットを用いず人が動作を行ってもよいが、人型ロボットを用いると、繰り返しジェスチャ動作を実行させることができるので、多くの学習用データを取得することが可能である。
学習環境準備装置１１は、人型ロボット（又は、人）の複数の動作（ジェスチャ）の一つ一つに対して、投光部１１１による投光パターンと、受光部１１３の受光パターンとを対応付けることにより、教師データである学習データを作成する。
学習環境準備装置１１は、１つの動作（ジェスチャ）に対して、センサである投光部１１１の投光パターンや、受光部１１３の配置を変更して、多数の教師データである学習データを作成する。例えば、学習環境準備装置１１は、１つの動作（ジェスチャ）に対して、自動車のコンソール付近の矩形領域に、投光部１１１と受光部１１３を格子状に配置した際の投光パターンや受光パターンに基づいて、学習データを作成する。なお、以下では、例えば人や人型ロボットが、動作（ジェスチャ）を行う場合を例にして説明する。
そして、学習環境準備装置１１は、他の動作（ジェスチャ）に対しても、センサである投光部１１１の投光パターンや、受光部１１３の配置を変更して、多数の教師データである学習データを作成する。
学習環境準備装置１１は、例えば、「人がアクセルを踏む」という空間状態に対する学習データの作成を行う場合、まず、所定のアクセルの踏み方に対して、投光部１１１の投光パターンや、受光部１１３の受光パターンを変化させることにより、複数の学習データを作成する。
続いて、学習環境準備装置１１は、所定のアクセルの踏み方とは異なる他の踏み方に対しても、同様にして、投光部１１１の投光パターンや、受光部１１３の受光パターンを変化させることにより、複数の学習データを作成する。
学習環境準備装置１１は、これを繰り返し実行し、互いに異なる複数のアクセルの踏み方に対して、それぞれ、投光部１１１の投光パターンや、受光部１１３の受光パターンを変化させることにより、複数の学習データを作成する。その結果、学習環境準備装置１１は、「人がアクセルを踏む」という空間状態に対して、多数の教師データ（学習データ）を作成する。
上記のとおり、学習準備環境装置１１は、人の動作（ジェスチャ）について、多数の学習データを作成できる。
（学習サービスシステム２の構成例）
図２に示すように、学習サービスシステム２は、通信部２０と、学習制御装置２１と、学習装置２２と、学習ＤＢ２３とを含む。
通信部２０は、学習サービスシステム２の通信を実行するための通信インターフェースである。学習制御装置２１と、学習装置２２と、学習ＤＢ２３とは、通信部２０を介して、各種データの送受信を行う。
学習制御装置２１は、学習装置２２に対して、学習の開始や、学習結果の要求を行う装置である。学習制御装置２１は、学習装置２２から取得した学習結果を、学習ＤＢ２３に記憶する機能も備える。
学習ＤＢ２３は、学習装置２２による学習結果を記憶するための機能を備える。学習ＤＢ２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリなど各種の記憶媒体により実現される。ただし、本発明の第１の実施形態において、学習ＤＢ２３は、これらに限定されない。
学習装置２２は、学習環境準備装置１１が生成した学習データを用いて、ニューラルネットワークを学習させる。学習装置２２は、ニューラルネットワークに教師あり学習を行わせる。なお、本発明の第１の実施形態において、学習装置２２は、教師なし学習を行ってもよい。
（学習装置２２の構成例）
図４は、本発明の第１の実施形態における、学習装置２２の構成例を示す図である。学習装置２２は、通信部２２０と、学習データ取得部２２１と、ニューラルネットワーク２２２と、学習制御部２２３と、学習結果出力部２２４と、を含む。
通信部２２０は、学習装置２２の通信を実行するための通信インターフェースである。学習データ取得部２２１と、学習制御部２２３と、学習結果出力部２２４は、通信部１１０を介して、各種データの送受信を行う。
学習データ取得部２２１は、通信部１１０を介して、学習データ作成システム１の学習環境準備装置１１が生成した学習データを取得する。
ニューラルネットワーク２２２は、学習データ取得部２２１から学習データの入力を受けて、教師あり学習を行う。なお、ニューラルネットワーク２２２は、例えば、階層型ニューラルネットワークや、ディープニューラルネットワークである。
ニューラルネットワーク２２２は、例えば、階層的な構造になったネットワークである。ニューラルネットワーク２２２は、例えば入力層、中間層および出力層からなり、各層は複数のノードを有している。そして、ニューラルネットワーク２２２は、入力層と中間層とのノード間および中間層と出力層とのノード間に任意の重みを設定することにより、ノード間の結合状態を調整することで分類問題を解くことができる。なお、中間層を有するニューラルネットワーク２２２は、階層型ニューラルネットワークである。学習装置２２は、ニューラルネットワーク２２２に対して教師データを入力することにより、各層のノードの重みを調整して、適切な出力が可能な分類器を作成する。
ニューラルネットワーク２２２は、複数の中間層を有するディープ（深層）ニューラルネットワークであってもよい。ディープ（深層）ニューラルネットワークは、入力層、複数層の中間層および出力層からなり、各層は複数のノードを有している。また、ディープニューラルネットワークは、入力層と中間層とのノード間、および、中間層と出力層とのノード間に任意の重みを設定してノード間の結合状態を調整することで、分類問題を解くことができる分類器を作成可能である。
なお、本発明の第１の実施形態において、ニューラルネットワーク２２２は、階層型ニューラルネットワークやディープニューラルネットワークに限られず、各ノードが互いに結合しあう相互結合型のニューラルネットワークなどであってもよい。
また、本発明の第１の実施形態におけるニューラルネットワーク２２２のモデルは、例えば、単純パーセプトロンやバックプロバケーション、サポートベクターマシン、ホップフィールドモデル、自己組織化マップなどであってもよいが、これらの例に限られず、どのようなモデルであってもよい。
学習制御部２２３は、ニューラルネットワーク２２２の学習を管理する機能を備え、学習データ取得部２２１に対して、学習データの入力を指示する。また、学習制御部２２３は、ニューラルネットワーク２２２による学習結果を、学習結果出力部２２４および通信部２２０を介して出力する。
学習結果出力部２２４は、ニューラルネットワーク２２２による学習結果を、例えば一時的に保存し、まとめて出力する機能を備える。ニューラルネットワーク２２２による学習結果は、例えば、所定の入力を受け付け、所定の空間の状態について適切な出力を行うことが可能な分類器である。
（空間状態検出装置４の構成例）
図５は、本発明の第１の実施形態における、空間状態検出装置４の構成例を示す図である。図５に示すように、空間状態検出装置４は、通信部４０と、投光部４１と、投光情報取得部４２と、受光部４３と、特定部４４と、検出結果出力部４５とを含む。
通信部４０は、空間状態検出装置４の通信を実行するための通信インターフェースである。特定部４４と、検出結果出力部４５は、通信部１１０を介して、各種データの送受信を行う。
投光部４１は、所定の投光パターンで、赤外線などの光を投光する。投光部４１は、所定のパターンで赤外線などの光を投光可能である。
投光情報取得部４２は、投光部４１による赤外線などの光の投光パターンを収集する機能を備える。なお、投光部４１の投光パターンは、予め定められていてもよいし、ランダムであってもよい。投光情報取得部４２は、予め定められた投光パターンを、当該投光パターンが記憶された記憶部（図示しない）を参照して取得してもよいし、通信部４０を介して学習データ作成システム１や学習サービスシステム２から取得してもよい。また、投光情報取得部４２は、投光部４１からの投光を検知し、投光パターンを検出してもよい。
受光部４３は、投光部４１からの光を受光する機能を備える。受光部１１３は、複数あってもよい。受光部４３は、受光した光を、特定部４４に出力する。なお、複数の受光部４３がある場合、受光部４３の配置は、所定の周期でまたランダムに変更可能である。
特定部４４は、ニューラルネットワーク２２２への学習により生成した分類器を用いて、投光部４１の投光パターンと、受光部４３の受光パターンとに基づいて、対象の存在状態を検出（分類）可能である。また、特定部４４は、特定の状態を検出（分類）することもできる。例えば、特定部４４は、特定の状態は、ジェスチャエリアに手がある、アクセスペダルまたはブレーキペダルに足先があること等を検出可能であり、また、アクセスペダルを踏もうとしていることや、ブレーキペダルを踏もうとしていることなども検出可能である。
また、特定部４４は、ハンドル付近に手が存在することや、セレクタレバー付近に手があること、ステアリング付近に手があること、カーナビゲーション装置やオーディオ装置に手が接近していることなどを検出（分類）してもよい。また、特定部４４は、手でない物体が存在することを検出（分類）してもよい。また、特定部４４は、背中がもたれかかっていることなどを検出（分類）してもよい。
また、特定部４４は、セレクタレバーを操作する可能性があるか否か、ステアリング操作を行える状態にあるか否かを検出（分類）してもよいし、所定の動作を検出（分類）することにより、ボイスコマンドの受信を開始の要否を判定してもよい。
検出結果出力部４５は、特定部４４が検出した検出結果を、通信部４０を介して通知する機能を有する。
なお、空間状態検出装置４と学習データ作成システム１とは、同じ機能を奏する構成を共有してもよい。
（動作例）
図６は、本発明の第１の実施形態における、学習環境準備装置１１の動作例である。学習環境準備装置１１は、上述したように、教師データである学習データを作成するための装置である。
投光部１１１は、赤外線などの光を投光する（Ｓ１０１）。そして、投光情報取得部１１２は、投光部１１１による赤外線などの光の投光パターンを収集する（Ｓ１０２）。
受光部１１３は、投光部１１１からの光を受光し（Ｓ１０３）、検出部１１５に出力する（Ｓ１０４）。
検出部１１５は、受光部１１３から入力された光の受光パターンを検出する（Ｓ１０５）。
空間状態情報入力部１１４は、検出対象である人や物、ロボットなどの位置や状態に関する情報の入力を受け付ける（Ｓ１０６）。空間状態情報入力部１１４は、赤外線などの光を投光した際における、検出対象である人や物、ロボットなどの位置や状態に関する情報の入力を受け付ける。
そして、検出部１１５は、（１）空間状態情報入力部１１４から通知された所定の空間の状態に関する情報と、（２）投光情報取得部１１２から通知された投光パターンと、（３）受光部１１３から通知された受光パターンと、を対応付ける（Ｓ１０７）。その後、検出部１１５は、学習ＤＢ１１６に、当該対応付け（学習データ）を通知する（Ｓ１０８）。
なお、学習ＤＢ１１６は、検出部１１５から通知を受けるごとに、（１）検出対象の状態に関する情報と、（２）投光情報取得部１１２から通知された投光パターンと、（３）受光部１１３から通知された受光パターンと、を対応付けて記憶する。
上記により、学習環境準備装置１１は、教師データである学習データを作成することができる。なお、学習環境準備装置１１は、複数の“検出対象の位置や状態に関する情報”の各々に対して、学習データを作成する。
図７は、本発明の第１の実施形態における、学習装置２２の動作例である。なお、学習装置２２の各動作は、学習装置２２の学習制御部２２３の制御により、実行可能である。
学習データ取得部２２１は、通信部１１０を介して、学習データ作成システム１の学習環境準備装置１１が生成した学習データを取得する（Ｓ２０１）。
ニューラルネットワーク２２２は、学習データ取得部２２１から学習データの入力を受け付けて、教師あり学習を行う（Ｓ２０２）。学習装置２２は、ニューラルネットワーク２２２に対して教師データを入力することにより、各層のノードの重みを調整して、適切な出力が可能な分類器を作成する。
学習制御部２２３は、ニューラルネットワーク２２２による学習結果を、学習結果出力部２２４および通信部２２０を介して出力する（Ｓ２０３）。ニューラルネットワーク２２２による学習結果は、例えば、所定の入力を受け付け、適切な出力を行うことが可能な分類器である。
上記により、学習装置２２は、ニューラルネットワーク２２２を教師付き学習することができ、所定の入力を受け付けた場合に、適切な空間状態を出力可能な分類器を作成することが可能となる。
図８は、本発明の第１の実施形態における、空間状態検出装置４の動作例である。
投光部４１は、所定の投光パターンで、赤外線などの光を投光する（Ｓ３０１）。投光情報取得部４２は、投光部４１による赤外線などの光の投光パターンを収集する（Ｓ３０２）。
受光部４３は、投光部４１からの光を受光し（Ｓ３０３）、特定部４４に出力する（Ｓ３０４）。
特定部４４は、ニューラルネットワーク２２２の学習により作成した分類器により、投光部４１の投光パターンと、受光部４３の受光パターンとに基づいて、所定の空間の状態を検出する（Ｓ３０５）。
検出結果出力部４５は、特定部４４が検出した検出結果を、通信部４０を介して通知する機能を有する（Ｓ３０６）。
上記のとおり、本発明の第１の実施形態は、センサによる検出対象の測定情報と、所定の空間の状態に関する情報とに基づいて、教師データ（学習データ）を作成し、作成した教師データを用いてニューラルネットワーク２２２の学習を行い、学習結果である分類器に基づいて、空間の状態を検出する。そのため、判定プログラムを作成するために必要な時間とコストを削減しつつ、赤外線などの光を用いて所定の空間の状態を検出することができる。
（センサについて）
以下では、本発明の第１の実施形態におけるセンサの詳細について、図面を用いて説明する。
（基本構成）
センサは、状態を検出する所定の空間において、物体の存在によって影響を受ける物理量を検出する装置である。例えば、センサは、赤外線センサなどの光センサであり、投光部（投光部４１または投光部１１１であるが、以下、記載を省略する。）が、赤外線などの光を受光部（受光部４３または受光部１１３であるが、以下、記載を省略する。）に向けて照射し、物体などにより光が遮られたことを検出する。センサは、所定の空間において状態の検出を行うことができれば、どのような装置であってもよい。例えば、センサが状態の検出に用いるのは、赤外線に限られず、任意の波長の光、電磁波や電波、静電容量などであってもよい。また、センサは、状態を検出する所定の空間において、物体の存在によって影響を受ける物理量を検出できるものであれば、どのような方法で検出を行ってもよい。
また、センサは、例えば、赤外線などの光を投光して、当該光の反射光を検出するものであってもよい。さらに、センサは、受光する光の時間的な変化を計測するものであってもよい。また、投光部および受光部の数を多くすることで、入り組んだ空間における複雑な形状の存在状態に関して、計測情報を検出することもできる。
（センサにおいて検出に用いる光）
検出に用いる光は、赤外線を用いることができる。赤外線は、人の目には見えないため、赤外線を用いることで人が気にならないという特性がある。また、人の目に見えている特徴を用いて識別を行うためには、可視光を用いる必要がある。
投光部には、赤外線を投光する発行ダイオードを用いることができる。投光部には検出に用いる波長の光または電磁波を出力する任意の発光デバイスを用いることができる。
なお、検出に用いる光は、赤外線に限定されず、任意の波長の光または電磁波を用いることができる。また、検出に用いる光は、検出する物体の大きさに応じて任意の波長を選択できる。例えば、波長が短い光ほど、細かい特徴が検出できる。具体的には、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）の技術を用いて、微細な投光部と受光部を配列させた場合、波長が短いほど、細かい特徴を識別できるようになる。このようなデバイス（センサ）は、レンズのような結像させるための光学系を使用せずに、対象の特徴を検出できる。例えば、当該デバイスは、対象表面の細かい凹凸による違いを検出することができる。
また、投光部が発光していないタイミングで受光部を動作させることで、環境光や環境光の反射光を検出することができる。また、赤外線などを用いる投光部が発光しているタイミングで、受光部を動作させることで、投光部から照射された光の反射光と直接光、透過光が検出できる。これを組み合わせることで、対象の検出が容易になる。
なお、上記のような検出をカメラによって行おうとしても、当該カメラは発光ダイオードやフォトダイオードよりもそのサイズが大きいため、設置の自由度が少なく、当該検出を行うことは困難である。
（センサによる検出方法）
センサは、状態を検出する所定の空間である検出対象空間に配置され、当該検出対象空間の状態に関する測定情報を検出する。以下では、自動車内や自動車外に配置されるセンサを例に説明する。
センサは、自動車内や自動車外に、例えば、赤外線などの光の投光部と受光部とを複数配置して、物体などにより光が遮られたことなどを検出する。センサは、例えば、矩形パネルなどに格子状に配置されてもよい。このようなセンサは、例えば、投光部を点灯させた場合に、複数の受光部の各々で検出される赤外線量を検出する。また、センサは、必ずしも投光部を含んでいる必要はなく、太陽光などの環境光を受光部で検出してもよい。
センサの投光部は、点灯パターンを切り替えることができる。センサの投光部からの光は、点灯パターンごとにその照射パターンが変わるため、様々なパターンにより測定情報を検出することが可能となる。
例えば、投光部を点滅させる場合、当該投光部が点灯しているタイミングで、受光部を作動させることにより、投光部からの光を受光部で受光することができる。投光部を点滅させることにより、発光するために必要なエネルギーを低減することが可能となり、また、発光ダイオードなどの発光デバイスの寿命を延ばすことができる。また、投光部が点灯しているときに、受光部が受光することにより、光が照射されているときの直接光や反射光を検出することが可能となる。これに対して、投光部が点灯していないタイミングで受光部を作動させると、環境光の影響を検出することができる。その結果、投光部を点灯させた場合における受光部による光の検出量から、当該投光部が点灯していない場合の受光部による光の検出量を減算することで、環境光の影響を打ち消すことができ、投光部の投光による光だけを受光した場合の検出結果を得ることができる。
また、センサは、投光部や受光部の取り付け位置により、検出範囲が変化する。そこで、投光部や受光部の取り付け位置の組み合わせによって、検出範囲のバリエーションを変更することが可能となる。
また、センサは、投光部から投光する光の態様でも、検出範囲が変化する。光の態様は、例えば、直線状ビームや、円錐／四角錘型ビーム、平行ビーム、放射状ビームなどである。なお、投光する光の態様は、これらの例に限られず、どのような態様であってもよい。
図９は、センサの投光部の配置のパターンを説明するための図である。図９（ａ）や（ｂ）に示すように、複数の投光部が、縦一列または横一列に配置されてもよい。複数の投光部は、また、図９（ｃ）に示すように、十字に配置してもよいし、図９（ｄ）に示すように、正方形状に配置してもよい。なお、投光部の配置のパターンは、これらの例に限られず、どのような配置であってもよい。
図１０は、センサの投光部から投光される光の態様の例を示す図である。図１０（ａ）に示すように、投光部は、直線状ビームの光を投光することができる。また、図１０（ｂ）に示すように、投光部は、円錐型のビームの光を投光することもできる。図１０（ａ）および（ｂ）を比較すると、同じ投光部からの投光であっても、光の到達範囲が変化し、それにより検出範囲が変化することが分かる。また、図１０（ｃ）に示すように、投光部は、平行ビームの光を投光することもできる。さらに、図１０（ｄ）に示すように、投光部は、放射状ビームを投光することもできる。本発明の第１の実施形態では、複数の投光部からの光を組み合わせて、測定情報を検出してもよい。例えば、図１０（ｄ）に示すように、放射状ビームを組み合わせ事により、“面”による測定情報の検出が可能となる。
センサは、投光部からの光の態様を、時間的に変化させてもよい。例えば、０．１秒ごとに、直線状ビームと、円錐型ビームとを交互に投光してもよい。なお、投光部が投光する光の態様は、これらの例に限られず、どのようなものであってもよい。
また、センサは、受光部が設けられる範囲によっても、検出範囲が変化する。そこで、投光部からのビームの態様と、受光部の配置範囲を組み合わせることで、センサの検出範囲のバリエーションを変化させることができる。
図１１は、受光部の配置例を示すための図である。図１１（ａ）や（ｂ）に示すように、複数の受光部が、縦一列または横一列に配置されてもよい。複数の受光部は、また、図１１（ｃ）に示すように正方形状に配置してもよいし、図１１（ｄ）に示すように円状に配置してもよい。
また、センサは、受光部の配置を、時間的に変化させてもよい。例えば、０．２秒ごとに、縦一列、横一列、正方形状を繰り返してもよい。なお、受光部の配置を実際に変更するのではなく、複数の受光部のうち受光させる受光部を変更することにより、配置を変更した場合と同様の状態としてもよい。例えば、正方形状で受光させたい場合には、受光部の全てが受光するが、縦一列で受光させたい場合には、当該複数の受光部のうちの一部が受光する。なお、受光部の配置は、これらの例に限られず、どのような可配であってもよい。
なお、センサにおいて、投光部が投光する光の態様や、受光部の配置を時間的に変化させる場合には、学習モデルとのマッチングによる対象の判定を行うため、当該時間的なパターンを判定部に入力する必要がある。
センサは、投光部が投光する光の態様や、受光部の配置が時間的に変化させることにより、対象の存在位置や対象の存在態様（存在姿勢）、対象の動き、対象の形状、対象の複雑さなどについて、計測情報を検出することができる。
（反射光、直接光、透過光の検出）
なお、投光部と受光部の配置を調整することにより、当該投光部から照射された光の反射光、直接光および透過光のいずれも検出することができる。反射光、直接光および透過光を組み合わせることで、物体の識別がより容易になる。
これに対して、カメラを用いる方法では、照明あるいは環境光の反射光しか検出することができない。
例えば、車室内では人の身体の各部が車の部分に取り囲まれている状態なので、反射光、直接光および透過光を組み合わせることにより、より複雑な状態を識別することができる。また、ロボットの手足やボディなどに投光部と受光部を備えることにより、手足の動きによる姿勢の変化に応じて検出パターンを変化させることができる。
例えば、手で物をつかむ状態の学習や検出には、親指に相当するロボットの指に備えた投光部からの直接光と反射光を、当該親指投光部と対向する位置にある指に備えた受光部で検出させることが考えられる。このような学習データの作成により、手が対象をつかめる位置に来た状態が学習または検出可能となる。また、学習データの作成において、ロボットの手に受光部を備えた場合、検出対象から至近距離でも、当該検出対象からの反射光、透過光または直接光を検出できる。このため、投光部や受光部を用いる場合には、カメラを用いる場合のような死角が発生するケースが、非常に少なくなる。また、透過光を検出できるため、ガラスコップや紙コップなど光を透過する物体の特徴を学習することもできる。このため、光を透過する物体と、透過しない物体とを識別するための識別能力を向上させることができる。また、透過する特性の違いを学習することによって、同じ形状で材質が異なる物体を識別する能力を高めることもできる。
（色の検出）
また、投光部に白色ＬＥＤなど白色光を照射する発光デバイスを用いることで、人が視認可能な物体を検出できる。また、投光部に特定の帯域の波長を照射可能な発光デバイスを用いることで、特定の色の光を反射する物体を検出することもできる。また、色による反射の違いを学習させることにより、対象の色や模様、プリントされた図形など、色パターンを識別する能力を獲得することも可能となる。
また、受光部に特定の帯域の波長を検出可能な受光デバイスを用いることで、特定の色の光を反射する物体を検出することも可能となる。
投光部または受光部は、所定の帯域の光のみが透過するフィルターを採用してもよい。例えば、ロボットの手に投光部と受光部を多数備えると、接近した対象の形状のみでなく、模様や図柄、文字など色パターンの違いを検出できるようになる。これによって、例えば、缶入り飲料などの向きを検出することができるようになる。また、例えば、特定の方向から手が近づいてくることを検出することができるようにもなる。例えば、このような検出方法を介護ロボットに適用した場合、被介護者の手足や顔など肌が露出している部分と、衣服の部分を識別することが可能となり、当該介護ロボットが適切な介護を行うことができるようになる。
（色による物体の識別）
投光部または受光部が異なる帯域の波長を検出可能にして、複数種類の帯域を用いて対象を検出することにより、当該対象の色の違いを検出することができるようになる。これによって、例えば、対象の部分ごとの色の違いが検出できるようになる。例えば、対象物や対象動物、対象植物の模様の違いを識別することができる。例えば、青と赤を検出できるように構成された投光部と受光部を並列に配置することによって、赤と青の縦縞を検出できるようになる。また、投光部または受光部の間隔を調整することにより、所定の幅の縦縞を検出できるようになる。
また、投光部の位置または受光部の位置ごとに、異なる帯域の波長を用いて検出させることで、対象の部分ごとや方向ごとの反射色の違いを検出することができるようになる。例えば、陽極酸化処理で加工された金属の表面や玉虫色の虫、コンパクトディスクなど、光が入射する方向と反射する方向によって、色が異なる物体を検出することが可能になる。また、対象の動きと、投光部と受光部の配置の変化を組み合わせることにより、対象において方向を変えて視認しなければ検出できない特徴を、検出することができるようになる。
このような検出は、単眼のカメラでは行うことができない。また、カメラを用いて、同時に多方向の検出を行おうとすると、複数のカメラが必要となり、コストが著しく増大する。
（センサの設置場所）
センサは、所定の空間の状態の検出を行う領域に設置される。例えば、センサは、自動車内の状態の検出を行う場合には、当該自動車内に設置される。また、センサは、自動車外の状態の検出を行う場合には、当該自動車外に設置される。
センサは、例えば、状態を検出する所定の空間において、非平面の突起またはくぼみ部分などに設置する。また、センサは、例えば、状態を検出する所定の空間に存在する、既存の装置や既存の部品等に組み込まれていてもよい。なお、センサを設定する場所は、これらの例に限られず、状態を検出する所定の空間内であれば、どのような場所であってもよい。
自動車の周囲を監視するためのセンサは、自動車外に配置され、例えば、ヘッドライトやウィンカー、エンブレム、バイパー、フロントグリル、ドアミラー、ルームミラーの前方面などに設置または組み込まれる。
また、自動車内の対象を検出するためのセンサは、自動車内に配置され、例えば、ダッシュボードやピラーセンサ、コンソール、シート、オーディオ／カーナビゲーション、プッシュスタートスイッチ、パワーウィンドウスイッチなどに配置または組み込まれる。
例えば、ダッシュボードには、センサの投光部と受光部とを並べることで、自動車内の前方席に存在する対象を検出可能である。ダッシュボードには、非平面の突起またはくぼみ部分が複数存在するが、センサを配置する位置に応じて、当該センサから照射される光の向きや、当該センサが対象を検出可能な範囲が変化する。そのため、センサの設置は、検出したい対象や検出したい範囲を考慮して行われる。
また、自動車内の対象を検出するためのセンサは、例えば、照明部品に組み込まれていてもよく、前席上部のルームライトや中央ルームライト、運転席スポットライト、運転席足下ライト、助手席スポットライト、後部右スポットライト、後部中央スポットライト、後部左スポットライト、運転席ドアライト、助手席ドアライト、右後部ドアライト、左後部ドアライトなどであってもよい。
（センサによる検出）
自動車の内外に設置されるセンサは、例えば赤外線を投光および受光することにより、対象が存在するか否かを検出するための測定情報を取集可能である。また、センサは、対象の形状を検出するための測定情報を取集可能である。対象の形状は、例えば、人やロボットの身体の大きさや、手足の長さ、頭部の形状やその大きさ、所定の器官の位置やその形状などを意味する。所定の器官は、例えば、目や鼻、口などである。
また、センサは、対象の状態を検出するための測定情報を収集可能である。センサは、例えば、顔の向きや表情（笑顔、泣き顔など）、瞬きなどを検出するための測定情報を収集可能である。また、センサは、左右の腕の状態、上腕の状態（向きや位置、曲げなど）、手の状態などを検出するための測定情報を収集可能である。また、センサは、左右の足の状態や胴体の状態（向きや曲げなど）を検出するための測定情報を収集可能である。
また、センサは、人やロボットの動作を検出するための測定情報を収集可能であり、例えば、所定の位置に近くに身体の特定部位があるか否か、所定の位置における身体の動きなどを検出するための測定情報を取集可能である。
（センサによる検出対象）
センサが測定情報を取集する対象（検出対象）は、所定の空間の状態であり、例えば、以下のようなものがあげられる。
まず、センサの検出対象は、例えば、対象の存在の有無や、存在態様などである。例えば、センサは、人の存在が検出対象であり、具体的には、自動車内に乗員が存在するか否か、シートごとに乗員がいるかいないかが検出対象である。また、人の存在態様も検出対象である。例えば、着席姿勢なのか否か、あるいは、身体の形状や手足の位置なども検出対象である。
また、物体の存在も検出対象である。例えば、物体の存在の有無や、存在するものの種類などが検出対象である。例えば、荷物の存在や、その荷物の大きさやその荷物の形状（例えば、直方体など）が検出対象である。
また、動作も検出対象である。例えば、運転に関する動作が検出対象である。ペダルの操作やステアリングの操作、シフト操作、各種のスイッチに対する操作が検出対象である。運転に関する動作以外の動作も、検出対象である。例えば、自動車に対する乗車や降車なども検出対象である。乗車時においては、ドアロック解除が検出対象であり、“接近、ドアハンドルの操作、ドアロックを解除”などが検出対象である。さらに、降車時においては、例えば、シートベルトの解除が検出対象となる。
さらに、車内における乗員のジェスチャやスイッチ操作のための手の動き、が検出対象である。例えば、カーナビゲーション装置に対する操作や、オーディオに対する操作が検出対象である。
また、携帯端末（携帯電話やスマートフォンなど）に対する操作も検出対象である。例えば、運転席の頭部前方付近に存在するスマートフォン上の物体は、検出対象である。スマートフォンの位置によっては、運転中に運転手が操作している可能性もあり、運転手に対する警告を行うことができる。また、停止中のスマートフォンの操作であれば、例えば、カーナビゲーションシステムと、スマートフォンの連携を行うことを予測できる。
また、自動車内や自動車外の環境と、その環境下での人の行動を検出対象とすることで、行動を分類することも可能となる。例えば、暑い、眩しい、寒いなどの各環境下で、人の行動、例えばステアリング操作やブレーキ操作、スイッチ操作などを検出すれば、環境に応じた行動や状況に対処するための行動を分析・分類することが可能となる。
また、他の自動車の動きも検出対象である。例えば、周囲車両の動作、より詳細には先行車の動作、後続車両の動作、対向車両の動作なども検出対象である。また、車間距離や接近速度、割り込みのタイミングなども検出対象となりうる。また、人に関しては、運転手や同乗者などの乗員、自動車の周りに存在する人などもセンサの検出対象であり、これらを検出対象とすることによって、分類装置は、人による不審な行為などを特定可能である。
また、自動車の周囲における検出対象は、例えば、先行車両の存在や、歩行者、建物などである。例えば、センサが自動車の前方に存在する障害物を検出対象とすることにより、分類装置は、当該障害物が自車に及ぼす危険度などを推測することが可能となる。
また、センサは、所定の状況下において検出すべき対象も、検出対象とすることができる。例えば、自車の前方に他の自動車がある場合に、人の飛び出しや第３の自動車の割り込みや、落下物などが、センサの検出対象となる。また、自動車の前方に自転車が検出された場合に、当該自動車の進行方向や同一車線で対抗しているか否かなども、センサの検出対象である。また、センサが自車の周辺に存在するガードレールを検出した場合に、当該ガードレールの外側にいる歩行者と内側にいる歩行者とが、センサの検出対象であり、当該センサは両者を区別して検出対象とすることができる。また、日射が検出された場合に、人の存在状態が、センサの検出対象となる。例えば、日光が当たる場所に存在する身体の部位が、センサの検出対象である。
（センサによる検出のレベル）
センサの検出には、レベルを設定してもよい。例えば、センサは、人の存在の有無を検出対象とするレベルに設定してもよいし、人の姿勢を検出対象とするレベルに設定することもできる。また、人の特定部位の位置を検出対象とすることもできる。また、その特定部位の動きを検出対象とすることもできる。さらに、ジェスチャの意味を検出対象とすることもできる。センサの検出のレベルは、センサの投光部が投光する光の形状や、受光部の配置などを調節することにより、変更することができる。
（学習データについて）
以下では、本発明の第１の実施形態における、動作学習用データ以外の、学習データのバリエーションについて説明する。学習用データは、上述したように、学習環境準備装置１１が作成し、ニューラルネットワーク２２２の学習に用いるデータである。
学習データは、例えば、運転操作学習用データであってもよい。運転操作学習用データは、運転者の状態に関する学習データであり、運転者のペダル操作などの行動を予測する学習を行うための学習データである。運転中の運転者にセンサを取付けて、学習データを取得する。
例えば、学習環境準備装置１１は、ペダル操作学習用データについて、運転者の足部の周囲に投光部１１１と受光部１１３とを設置し、学習データを作成する。また、学習環境準備装置１１は、ステアリング操作学習用データについて、ステアリングホイールに投光部１１１と受光部１１３とを埋め込み、または、ステアリングホイールの周囲に所定数の投光部１１１と受光部１１３を配置して、学習データを作成する。
学習データは、例えば、スイッチ操作学習用データであってもよい。スイッチ操作学習用データは、スイッチ操作に関する学習データである。学習環境準備装置１１は、スイッチ操作学習用データについて、プッシュスタートスイッチに埋め込んだ投光部１１１と受光部１１３とにより、学習用データを生成する。
学習データは、例えば、前方物体検出学習用データであってもよい。前方物体検出学習用データは、車両の前方の物体の存在の有無に関する学習データである。学習環境準備装置１１は、前方物体検出学習用データについて、車両の前方に物体を配置したときと、配置していないときの学習用データを生成する。学習環境準備装置１１は、例えば、実物または模型を実際に自動車の前方に置いた場合の、投光部１１１の投光パターンや、受光部１１３の受光パターンを対応付けて記憶する。車両の前方に配置する物体は、例えば、路面や路面の表示、ガードレール、歩道橋、標識などである。また、当該物体は、トラックや自家用車など、各種の車両であってもよい。また、当該物体は、歩行者や動物、自転車など、道路周辺を移動する物体であってもよい。
学習データは、例えば、日射パターン検出用データであってもよい。日射パターン検出用データは、複数の日射の各々について、物体の存在や状態に関する学習データである。学習環境準備装置１１は、日射パターン検出用データについて、太陽や空からの光のパターンに基づいて、教師用の学習データを作成する。この場合において、投光部１１１は、必ずしも必要ではなく、太陽光などの環境光の受光パターンにより、学習データを作成してもよい。分類装置は、日射パターンを学習することにより、物体の存在や状態の認識精度を向上させることができる。
学習データは、例えば、トンネル検知用データであってもよい。トンネル検知用データは、トンネルの入り口や内部における物体の存在や状態に関する学習データである。学習環境準備装置１１は、トンネル入り口付近における学習データや、トンネルの内部における学習データ等を学習する。
学習データは、例えば、雨滴検知用データであってもよい。雨滴検知用データは、雨滴の存在や状態に関する学習データである。学習環境準備装置１１は、雨量パターンに応じて、学習データを作成する。なお、散水することにより、データを取集してもよい。また、風洞を用いることで、雨の速度を設定することもできる。また、雨滴が無い状態のデータも収集する。
学習データは、例えば、日射センサ・オートライトセンサによって検出されたデータであってもよい。日射センサ・オートライトセンサは、自動車外における日射や天候に関する学習データである。学習環境準備装置１１は、車両にセンサである投光部１１１と受光部１１３とを複数設置して、走行中および駐車中の学習データを取得する。この場合において、空間状態情報入力部１１４は、例えば、日射の有無や天気、位置の識別情報などを、学習データとして受け付ける。
なお、学習データは、上記の例に限れず、どのような学習データであってもよい。
（ニューラルネットワーク２２２の学習）
以下では、本発明の第１の実施形態における、ニューラルネットワーク２２２の学習について説明する。学習装置２２によるニューラルネットワーク２２２の学習は、当該学習によって所定の空間の状態を適切に分類するための分類器を作成するために実行する。
（ニューラルネットワーク２２２の学習の目的）
ニューラルネットワーク２２２の学習の目的は、例えば、対象を検出すること（すなわち、対象の存在を分類可能な分類器の作成）を目的とするものや、特定の状態を検出すること（すなわち、対象の状態を分類可能な分類器の作成）を目的とするものがある。特定の状態は、ジェスチャエリアに手がある、アクセスペダルまたはブレーキペダルに足先があるなどであり、さらには、アクセスペダルを踏もうとしていることや、ブレーキペダルを踏もうとしていることなどを検出することを目的とする。
また、ニューラルネットワーク２２２の学習の目的は、ドアハンドル付近に手が存在することや、セレクタレバー付近に手があること、ステアリング付近に手があること、カーナビゲーション装置やオーディオ装置に手が接近していることなどを、検出することであってもよい。また、ニューラルネットワーク２２２の学習の目的は、手でない物体が存在することや、背中がもたれかかっていることなどであってもよい。また、ニューラルネットワーク２２２の学習は、セレクタレバーを操作する可能性があるか否か、ステアリング操作を行える状態にあるか否か、ボイスコマンドの受信開始の要否を判定することなどであってもよい。
また、ニューラルネットワーク２２２の学習の目的は、状態１になった後に、状態２になったことが検出されたときに、状態３を検出すること、すなわち状態遷移の検出であってもよい。
（ニューラルネットワーク２２２の学習内容）
ニューラルネットワーク２２２に対して、検出エリアごとに、状態判定に対して寄与度が高いセンサの組み合わせについて学習させ、検出エリアの切り替えを学習させてもよい。
また、ニューラルネットワーク２２２に対して、特定の状態検出に適した投光パターンを学習させることにより、動作パターンを分類可能な分類器を作成してもよい。例えば、ニューラルネットワーク２２２に対して、特定の状態検出に適した投光パターンを学習させてもよい。また、例えば、ニューラルネットワーク２２２に対して、センターコンソール付近における手の動きのジェスチャや、ペダル操作のための足の動きや、特定スイッチの操作などを学習させてもよい。特定スイッチの操作は、例えば、車内ドアを開く際のハンドルの操作などである。
上記のようなニューラルネットワーク２２２への学習により、エンジン停止を起点として、後方からの接近車両と、内ドアを開く際のハンドルの操作とを検出可能な分類器を作成できる。その結果、作成した分類器を用いて所定の操作や車両の存在などを検出した場合に、警告を出力することができるようになる。また、ニューラルネットワーク２２２に対して車外ドアを開く操作を学習させて、当該車外ドアを開く操作を分類可能な分類器を作成してもよい。そして、作成した分類器を用いて所定の操作を検出した場合に、室外のドアハンドル付近に投光することができるようになる。
さらに、ニューラルネットワーク２２２に対して、投光パターンの切り替えや、受光パターンの切り替え、投光パターンと受光パターンとの組み合わせを学習させることもできる。
なお、ニューラルネットワーク２２２への学習は、これらの例に限られず、どのようなものであってもよい。
（アプリケーションについて）
本発明の第１の実施形態における分類システムは、自動車における対象の検出に用いると、次のようなアプリケーションに適用可能である。なお、本発明の第１の実施形態における分類システムは、自動車における対象の検出だけでなく、所定の空間の状態の検出に用いることができ、様々なアプリケーションに適用可能である。
１）シートベルトの警報：本発明の第１の実施形態における分類システムは、自動車の乗員を検知するアプリケーションに用いることができる。例えば、自動車の乗員の存在の有無を検出可能である。そのため、自動車の乗員が、シートベルトを締めているか否かを検出可能である。座席に乗員がいると検出されている場合に、シートベルトを締めていない場合には、警報を鳴らすことができる。一方、座席に乗員がいない場合には、荷物があったり、ペットなどがいたりしても、警報を鳴らさないことが可能である。従来は、例えば、座席への加重により乗員の有無を判定していたが、重い荷物や、大型のペットがいる場合には、誤って警報が鳴ってしまう可能性があった。しかし、本発明の第１の実施形態における分類システムを用いれば、乗員がいるか否かを正しく検出できるので、誤報を低減することができる。
２）誤操作による誤動作の防止：本発明の第１の実施形態における分類システムは、上記のようなシートベルトの警報の他にも、乗員のジェスチャを検出することにより、種々の誤動作の低減を図るためのアプリケーションに用いることができる。分類システムは、例えば、ペダルとアクセルの踏み間違えを検出し、誤操作を低減することができるアプリケーションに用いることができる。当該アプリケーションでは、例えば、乗員が通常の動きとは異なる動き、例えば、目線が前方を向いていない（例えば、下を向いている）にもかかわらず、アクセルを踏もうとしている動きを検知した場合に、検出した動きから誤動作と判定して、アクセルのかかり具合を低減する。当該アプリケーションは、これにより、例えば、乗員の居眠りや、意識喪失などの場合に、自動車の加速度を抑えるなど誤操作を防止することができる。
３）自動車の周囲の監視：本発明の第１の実施形態における分類システムは、自動車の周囲を監視するアプリケーションに用いることができる。例えば、自動車の前方に設置したセンサにより、当該自動車の前方を監視し、自動車の前方の空間状態を検出することができる。また、例えば、自動車の両側面（左右）に設置したセンサにより、当該自動車の両側面を監視し、自動車の両側面の空間状態を検出することができる。さらに、自動車の後方に設置したセンサにより、自動車の後方の空間状態を検出することもできる。
上記のサービスを提供するアプリケーションは、例えば、カメラによる監視という方法もあるが、カメラのレンズの方向によっては死角が発生し、正確な空間状態を検出することができない場合もある。また、カメラは、高価であり、多数のカメラを設置することは難しい。そこで、本発明の第１の実施形態における分類システムは、カメラよりも安価な、光線により対象を検出可能な投光部や受光部を複数設置し、物体を検出することで、より正確な空間状態を検出可能となる。分類システムは、例えば、自動車の外部において、他とぶつかる可能性のある（接触する可能性のある）最縁部に投光部や受光部を設置することにより、カメラ等では死角になる空間であっても、物体の存在の有無を検出でき、自動車の周囲を正確に監視することが可能となる。
また、本発明の第１の実施形態における分類システムは、センサの出力を調整して、自動車から離れた位置を測定する場合、駐車中のセンシングを行うことにより、自動車の周囲における不審な人物の存在を検出することができ、盗難予備動作を検出するためのアプリケーションに用いることができる。
４）ロボットの接触防止：同様にして、本発明の第１の実施形態における分類システムは、例えば、ロボットにおいて、他と接触する可能性のある個所に、当該投光部と受光部を設定することにより、ロボットが他と接触することを防止するアプリケーションにも適用可能である。
５）日照パターンの検出：また、本発明の第１の実施形態における分類システムは、日射パターンを識別するアプリケーションに用いることもできる。例えば、分類システムは、日射がある場合の車内の状況と、無い場合の車内の状況とを予め学習させておき、現在の観測状態と比較することで、自動車内の日射の状態を把握することができる。これにより、分類システムは、例えば、車内の温度が高温になっていること等を把握することが可能なため、例えば車内の人員の存在検出と合わせて、車内への子供の取り残し等による事故を防止するためのアプリケーションに適用可能である。
６）その他：また、本発明の第１の実施形態における分類システムは、自動車の外部に設置されたセンサにより、トンネルに入ったか否かを検出することや、自動車の外部の特定位置に対する特定形状物体の検出により、例えば雨粒を検出して、雨が降っていることを報知するようなアプリケーションにも適用することができる。
上記の説明では、教師ありデータを用いた学習方法について説明した。なお、本発明の第１の実施形態において、学習の結果として期待する能力の内容によっては、教師なしの学習データを用いた学習を行うことも可能である。例えば、以下に例示する学習は、教師無しの学習データを用いて実行できる。なお、教師なし学習データを用いた学習は、下記の例に限られないことは言うまでもない。
例えば、空間における物体の存在状態について、類似したものを同じ分類とするように所定の数の分類を行うための学習は、教師なし学習データを用いた学習を行うことが可能である。例えば、人の体型や足の形状などを１０グループに分類することが可能な学習は、教師なし学習を行うことが可能である。
また、例えば、空間における物体の動きについて、類似したものを同じ分類とするように所定の数の分類を行うための学習は、教師なしデータを用いた学習を行うことが可能である。例えば、多くの人が行う運転操作をグループ化して２０グループに分類するための学習は、教師なしデータを用いた学習を行うことが可能である。
上記のように、分類結果を評価する関数を作成して学習させることによって、所定の期待内容に応じた学習を行わせることが可能となる。なお、上記の例以外にも、ディープラーニングにおいて教師なし学習で獲得可能なアプリケーションに適用することができる。
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。
本発明の第２の実施形態は、センサに加えて、補助センサを用いて、学習データの作成や対象の存在状態の検出を実行する場合の実施形態である。赤外線などの光を投光および受光するセンサに加えて、様々な補助センサを用いることにより、所定の空間の状態の検出能力をより高めることが可能となる。
図１２は、本発明の第２の実施形態における学習環境準備装置１１の構成例示す図である。図１２に示すように、学習環境準備装置１１は、補助センサ１１７を備える。
また、図１３は、本発明の第２の実施形態における空間状態検出装置４の構成例を示す図である。図１３に示すように、空間状態検出装置４は、補助センサ４６を備える。
（補助センサ）
本発明の学習システムでは、検出能力を高めるために、補助センサを用いることができる。補助センサは、赤外線などの光線を用いたセンサに限らず、どのようなセンサであってもよい。補助センサの検出したデータを学習に用いることで、補助センサの情報を用いて、所定の空間の状態の検出が可能となる。
１）静電容量センサ：補助センサは、例えば、静電容量センサを用いることができる。静電容量センサは、第１の実施形態で説明した赤外線センサと類似するセンサであり、当該静電容量センサは補助センサとして用いてもよいし、赤外線センサの代わりとして用いてもよい。
２）車載ＬＡＮの信号：補助センサは、外部装置から情報を取得するセンサであってもよい。補助センサは、例えば、車載ＬＡＮの信号から、運転操作部の操作に関する情報が取得可能である。運転操作部の操作に関する情報は、ステアリング操作、アクセルペダルの操作、ブレーキペダルの操作、ワイパーの操作等が把握可能である。これらの情報は、自動車の運転手の個人情報となり得る場合があるため、例えば、自動車の運転手の承諾を得たうえで、当該情報を収集してもよい。
３）車室内設備の操作に関する情報：また、補助センサは、運転以外の操作に関する情報を取得するセンサであってもよい。補助センサは、例えば、車室内装備の操作、例えばパワーウィンドウやドアのロックなどの操作に関する情報が取得可能である。また、補助センサは、エアコンの操作や、オーディオ装置の操作やナビゲーション装置の操作に関する情報を取得することもできる。また、リモコン（remote controller）の操作に関する情報も取得可能である。リモコンの操作としては、例えば、ドアのロック解除や、トランクの解錠、エンジン始動などがある。
４）監視装置：また、補助センサは、監視装置から情報を取得するセンサであってもよい。監視装置は、例えば、ドライブレコーダなどの情報である。さらに、補助センサは、自動車内における無線通信端末（例えば、携帯電話やスマートフォンなど）の操作情報や、スマートウォッチなどの携帯型デバイスに対する操作情報からも情報を取得してもよい。また、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）型のセンサも補助センサとして利用することができる。ＩｏＴ型のセンサの情報は、例えば、車載のゲートウェイ装置を介して、取得することができる。なお、ＩｏＴ型のセンサは、自動車内に設置されるセンサ以外にも、道路周辺などどのような位置に設置されていてもよく、ネットワークを介して、それらのセンサから収取した情報を、検出に用いることができる。
５）ウェアラブルセンサ：また、動作検出対象が装着したセンサも、補助センタとして用いることができる。補助センサは、例えば、ウェアラブルセンサとして、スマートウォッチから取得できる腕の運動状況や、体温、心拍数などが収集可能である。また、医療関連装置、例えば、血圧計や体温計などを、補助センサとして用いることもできる。さらに、ロボットや機械が装着するセンサも、補助センサとすることが可能である。
６）空間内の装置に設置されたセンサ：また、検出対象空間にある装置が備えるセンサも補助センサとして用いることができる。例えば、道路周辺に設置された、例えば速度計や温度計、カメラなどのセンサや、検出対象の周囲にある車両や建物などに設置された、例えば防犯カメラなどのセンサを、補助センサとして用いることができる。
７）監視用センサ：また、動作検出対象を監視するセンサも、補助センサとなり得る。例えば、検出対象を識別・追跡して監視可能なセンサがある。例えば、顔やＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）により、個人や固体を特定して存在位置を追跡可能なセンサは、補助センサとして用いることができる。
８）カメラや圧力センサなど：また、顔の位置や視線、表情などを検出可能なカメラなどのセンサや、人の属性（性別や年齢）や感情を検出可能なセンサも、補助センサとして利用可能である。また、自動車の座席などに設置され、圧力により乗員の着座を検出したり、荷物が置かれていることを検出したりすることができる圧力センサもある。
９）集音センサ：また、補助センサは、集音可能なセンサであってもよく、当該補助センサを用いることにより、周囲の状況を検出することで、周囲の状況に応じた判定も可能となる。例えば、自動車内に設置されたマイクなどの集音センサを補助センサとして用いることにより、周囲が静かになったことを検出した場合には、当該自動車が停車または駐車状態になったことが把握できる。
１０）測距センサ：また、距離を測るためのセンサも、補助センサとして利用可能である。測距センサによれば、自動車外の離れた場所の状況が把握可能となる。測距センサの向きや、距離のパターンを変化させることで、対象を検出可能である。
１１）ワイパー制御用センサ：補助センサは、さらに、水検出センサと、カメラ画像と、雨滴センサとを組み合わせであってもよく、当該補助センサにより、雨滴や降雨状況を検出することができる。
本発明の第２の実施形態における学習環境準備装置１１は、補助情報取得部１１８を含む。補助情報取得部１１８は、補助センサ１１７からの測定情報に基づいて、補助情報を検出する。補助情報取得部１１８は、検出した補助情報を、検出部１１５に通知する。
検出部１１５は、（１）空間状態情報入力部１１４から通知された検出対象の状態に関する情報と、（２）投光情報取得部１１２から通知された投光パターンと、（３）受光部１１３から通知された受光パターンと、（４）補助情報取得部１１８から通知された補助情報とを対応付ける。その後、検出部１１５は、学習ＤＢ１１６に、当該対応付けを通知する。
なお、学習ＤＢ１１６は、検出部１１５から通知を受けるごとに、（１）検出対象の状態に関する情報と、（２）投光情報取得部１１２から通知された投光パターンと、（３）受光部１１３から通知された受光パターンと、（４）補助情報取得部１１８から通知された補助情報とを対応付けて記憶する。
上記により、学習環境準備装置１１は、補助センサも加味して、教師データである学習データを作成することができる。
また、空間状態検出装置４の特定部４４は、ニューラルネットワークの学習により作成した分類器により、投光部４１の投光パターンと、受光部４３の受光パターンと、補助センサ４６の補助情報とに基づいて、所定の空間の状態を検出する。
上記により、空間状態検出装置４は、補助センサも加味して、所定の空間の状態を検出することができる。
上記のとおり、本発明の第２の実施形態では、赤外線などのセンサに加えて、補助センサを用いて物体状態を検出するため、所定の空間の状態の検出能力を高めることが可能となる。
なお、上記の補助センサはあくまでも例示であって、補助センサは、これ以外のセンサを用いることもできることは言うまでもない。また、本発明の第２の実施形態においても、第１の実施形態と同様に、学習の結果として期待する能力の内容によっては、教師なしの学習データを用いた学習を行うことも可能である。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。
本発明は以下のように記載することもできる。
（付記１）
投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定部を記憶したメモリと、
前記メモリに接続されたハードウェアプロセッサと、
を備え、
前記ハードウェアプロセッサは、
所定の空間に投光された投光パターンの情報を取得して、前記特定部に出力し、
前記所定の空間からの光を受光した受光パターンの情報を取得して、前記特定部に出力し、
前記投光情報取得部が取得した前記投光パターンの情報と、前記受光部が受光した前記受光パターンの情報とに基づいて、前記特定部が前記所定の空間の状態を分類した分類結果を出力する
分類装置。
（付記２）
投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込む組み込みステップと、
少なくとも１つのハードウェアプロセッサにより、所定の空間に投光された投光パターンの情報を取得して、前記特定部に出力する投光情報取得ステップと
少なくとも１つのハードウェアプロセッサにより、前記所定の空間からの光を受光した受光パターンの情報を取得して、前記特定部に出力する受光ステップと、
少なくとも１つのハードウェアプロセッサにより、前記特定ステップにおいて、取得した前記投光パターンの情報と、受光した前記受光パターンの情報とに基づいて、前記所定の空間の状態を分類した分類結果を出力するステップと、
を含む分類方法。
１ 学習データ作成システム
２ 学習サービスシステム
３ ネットワーク
４ 空間状態検出装置
４０ 通信部
４１ 投光部
４２ 投光情報取得部
４３ 受光部
４４ 特定部
４５ 検出結果出力部
４６ 補助センサ
４７ 補助情報取得部
１０ 通信部
１１ 学習環境準備装置
１１０ 通信部
１１１ 投光部
１１２ 投光情報取得部
１１３ 受光部
１１４ 空間状態情報入力部
１１５ 検出部
１１６ 学習ＤＢ
１１７ 補助センサ
１１８ 補助情報取得部
１２ 学習データ管理装置
１３ 学習データ入力装置
２０ 通信部
２１ 学習制御装置
２２ 学習装置
２２０ 通信部
２２１ 学習データ取得部
２２２ ニューラルネットワーク
２２３ 学習制御部
２２４ 学習結果出力部
２３ 学習ＤＢ

Claims (8)

  1. 投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定部と、
    所定の空間に投光された投光パターンの情報を取得して、前記特定部に出力する投光情報取得部と
    前記所定の空間からの光を受光した受光パターンの情報を取得して、前記特定部に出力する受光部と、
    を備え、
    前記特定部は、前記投光情報取得部が取得した前記投光パターンの情報と、前記受光部が受光した前記受光パターンの情報とに基づいて、前記所定の空間の状態を分類した分類結果を出力する分類装置。
  2. 前記投光情報取得部は、前記所定の空間内の対象に対して投光された投光パターンの情報を取得して、前記特定部に出力し、
    前記受光部は、前記所定の空間内の対象に対して投光された光の受光パターンを取得して、前記特定部に出力し、
    前記特定部は、前記所定の空間内における前記対象の存在または状態を分類した分類結果を出力する
    ことを特徴とする請求項１に記載の分類装置。
  3. 前記特定部は、予め与えられた空間の状態に対して投光された投光パターンの情報と、当該予め与えられた空間からの光を受光した受光パターンの情報を使って、前記空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ
    ことを特徴とする請求項１または２に記載の分類装置。
  4. 前記特定部は、複数の投光パターンの情報と、当該複数の投光パターンの各々で投光された光を受光した受光パターンの情報を使って、前記空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ
    ことを特徴とする請求項１乃至３のいずれかに記載の分類装置。
  5. 前記特定部は、前記投光パターンの情報と、前記受光パターンの情報と、前記空間の状態に関する情報とを対応付けた学習データを使って、前記空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ
    ことを特徴とする請求項１乃至４のいずれかに記載の分類装置。
  6. 前記特定部は、前記投光パターンの情報と前記受光パターンの情報に加えて、補助センサからの補助情報を使って、空間の状態を分類する学習を行ったニューラルネットワークを組み込む
    ことを特徴とする請求項１乃至５のいずれかに記載の分類装置。
  7. 投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定ステップと、
    所定の空間に投光された投光パターンの情報を取得して、前記特定部に出力する投光情報取得ステップと
    前記所定の空間からの光を受光した受光パターンの情報を取得して、前記特定部に出力する受光ステップと、
    を含み、
    前記特定ステップにおいて、取得した前記投光パターンの情報と、受光した前記受光パターンの情報とに基づいて、前記所定の空間の状態を分類した分類結果を出力する
    ことを特徴とする分類方法。
  8. 投光パターンの情報と受光パターンの情報を使って空間の状態を分類する学習を行ったニューラルネットワークを組み込んだ特定機能と、
    所定の空間に投光された投光パターンの情報を取得して、前記特定部に出力する投光情報取得機能と
    前記所定の空間からの光を受光した受光パターンの情報を取得して、前記特定部に出力する受光機能と、
    を含み、
    前記特定機能において、取得した前記投光パターンの情報と、受光した前記受光パターンの情報とに基づいて、前記所定の空間の状態を分類した分類結果を出力する
    ことをコンピュータに実行させることを特徴とするプログラム。
JP2016237056A 2016-12-06 2016-12-06 分類装置、分類方法およびプログラム Pending JP2018092489A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016237056A JP2018092489A (ja) 2016-12-06 2016-12-06 分類装置、分類方法およびプログラム
EP17878608.3A EP3553461A4 (en) 2016-12-06 2017-03-13 CLASSIFICATION DEVICE, CLASSIFICATION METHOD AND PROGRAM
PCT/JP2017/010016 WO2018105138A1 (ja) 2016-12-06 2017-03-13 分類装置、分類方法およびプログラム
CN201780062368.2A CN109844450B (zh) 2016-12-06 2017-03-13 分类装置、分类方法以及记录介质
US16/386,431 US11475294B2 (en) 2016-12-06 2019-04-17 Classification apparatus for detecting a state of a space with an integrated neural network, classification method, and computer readable medium storing a classification program for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016237056A JP2018092489A (ja) 2016-12-06 2016-12-06 分類装置、分類方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2018092489A true JP2018092489A (ja) 2018-06-14

Family

ID=62490838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016237056A Pending JP2018092489A (ja) 2016-12-06 2016-12-06 分類装置、分類方法およびプログラム

Country Status (5)

Country Link
US (1) US11475294B2 (ja)
EP (1) EP3553461A4 (ja)
JP (1) JP2018092489A (ja)
CN (1) CN109844450B (ja)
WO (1) WO2018105138A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071757A (ja) * 2018-11-01 2020-05-07 株式会社Ｎｔｔドコモ 学習データ生成装置および学習データ生成方法
WO2021156914A1 (ja) * 2020-02-03 2021-08-12 三菱電機株式会社 注意方向判定装置および注意方向判定方法
JP2022121472A (ja) * 2019-03-06 2022-08-19 オムロン株式会社 センサシステム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3069645A1 (en) * 2017-08-10 2019-02-14 Mitsubishi Electric Corporation Identification/classification device and identification/classification method
US10906553B2 (en) * 2018-07-30 2021-02-02 Toyota Motor Engineering & Manufactuiring North America, Inc. Systems and methods for vehicle acceleration event prediction inhibit
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11590933B2 (en) 2020-09-03 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for controlling operating conditions of vehicle components

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05272925A (ja) * 1992-03-25 1993-10-22 Toyoda Mach Works Ltd バイト端縁検出装置
JPH06288913A (ja) * 1993-04-06 1994-10-18 Fujitsu Ltd 瓶類分別検査方法
JPH085348A (ja) * 1994-06-20 1996-01-12 Matsushita Electric Ind Co Ltd ３次元形状検査方法
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
JP2010190865A (ja) * 2009-02-20 2010-09-02 National Institute Of Advanced Industrial Science & Technology 応力発光解析装置、応力発光解析方法、応力発光解析プログラムおよび記録媒体
JP2011191221A (ja) * 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
WO2006116758A2 (en) * 2005-04-28 2006-11-02 Caterpillar Inc. Systems and methods for maintaining load histories
JP4229208B1 (ja) 2007-10-31 2009-02-25 トヨタ自動車株式会社 取り付け角度測定装置および取り付け角度測定方法
US8611604B2 (en) 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
WO2012061709A1 (en) * 2010-11-04 2012-05-10 Digital Lumens Incorporated Method, apparatus, and system for occupancy sensing
CN103051381B (zh) * 2011-10-13 2016-08-03 内诺兰达公司 消除可见光通讯中环境光干扰的方法
CN102589419A (zh) * 2011-11-14 2012-07-18 施宝忠 一种基于psd的测量方法和测量装置
JP6014890B2 (ja) 2012-09-14 2016-10-26 国立大学法人 奈良先端科学技術大学院大学 動体の３次元運動検出装置及び検出方法
CN105358934B (zh) * 2013-07-02 2021-09-10 实耐宝公司 利用目标标记进行安全标识验证的车轮定位
CN105651776A (zh) * 2015-12-30 2016-06-08 中国农业大学 基于计算机视觉的牛胴体产肉量自动分级装置与方法
CN105872757A (zh) * 2016-03-24 2016-08-17 乐视控股（北京）有限公司 一种观看电视的安全距离提醒方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05272925A (ja) * 1992-03-25 1993-10-22 Toyoda Mach Works Ltd バイト端縁検出装置
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
JPH06288913A (ja) * 1993-04-06 1994-10-18 Fujitsu Ltd 瓶類分別検査方法
JPH085348A (ja) * 1994-06-20 1996-01-12 Matsushita Electric Ind Co Ltd ３次元形状検査方法
JP2010190865A (ja) * 2009-02-20 2010-09-02 National Institute Of Advanced Industrial Science & Technology 応力発光解析装置、応力発光解析方法、応力発光解析プログラムおよび記録媒体
JP2011191221A (ja) * 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071757A (ja) * 2018-11-01 2020-05-07 株式会社Ｎｔｔドコモ 学習データ生成装置および学習データ生成方法
JP2022121472A (ja) * 2019-03-06 2022-08-19 オムロン株式会社 センサシステム
JP7382015B2 (ja) 2019-03-06 2023-11-16 オムロン株式会社 センサシステム
WO2021156914A1 (ja) * 2020-02-03 2021-08-12 三菱電機株式会社 注意方向判定装置および注意方向判定方法
JPWO2021156914A1 (ja) * 2020-02-03 2021-08-12
JP7267467B2 (ja) 2020-02-03 2023-05-01 三菱電機株式会社 注意方向判定装置および注意方向判定方法

Also Published As

Publication number Publication date
EP3553461A1 (en) 2019-10-16
WO2018105138A1 (ja) 2018-06-14
CN109844450A (zh) 2019-06-04
CN109844450B (zh) 2021-06-04
US11475294B2 (en) 2022-10-18
EP3553461A4 (en) 2020-01-22
US20190244101A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
WO2018105138A1 (ja) 分類装置、分類方法およびプログラム
US11461636B2 (en) Neural network applications in resource constrained environments
JP6825947B2 (ja) 車両内照明のための音声および／またはジェスチャー認識を伴う制御デバイスおよび方法
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
JP2019205078A (ja) システム及びプログラム等
CN106061793A (zh) 成像系统及方法
US20230356728A1 (en) Using gestures to control machines for autonomous systems and applications
CN106828304A (zh) 运用结构光感测障碍的倒车警示方法
JP7444133B2 (ja) 情報提示装置
CN115703431A (zh) 用于车辆安全监测的系统和方法
CN115427268A (zh) 用于检测被锁在车内的乘客的具有人工智能功能的警报
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
JP7308573B2 (ja) システム及びプログラム等
TWI748588B (zh) 測定裝置及測距裝置
JP7289166B2 (ja) システム及びプログラム等
JP2021099602A (ja) 駐車場管制システム、駐車場管制方法、及びプログラム
JP7223472B1 (ja) システム及びプログラム等
CN113771869B (zh) 车辆控制方法和基于可穿戴设备控制车辆的方法
WO2023053487A1 (ja) 置き去り通知装置、置き去り通知方法および置き去り通知プログラム
JP2023061984A (ja) システム及びプログラム等
Ghosh et al. Monitoring of Road Accidents-A Review

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170424

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20200316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210426