JP2017091431A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2017091431A
JP2017091431A JP2015224445A JP2015224445A JP2017091431A JP 2017091431 A JP2017091431 A JP 2017091431A JP 2015224445 A JP2015224445 A JP 2015224445A JP 2015224445 A JP2015224445 A JP 2015224445A JP 2017091431 A JP2017091431 A JP 2017091431A
Authority
JP
Japan
Prior art keywords
information
processing apparatus
learning
information processing
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015224445A
Other languages
English (en)
Inventor
順 横野
Jun Yokono
順 横野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015224445A priority Critical patent/JP2017091431A/ja
Priority to US15/772,679 priority patent/US10755168B2/en
Priority to PCT/JP2016/077913 priority patent/WO2017086022A1/ja
Priority to CN201680065662.4A priority patent/CN108292368B/zh
Publication of JP2017091431A publication Critical patent/JP2017091431A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

【課題】認識処理を利用するユーザを拡大することが可能な仕組みを提供する。【解決手段】機械学習により得られる学習情報を記憶する記憶部と、識別情報を得る入力部と、前記識別情報に基づいて前記記憶部から特定される前記学習情報を用いた認識処理を行う処理部と、を備える、情報処理装置。プロセッサにより、機械学習により得られる学習情報を記憶することと、識別情報を得ることと、前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行うことと、を含む、情報処理方法。機械学習により得られる学習情報を記憶する記憶機能と、識別情報を得る入力機能と、前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行う処理機能と、をコンピュータに実現させるためのプログラム。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、認識技術の発展に伴い、認識技術が広く利用されるようになってきている。具体的には、当該認識技術を利用した様々な技術または製品が開発されている。例えば、物体認識技術を用いて特定の物体の有無を検出する装置が開発されている。
他方で、認識技術の利用範囲が拡大するにつれて、認識技術に対する様々なニーズが発生している。当該ニーズとしては、認識処理の正確性の向上および高速化がある。ここで、認識処理においては概して、特徴量の抽出および当該特徴量を入力とする識別器を用いた処理が行われる。そのため、当該認識処理の結果は、当該識別器を用いた処理の正確性および精度に左右される。そこで、識別器の生成が重要となる。
しかし、認識対象が複雑であるほど、識別器の生成が困難となる。例えば、識別器の生成には学習データに基づく機械学習が用いられることが多いが、識別器の正確性および精度を向上させるためには当該学習データが膨大となる。そのため、識別器の生成にかかる時間が長期化しかねない。
これに対し、転移学習を利用した識別器の生成が提案されている。例えば、特許文献1では、いわゆるブースティングによる転移学習を利用して物体識別器を生成する学習装置に係る発明が開示されている。具体的には、当該学習装置は、既存の識別器を転移識別器として取得する。次に、当該学習装置は、当該転移識別器を構成する弱識別器のうち学習画像のから抽出される特徴量についての誤り率が最小となる弱識別器を選択する。そして、当該学習装置は、選択される弱識別器を線形結合することにより物体識別器を生成する。当該発明によれば、物体識別器の生成にかかる時間が短縮されると言われている。
特開2012−243180号公報
しかし、特許文献1で開示される発明を含む従来の技術では、利用ユーザを拡大することが困難であった。例えば、認識処理に用いられる識別器は、装置に予め搭載されることが多い。他方で、所望の認識処理は、概して状況、特にユーザに応じて異なる。そのため、所望の認識処理に用いられる識別器が装置に搭載されていない場合には、当該所望の認識処理を行うことが困難となる。これに対し、予め多くの種類の識別器を搭載する方法が考えられる。しかし、その場合、装置の製造コストが増大し、当該装置の価格も上昇してしまう。その結果、ユーザは認識処理に係る装置の利用を躊躇することになる。
そこで、本開示では、認識処理を利用するユーザを拡大することが可能な仕組みを提案する。
本開示によれば、機械学習により得られる学習情報を記憶する記憶部と、識別情報を得る入力部と、前記識別情報に基づいて前記記憶部から特定される前記学習情報を用いた認識処理を行う処理部と、を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサにより、機械学習により得られる学習情報を記憶することと、識別情報を得ることと、前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行うことと、を含む、情報処理方法が提供される。
また、本開示によれば、機械学習により得られる学習情報を記憶する記憶機能と、識別情報を得る入力機能と、前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行う処理機能と、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、認識処理を利用するユーザを拡大することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的な構成例を説明するための図である。 同実施形態に係る情報処理システムの構成例を別の側面から説明するための図である。 同実施形態に係る情報処理装置の概略的な物理構成の例を示す図である。 同実施形態に係る情報処理装置の備える処理回路を説明するための模式図である。 同実施形態に係る情報処理装置の概略的な論理構成の例を示すブロック図である。 同実施形態に係る情報処理装置によるセンサ情報の提供を説明するための図である。 同実施形態に係る情報処理装置による学習情報の記憶を説明するための図である。 同実施形態に係る情報処理装置の記憶態様の例を示す図である。 同実施形態に係る情報処理装置の処理を概念的に示すフローチャートである。 同実施形態の第1の変形例に係る情報処理装置の処理を概念的に示すフローチャートである。 同実施形態の第3の変形例に係る情報処理装置が出力する認識器の設定状態を示す画面の例を示す図である。 同実施形態に係る情報処理装置のロボットへの適用例を示す図である。 同実施形態に係る情報処理装置のウェアラブルデバイスへの適用例を示す図である。 同実施形態に係る情報処理装置のスポーツへの適用例を示す図である。 同実施形態に係る情報処理装置の自動車への適用例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システムの概要
2.装置の構成例
2−1.物理的な構成
2−2.論理的な構成
3.装置の処理
4.基本形態のまとめ
5.変形例
6.システムの適用例
6−1.ライフスペースへの適用
6−2.ロボットへの適用
6−3.ウェアラブルデバイスへの適用
6−4.スポーツへの適用
6−5.自動車への適用
7.むすび
<1.システムの概要>
まず、図1および図2を参照して、本開示の一実施形態に係る情報処理システムの概要を説明する。図1は、本開示の一実施形態に係る情報処理システムの概略的な構成例を説明するための図であり、図2は、本実施形態に係る情報処理システムの構成例を別の側面から説明するための図である。
図1に示したように、当該情報処理システムは、情報処理装置100および出力装置200を備える。なお、情報処理装置100と出力装置200とは通信を介して接続される。また、図1に示したように情報処理装置100と出力装置200とは物理的に接続されてもよく、さらに情報処理装置100は着脱可能であってもよい。
情報処理装置100は、当該情報処理装置100周辺の状況についての測定を行う機能と、当該測定の結果についての認識処理を行う機能とを有する。また、出力装置200は、認識処理の結果に基づいて出力を制御する機能を有する。このため、情報処理システムは、情報処理装置100を通じて認識される当該情報処理装置100周辺の状況に応じて出力装置200からの出力を制御することができる。
具体的には、情報処理装置100は、自装置の有するセンサモジュール112を用いて情報処理装置100周辺の状況についてセンシングを行う。次に、情報処理装置100は、当該センシングの結果に基づいて認識処理を行う。そして、認識処理の結果が出力装置200に提供され、出力装置200は、当該認識処理の結果に応じて出力を制御する。
例えば、図1に示したように、情報処理装置100は、表示装置である出力装置200に取付けられる。情報処理装置100の有するセンサモジュール112は撮像センサモジュールであり、情報処理装置100は当該撮像センサモジュールを用いて情報処理装置100すなわち出力装置200周辺を撮像することにより画像を取得する。次に、情報処理装置100は、取得された画像に基づいてユーザのジェスチャについて認識処理を行う。そして、当該認識処理の結果が出力装置200に提供され、出力装置200は当該認識処理の結果の示すジェスチャに応じた画面を表示させる。
また、図2を参照して、別の側面から情報処理システムについて説明すると、情報処理システムの構成は3つの層に分類される。具体的には、当該情報処理システムの構成は、ハードウェア層、ミドルウェア層およびアプリケーション層に分類される。例えば、情報処理システムは、図2に示したように、撮像センサ、慣性センサまたは音声センサなどのセンサを含むハードウェア層、顔認識、人認識、手認識または視線認識などの認識機能を含むミドルウェア層および生活空間インタフェース、ウェアラブルデバイスインタフェースまたはエージェント(ロボット)インタフェースなどを含むアプリケーション層を有する。
例えば、図1の例では、情報処理装置100は上記ハードウェア層およびミドルウェア層を担い、出力装置200は上記アプリケーション層を担う。当然ながら当該各層の担当については種々の形態が採用され得る。例えば、情報処理装置100が上記全ての層を担ってもよい。
ここで、上記認識処理には、上述したように正確性および高速性が求められる。これに対し、当該認識処理には、概して機械学習が利用される。例えば、識別器(以下、認識器とも称する。)を用いた認識処理が行われる。しかし、上述したように、従来の認識器を用いた認識処理では、認識処理を利用するユーザを拡大することが困難な場合があった。
そこで、本開示の一実施形態に係る情報処理システムにおける情報処理装置100は、機械学習により得られる学習情報を記憶し、入力される識別情報に基づいて特定される学習情報を用いた認識処理を行う。以下、当該情報処理装置100について詳細に説明する。
<2.装置の構成例>
以上、本開示の一実施形態に係る情報処理システムの概要について説明した。次に、当該情報処理システムの構成要素である情報処理装置100について説明する。まず、情報処理装置100の物理的な構成について説明する。
<2−1.物理的な構成>
図3を参照して、情報処理装置100の物理的な構成について説明する。図3は、本実施形態に係る情報処理装置100の概略的な物理構成の例を示す図である。
図3に示したように、情報処理装置100は、プロセッサ102、メモリ104、ブリッジ106、バス108、インタフェース110、センサモジュール112、入力モジュール114、出力モジュール116、接続ポート118および通信モジュール120を備える。
(プロセッサ)
プロセッサ102は、演算処理装置として機能し、各種プログラムと協働して情報処理装置100内の処理部150の動作の一部を実現する制御モジュールである。プロセッサ102は、制御回路を用いてメモリ104または他の記憶媒体に記憶されるプログラムを実行することにより、後述する情報処理装置100の様々な論理的機能を動作させる。例えば、プロセッサ102はCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)またはSoC(System-on-a-Chip)であり得る。
(メモリ)
メモリ104は、プロセッサ102が使用するプログラムまたは演算パラメータなどを記憶する。例えば、メモリ104は、RAM(Random Access Memory)を含み、プロセッサ102の実行において使用するプログラムまたは実行において適宜変化するパラメータなどを一時記憶する。また、メモリ104は、ROM(Read Only Memory)を含み、RAMおよびROMにより情報処理装置100内の記憶部160の一部を実現する。なお、接続ポートまたは通信装置などを介して外部のストレージ装置がメモリ104の一部として利用されてもよい。また、メモリ104は、処理回路に設定される学習情報を記憶する。
プロセッサ102およびメモリ104は、CPUバスなどから構成される内部バスにより相互に接続されている。
(ブリッジおよびバス)
ブリッジ106は、バス間を接続する。具体的には、ブリッジ106は、プロセッサ102およびメモリ104が接続される内部バスと、センサモジュール112、入力モジュール114、出力モジュール116、接続ポート118および通信モジュール120間を接続するバス108と、を接続する。なお、センサモジュール112、入力モジュール114、出力モジュール116、接続ポート118および通信モジュール120間はインタフェース110を介して接続される。
(センサ)
センサモジュール112は、情報処理装置100の撮像部130の動作を実現する撮像センサを含み、センサ情報として画像情報(画像データ)を生成する。具体的には、当該センサモジュール112は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子と、レンズと、撮像回路とを含む。当該レンズは、単眼であっても、複眼であってもよい。当該センサモジュール112により生成される撮像画像は、静止画であってもよく、または動画を構成する一連のフレームの各々であってもよい。また、撮像センサは、可視光センサであってもよく、赤外線センサまたは偏光センサであってもよい。なお、センサモジュール112は、加速度もしくは角速度などを測定する慣性センサ、音の大きさもしくは周波数などを測定する音センサ、気温、湿度もしくは気圧などを測定する環境センサまたは体温、脈拍もしくは発汗などを測定する生体センサであってもよく、複数の種類のセンサが含まれていてもよい。
(入力装置)
入力モジュール114は、ユーザが情報処理装置100を操作しまたは情報処理装置100へ情報を入力するために使用される。例えば、入力モジュール114は、情報処理装置100を起動するためのボタンなどのユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ102に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチまたはレバーなどであってもよい。情報処理装置100のユーザは、入力モジュール114を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
(出力装置)
出力モジュール116は、ユーザに情報を提示するために使用される出力モジュールである。例えば、出力モジュール116は、情報処理装置100の起動を示すように点灯するLED(Light Emitting Diode)ランプなどへの信号出力を行う。なお、出力モジュール116は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、プロジェクタ、スピーカまたはヘッドフォンなどの装置への出力を行ってもよい。
(接続ポート)
接続ポート118は、機器を情報処理装置100に直接接続するためのポートである。例えば、接続ポート118は、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート118は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート118に外部機器を接続することで、情報処理装置100と外部機器との間でデータが交換されてもよい。
(通信装置)
通信モジュール120は、情報処理装置100と外部装置との間の通信を仲介し、通信部140の動作を実現する。例えば、通信モジュール120は、Bluetooth(登録商標)、NFC(Near Field Communication)、ワイヤレスUSBもしくはTransferJet(登録商標)などの近距離無線通信方式、WCDMA(登録商標)(Wideband Code Division Multiple Access)、WiMAX(登録商標)、LTE(Long Term Evolution)もしくはLTE−Aなどのセルラ通信方式、またはWi−Fi(登録商標)などの無線LAN(Local Area Network)方式といった、任意の無線通信方式に従って無線通信を実行してよい。また、通信モジュール120は、有線による通信を行うワイヤ通信を実行してもよい。
なお、情報処理装置100は、図3を用いて説明した構成の一部を有しなくてもよく、または追加的な構成を有していてもよい。また、図3を用いて説明した構成の全体または一部を集積したワンチップの情報処理モジュールが提供されてもよい。
(処理回路)
また、情報処理装置100は、図3に示されていないが、機械学習により得られる学習情報に基づき認識処理の少なくとも一部を行う処理回路を備え得る。当該処理回路および当該学習情報によって上述した認識器が実現される。なお、以下では説明の便宜上、学習情報を認識器とも称する場合がある。図4を参照して、当該処理回路について説明する。図4は、本実施形態に係る情報処理装置100の備える処理回路を説明するための模式図である。
情報処理装置100は、図4に示したような複数の素子10および当該素子10間を接続する配線を含む処理回路を備える。当該処理回路は、センサモジュール112から得られるセンサ情報についてメモリ104に記憶される学習情報を用いて認識処理を行う。例えば、処理回路が行う認識処理はニューラルネットワーク方式の認識処理であり、上記機械学習により得られる学習情報は当該ニューラルネットワーク方式の認識処理で用いられる係数情報である。当該係数情報は、処理回路に含まれる素子10の各々に対応する情報であり、認識処理が行われる前にメモリ104から読み出され、各素子10について設定される。当該係数情報が変わると素子10の出力も変わり、その結果として処理回路の出力も変わる。すなわち、当該係数情報に応じて認識処理の内容、例えば認識対象が変化する。
さらに、当該ニューラルネットワーク方式の認識処理は、ディープラーニング(Deep Learning)方式の認識処理であってもよい。具体的には、当該処理回路の素子10が多層構造に配設される。なお、ネットワークの接続形態としては、フィードフォワード型またはリカレント型などの様々な形態が採用され得る。
なお、情報処理装置100の認識処理は、他の機会学習の方式の認識処理であってもよい。例えば、当該認識処理は、ブースティング(Boosting)方式であっても、サポートベクタマシン(SVM:Support Vector Machine)方式であってもよい。なお、当然ながら、各方式に応じた学習情報が記憶される。
<2−2.論理的な構成>
以上、情報処理装置100の物理的な構成について説明した。次に、図5を参照して、情報処理装置100の論理的な構成について説明する。図5は、本実施形態に係る情報処理装置100の概略的な論理構成の例を示すブロック図である。
図5に示したように、情報処理装置100は、撮像部130、通信部140、処理部150および記憶部160を備える。
(1)センサ情報の提供
まず、図6を参照して、センサ情報の提供機能について説明する。図6は、本実施形態に係る情報処理装置100によるセンサ情報の提供を説明するための図である。情報処理装置100は、センサ情報を外部の装置に提供する。具体的には、処理部150は、撮像部130の撮像により得られる画像に係る画像データを通信部140に送信させる。例えば、図6に示したように、情報処理装置100は、有線通信または無線通信を介して外部の装置300と接続される。処理部150は、撮像部130から画像データを取得し、取得される画像データを通信部140に接続されている外部の装置300に向けて送信させる。なお、当該画像データは、学習情報を生成するために用いられ得る。
(2)学習情報の記憶
次に、図7および図8を参照して、学習情報の記憶機能について説明する。図7は、本実施形態に係る情報処理装置100による学習情報の記憶を説明するための図であり、図8は、本実施形態に係る情報処理装置100の記憶態様の例を示す図である。情報処理装置100は、学習情報およびその他の情報を記憶する。具体的には、記憶部160は、通信部140により得られる学習情報を記憶する。例えば、図7に示したように、通信部140は情報処理装置100と接続される外部の装置300から学習情報を受信し、処理部150は受信される学習情報を記憶部160に記憶させる。
また、記憶部160は、識別情報に基づいて学習情報を記憶する。具体的には、通信部140は学習情報および識別情報を受信し、処理部150は受信される識別情報から特定される記憶部160の領域(以下、記憶領域とも称する。)に学習情報を記憶させる。より具体的には、記憶部160の記憶領域は複数の種類に分けられ、当該記憶領域と識別情報とは対応付けられる。処理部150は、当該識別情報が受信されると、識別情報と記憶領域との対応付けに従って記憶領域を決定する。そして、記憶部160は、決定される記憶領域に学習情報を記憶する。
ここで、識別情報は、認識処理の結果の提供先が識別される情報(以下、提供先情報とも称する。)を含む。具体的には、提供先情報は、ユーザまたは認識処理の結果に基づいて動作するアプリケーションもしくは装置などの上記提供先が識別される情報を含む。例えば、提供先情報は、ユーザID(Identifier)、アプリケーションIDまたは装置IDである。
さらに図8を参照して識別情報に基づく学習情報の記憶について詳細に説明する。例えば、図8に示したように、記憶部160の記憶領域は、共用学習情報領域、特定者専用学習情報領域、供給元専用学習情報領域、セキュリティ情報領域および供給元専用ロジック情報領域の5つの領域に分割される。共用学習情報領域は、任意のユーザ(デベロッパまたはエンドユーザなど)が学習情報を記憶させることができる領域である。特定者専用学習情報領域は、特定のユーザ(供給元と契約を交わしたデベロッパなど)が学習情報を記憶させることができる領域である。供給元専用学習情報領域は、供給元(情報処理装置100の製造者または販売者など)のみが学習情報を記憶させることができる領域である。また、セキュリティ情報領域には情報処理装置100の利用ユーザに関する個人情報などが記憶され、供給元専用ロジック情報領域には情報処理装置100の動作に関する情報などが記憶され得る。また、これらセキュリティ情報領域および供給元専用ロジック情報領域は、供給元のみが情報を記憶させることができる領域である。そして、上記識別情報は、供給元、特定のユーザおよびそれ以外のユーザが識別される情報である。
なお、学習情報は追加的に記憶されてもよい。具体的には、処理部150は、通信部140により学習情報および識別情報が受信されると、当該識別情報から特定される記憶領域が空いているかを判定する。当該記憶領域に空きがあると判定される場合、処理部150は、受信された学習情報を当該記憶領域に記憶させる。なお、当該記憶領域に空きがないと判定される場合、ユーザの指示に基づいて記憶されている学習情報が削除され、削除により得られた領域に学習情報が記憶されてもよい。
また、学習情報は変更されてもよい。具体的には、処理部150は、既に記憶されている学習情報の一部または全てを記憶部160に変更させる。より具体的には、変更先の学習情報は、記憶されていた学習情報からの転移に基づいて生成される。例えば、情報処理装置100は、供給元が予め記憶部160に記憶させておいた学習情報ならびに当該学習情報を用いた認識処理の入力データおよび結果を外部の装置に送信する。そして、外部の装置において、受信される学習情報について、受信される認識処理の入力データおよび結果に基づく転移学習が適用され、当該転移学習により得られる学習情報が情報処理装置100に送信される。そして、情報処理装置100において、記憶部160は、受信される学習情報を元の学習情報に上書きする。なお、当該受信される学習情報は別の学習情報として記憶されてもよい。
(3)認識処理
情報処理装置100は、識別情報に基づいて特定される学習情報を用いた認識処理を行う。具体的には、識別情報は認識処理の結果の提供先から通知され、処理部150は、当該識別情報が通知されると、通知された識別情報から特定される記憶部160に記憶される学習情報を用いてセンサ情報についての認識処理を行う。より具体的には、処理部150は、通信部140により出力装置200から装置IDが受信されると、当該装置IDから特定される記憶領域に記憶されている係数情報を記憶部160から取得する。そして、処理部150は、取得された係数情報を処理回路に設定し、撮像部130から得られる画像について認識処理を処理回路に行わせる。例えば、認識処理における認識対象は、上述したような顔、手または人などの物体の有無または姿勢もしくは視線などの物体の態様である。なお、当該識別情報は、認識処理要求と共に通知されてもよく、別個に通知されてもよい。また、当該認識処理には、認識結果の提供が含まれる。具体的には、処理部150は、認識処理の一部として、処理回路から出力される認識結果をユーザ、アプリケーションまたは出力装置200のような装置に提供する。例えば、認識結果は視覚的または聴覚的にユーザに直接的に提示されてもよく、認識結果を示す情報がアプリケーションまたは装置に提供され、当該アプリケーションまたは装置を介してユーザに認識結果が提示されてもよい。
また、識別情報は、上述した提供先情報とは別の情報であってもよい。具体的には、識別情報は、認識処理における認識対象が識別される情報(以下、認識対象情報とも称する。)を含み、処理部150は、当該認識対象情報から特定される学習情報を用いて認識処理を行う。例えば、認識対象情報はアプリケーションまたは装置における機能が識別される情報(以下、機能情報とも称する。)であり、処理部150は、通信部140により当該機能情報が受信されると、当該機能情報から特定される認識対象を認識するために用いられる学習情報を記憶部160から取得する。そして、処理部150は、取得される学習情報を処理回路に設定し、処理回路に認識処理を行わせる。なお、情報処理装置100には、当該機能情報と認識対象または学習情報との対応付けが予め記憶されてもよく、当該対応付けが外部の装置から通信を介して取得されてもよい。
なお、識別情報から特定される学習情報は複数であってもよい。具体的には、処理部150は、識別情報から特定される複数の記憶領域に記憶される学習情報を用いて認識処理を行う。例えば、識別情報から図8に示したような共用学習情報領域および特定者専用学習情報領域といった2つの記憶領域が特定される場合、処理部150は、当該両記憶領域に記憶されている学習情報を用いて認識処理を行う。
(4)認識対象の変更
情報処理装置100は、識別情報に基づいて認識処理を変更する。具体的には、認識情報は認識処理の結果の提供先から送信される認識処理の変更要求に含まれ、処理部150は、当該変更要求が受信されると、認識処理に用いられる学習情報を当該変更要求に含まれる識別情報から特定される学習情報に変更する。例えば、処理部150は、通信部140により出力装置200から機能情報を含む変更要求が受信されると、当該変更要求に含まれる機能情報と現在の認識処理に用いられている学習情報に係る機能情報とが一致するかを判定する。機能情報が一致すると判定される場合、処理部150は学習情報を維持したまま処理を終了し、機能情報が一致しないと判定される場合、処理部150は認識処理に用いられる学習情報を変更要求に含まれた学習情報に変更する。なお、上記変更要求は、出力装置200に対するユーザ操作に基づいて生成され得る。
<3.装置の処理>
次に、図9を参照して、本実施形態に係る情報処理装置100の処理について説明する。図9は、本実施形態に係る情報処理装置100の処理を概念的に示すフローチャートである。なお、情報処理装置100の処理は、上述したような論理的構成(ソフトウェア)と物理的構成(ハードウェア)との協働により実現される。
情報処理装置100は、通信接続の確立有無を判定する(ステップS402)。具体的には、処理部150は、通信部140により出力装置200との通信接続が確立されたかを判定する。
通信接続が確立されたと判定されると、情報処理装置100は、通信先に応じて学習情報を選択する(ステップS404)。具体的には、処理部150は、通信部140により通信接続が確立されると、当該通信接続の接続先である装置または当該装置において動作するアプリケーションに応じて記憶部160に記憶される学習情報を取得する。
次に、情報処理装置100は、センサ情報を取得する(ステップS406)。具体的には、撮像部130は、定期的に情報処理装置100の周辺を撮像する。そして、撮像部130は、撮像により得られた画像を処理部150に提供する。
次に、情報処理装置100は、センサ情報について学習情報を用いて認識処理を実行する(ステップS408)。具体的には、処理部150は、取得された学習情報を処理回路に設定することにより認識処理の状態を初期化し、撮像部130から提供された画像について当該処理回路に認識処理を行わせる。そして、処理部150は、通信部140に認識処理の結果を通信先である出力装置200に送信させる。
次に、情報処理装置100は、認識処理の変更要求の受信有無を判定する(ステップS410)。具体的には、処理部150は、通信部140による出力装置200からの機能情報を含む変更要求の受信有無を判定する。
認識処理の変更要求が受信されたと判定されると、情報処理装置100は、学習情報を変更する(ステップS412)。具体的には、処理部150は、通信部140により変更要求が受信されたと判定されると、当該変更要求に含まれる機能情報から特定される認識対象を認識するための学習情報を記憶部160から取得する。そして、処理部150は、取得された学習情報を認識処理で用いられる学習情報に設定する。
次に、情報処理装置100は、通信接続の切断有無を判定する(ステップS414)。具体的には、処理部150は、出力装置200との通信接続が切断されたかを判定する。
なお、ステップS410にて認識処理の変更要求が受信されていないと判定された場合またはステップS414にて通信接続が切断していないと判定された場合、ステップS406に処理が戻り、設定されている学習情報を用いた認識処理が行われる。
<4.基本形態のまとめ>
このように、本開示の一実施形態によれば、情報処理装置100は、機械学習により得られる学習情報を記憶し、取得される識別情報に基づいて特定される当該学習情報を用いた認識処理を行う。このため、識別情報と学習情報との対応付けに応じて認識処理の内容を制御することができる。従って、当該対応付けによって、提供される認識処理の過不足を抑制することができる。よって、認識処理の提供不足が抑制されることによりユーザの満足度の低下を抑制でき、また認識処理の提供過剰が抑制されることにより利用コストの低減または処理の高速化が可能となる。その結果、認識処理を利用するユーザを拡大することが可能となる。
また、上記認識処理は、ニューラルネットワーク方式の認識処理を含み、上記学習情報は、当該ニューラルネットワークにおける係数情報を含む。このため、他の方式と比べて比較的少ない計算量で画像などについての認識処理を行うことができる。従って、認識結果の提供までにかかる時間を短縮することが可能となる。また、認識処理の一部または全てをハードウェア化することができ、処理の高速化が可能となる。
また、上記ニューラルネットワークは、多層構造のニューラルネットワークを含む。このため、係数情報を変更するだけで異なる認識対象についての認識処理を行うことができる。従って、認識対象毎に認識処理のための構成が設けられずに済み、情報処理装置100の構成を簡素化し、コストを抑制することが可能となる。
また、上記識別情報は、上記認識処理の結果の提供先が識別される情報を含む。このため、当該提供先に応じた学習情報を用いて認識処理が行われることにより、当該提供先との認識処理のための通信を省略することができる。従って、認識処理前の処理時間が低減されることにより、通信接続から認識処理の結果の提供までのタイムラグを低減することが可能となる。
また、上記提供先は、ユーザまたは上記認識処理の結果に基づいて動作するアプリケーションもしくは装置を含む。このため、当該提供先の種類またはレイヤに応じた認識処理の結果が提供されることにより、提供先における当該認識処理の結果に対する作業または処理を省くことができる。従って、ユーザにとっては認識処理の結果の把握を容易にすることができ、アプリケーションまたは装置にとっては処理負荷を低減することができる。
また、上記識別情報は、認識対象が識別される情報を含む。このため、認識対象が特定された上で認識処理が行われることにより、認識処理の提供先(要求元)と情報処理装置100との間の認識対象の不整合の発生を抑制できる。従って、当該認識処理の要求元にとって望ましい認識結果が提供されやすくすることが可能となる。また、認識対象が特定されている方が、認識処理が速いことが多い。そのため、認識結果のレスポンスを高速化することができる。
また、上記識別情報は、上記認識処理の結果の提供先から通知される。このため、認識処理の要求元から学習情報の選択に関わる識別情報が通知されることにより、上記認識対象の不整合の発生をより確実に抑制できる。
また、上記学習情報は、上記識別情報から特定される記憶領域に記憶される。このため、識別情報に応じた記憶領域が確保されることにより、様々な状況に応じた学習情報を記憶させておくことができる。特に、識別情報がユーザ(エンドユーザまたはデベロッパなど)の識別情報である場合には、ユーザ毎に利用可能な記憶領域が確保される。そのため、各ユーザは記憶させる学習情報を選ぶことができ、結果として認識処理ひいては情報処理装置100をカスタマイズすることが可能となる。それにより、情報処理装置100に対するユーザの利便性を向上させることができ、より多くのユーザに情報処理装置100を利用する動機を与えることが可能となる。
また、情報処理装置100は、取得される上記学習情報を追加的に記憶する。このため、事後的に学習情報を追加することができ、ユーザによるカスタマイズの機会を増やすことが可能となる。また、認識対象を事後的に増やすことができ、情報処理装置100の利用機会を拡大することが可能となる。
また、情報処理装置100は、記憶されている上記学習情報を変更する。このため、学習情報が正確性または精度のより高い学習情報に変更されることにより、認識処理結果の有用性を向上させることができる。従って、当該認識処理の結果の提供先における当該認識処理の結果を用いた処理の質を向上させることが可能となる。
また、変更先の学習情報は、記憶されている学習情報からの転移に基づいて生成される。このため、予め記憶されている学習情報のうちの評価が高い、例えば誤り率が低い学習情報が学習情報の改変に利用されることにより、効率良く改善された学習情報を生成することが可能となる。
また、上記識別情報から複数の学習情報が特定され、情報処理装置100は、当該複数の学習情報を用いて上記認識処理を行う。このため、複数の学習情報を組み合わせて認識処理が行われることにより、認識対象の拡大または認識処理の結果の正確性もしくは精度の向上が可能となる。
また、上記認識処理における認識対象は、物体の有無または態様を含む。ここで、物体には様々な種類があるため、認識処理の正確性の向上および高速化が困難であることが多い。そこで、本実施形態に係る情報処理装置100が物体認識に適用されることにより、より正確でかつ高速な物体認識が可能となる。
また、情報処理装置100は、センサ情報を生成するセンサモジュールをさらに備え、当該センサ情報についての認識処理を行う。このため、情報処理装置100にセンサモジュールが備えられることにより、センシングから認識処理までを一貫して行う装置を提供することができる。従って、センサまたは認識処理機能を有さない装置においてもセンシングされる状況に応じた処理を行うことが可能となる。また、センサまたは認識処理機能を有していた装置からこれらを省くことができ、装置のコストを低減することが可能となる。
<5.変形例>
以上、本開示の一実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第3の変形例について説明する。
(第1の変形例)
本実施形態の第1の変形例として、識別情報は、提供先情報および機能情報と異なる他の情報であってもよい。具体的には、識別情報は、上記認識処理における認識対象に係る場所が識別される情報(以下、場所情報とも称する。)であってもよい。より具体的には、当該場所情報はセンサ情報に基づいて生成され、処理部150は生成される当該場所情報から特定される学習情報を用いて認識処理を行う。例えば、処理部150は、撮像部130の撮像により得られる画像に基づいて情報処理装置100の位置する場所を推定する。そして、処理部150は推定される場所に対応する学習情報を記憶部160から取得する。また、例えば、情報処理装置100は別途に気温センサを備え、処理部150は、気温センサから得られる気温情報から特定される学習情報を用いて認識処理を行ってもよい。具体的には、処理部150は、気温センサから得られる気温情報に基づいて情報処理装置100の位置する場所が室内か室外かを判定する。そして、処理部150は、室内または室外に対応する学習情報を用いて認識処理を行う。なお、センサ情報は上記センサ情報に限定されず、上述したセンサのほか、GPS(Global Positioning System)センサから得られる位置情報などの多様なセンサ情報が用いられ得る。
また、識別情報は、上記認識処理における認識対象に係る時間帯が識別される情報(以下、時間帯情報とも称する。)であってもよい。具体的には、当該時間帯情報はセンサ情報に基づいて生成され、処理部150は生成される当該時間帯情報から特定される学習情報を用いて認識処理を行う。例えば、処理部150は、撮像部130の撮像により得られる画像に基づいて時間帯を推定する。そして、処理部150は、推定される時間帯に対応する学習情報を記憶部160から取得する。詳細には、昼間における認識処理の誤り率が他のいずれの学習情報よりも低い学習情報が昼間を示す時間帯情報に対応付けられ、処理部150は、時間帯情報が昼間を示す場合、当該昼間に対応する学習情報を記憶部160から取得する。
さらに、図10を参照して、本変形例に係る情報処理装置100の処理の流れについて説明する。図10は、本実施形態の第1の変形例に係る情報処理装置100の処理を概念的に示すフローチャートである。なお、上述した処理と実質的に同一である処理については説明を省略する。
情報処理装置100は、通信接続の確立有無を判定し(ステップS502)、通信接続が確立されたと判定されると、センサ情報を取得する(ステップS504)。
次に、情報処理装置100は、センサ情報から推定される場所または時間帯に応じた学習情報を選択する(ステップS506)。具体的には、処理部150は、センサ情報から認識対象が位置する場所または認識処理における時間帯を推定する。なお、推定結果が外部の装置から取得されてもよい。そして、処理部150は、当該場所または時間帯から特定される学習情報を記憶部160から取得する。
次に、情報処理装置100は、選択された学習情報と現在の学習情報との一致性を判定する(ステップS508)。具体的には、処理部150は、取得された学習情報と現在設定されている学習情報とが一致するかを判定する。なお、学習情報の代わりに学習情報から特定される認識対象の一致性が判定されてもよい。
学習情報が一致しないと判定される場合、情報処理装置100は、学習情報を変更する(ステップS510)。具体的には、処理部150は、取得された学習情報と設定されている学習情報とが一致しないと判定されると、取得された学習情報を認識処理に用いられる学習情報に設定する。
次に、情報処理装置100は、センサ情報について学習情報を用いて認識処理を実行する(ステップS512)。具体的には、処理部150は、変更された学習情報を用いて撮像部130から得られる画像データについて認識処理を行う。
次に、情報処理装置100は、通信接続の切断有無を判定(ステップS514)し、通信接続が切断されたと判定される場合、処理を終了させる。
このように、本実施形態の第1の変形例によれば、識別情報は、認識処理における認識対象に係る場所が識別される情報である。このため、認識対象に係る場所に適した学習情報が選択されることにより、個々の場所に応じて認識処理を適正化することができる。従って、場所に応じた認識率のばらつきを抑制することが可能となる。
また、識別情報は、認識処理における認識対象に係る時間帯が識別される情報である。このため、認識対象に係る時間帯に適した学習情報が選択されることにより、時間帯に応じて認識処理を適正化することができる。従って、時間帯に応じた認識率のばらつきを抑制することが可能となる。
また、上記場所または時間帯が識別される情報はセンサ情報に基づいて生成される。このため、認識対象のおかれた状況におけるセンサ情報から当該場所情報または時間帯情報が生成されることにより、当該状況に即した学習情報を選択することができる。従って、当該状況に即した認識処理を行うことが可能となる。
(第2の変形例)
本実施形態の第2の変形例として、複数の情報処理装置100が連携してもよい。具体的には、情報処理装置100は、他の情報処理装置100のセンサに係る情報に基づいて特定されるセンサ情報について認識処理を行う。具体的には、複数の情報処理装置100の各々は、互いのセンサモジュール112の設定情報を共有し、当該設定情報に基づいて互いに補完関係または重複関係にあるセンサ情報を生成する。そして、当該情報処理装置100の各々は、それぞれ生成された当該センサ情報について認識処理を行う。例えば、図1に示したように情報処理装置100が出力装置200の上部に設置され、図示していないが他の情報処理装置100が当該出力装置200の周辺に設置される場合を考える。この場合、出力装置200に設置される情報処理装置100と他の情報処理装置100とは、通信を介して互いの撮像範囲を共有する。次に、情報処理装置100の各々は、互いの撮像範囲が重複しないまたは略一致するように撮像部130を設定する。そして、情報処理装置100の各々は、当該設定での撮像により得られる画像について認識処理を行う。
また、設定情報の代わりにまたはそれに加えて、共有されるセンサ情報に基づいて認識処理の入力となるセンサ情報が生成されてもよい。具体的には、情報処理装置100の各々は、互いのセンサ情報を共有し、共有されるセンサ情報に基づいて互いに補完関係または重複関係にあるセンサ情報を生成する。そして、当該情報処理装置100の各々は、それぞれ生成された当該センサ情報について認識処理を行う。例えば、上述した図1における場合において、出力装置200に設置される情報処理装置100と他の情報処理装置100とは、通信を介して互いの画像データを共有する。次に、情報処理装置100の各々は、互いの画像の被写体が重複しないまたは略一致するように画像を整形する。そして、情報処理装置100の各々は、整形された画像について認識処理を行う。
このように、本実施形態の第2の変形例によれば、情報処理装置100は、他の情報処理装置100のセンサに係る情報に基づいて特定されるセンサ情報について認識処理を行う。このため、他の情報処理装置100と連携して認識処理が行われることにより、情報処理装置100により提供される認識処理の速さまたは品質を向上させることができる。特に、当該複数の情報処理装置100が互いに補完するように動作する場合には認識範囲を拡大させることが可能となり、当該複数の情報処理装置100が互いに重複するように動作する場合には認識処理の正確性もしくは精度を向上させることが可能となる。
(第3の変形例)
本実施形態の第3の変形例として、情報処理装置100の認識器の設定状態がユーザに提示されてもよい。具体的には、情報処理装置100は、記憶部160に記憶される学習情報に基づいて生成されるユーザ向けの情報を出力する。さらに、図11を参照して、本変形例について詳細に説明する。図11は、本実施形態の第3の変形例に係る情報処理装置100が出力する認識器の設定状態を示す画面の例を示す図である。
処理部150は、通信を介して外部の装置から設定状態の開示が要求されると、設定状態が特定される情報(以下、設定状態情報とも称する。)を生成する。例えば、通信部140は外部の装置から設定状態開示要求を受信し、処理部150は当該設定状態開示要求が受信されると、記憶部160に記憶されている学習情報を特定する。そして、処理部150は、特定された学習情報を示す設定状態情報を生成する。
次に、処理部150は、生成された設定状態情報を要求元である外部の装置に提供する。例えば、処理部150は、生成された設定状態情報を通信部140に送信させる。
出力装置200は、提供される設定状態情報に基づいてユーザ向けに情報を出力する。例えば、出力装置200は、情報処理装置100の設定状態を示す画像を生成し、当該画像を含む図11に示したような画面を表示する。当該画像には、一例として、情報処理装置100に記憶されている学習情報がインストール済みの認識器として表示される。
なお、記憶されている学習情報だけでなく、当該学習情報を用いた認識処理を利用するアプリケーションまたは機能が表示されてもよい。例えば、情報処理装置100または出力装置200は、設定状態情報に基づいて利用可能なアプリケーションを特定し、特定されたアプリケーションを示す情報を生成する。そして、出力装置200は、当該アプリケーションを示す情報に基づいて図11に示したような現在利用できるアプリケーションの一覧を表示する。
さらに、上述したような記憶されている学習情報に係るアプリケーションだけでなく、学習情報が追加的に記憶されることにより利用可能となるアプリケーションが表示されてもよい。例えば、情報処理装置100または出力装置200は、設定状態情報に含まれる学習情報以外の学習情報を特定し、特定される学習情報が記憶された場合に利用可能となるアプリケーションを特定する。そして、出力装置200は、特定されたアプリケーションを示す情報に基づいて図11に示したような認識器のインストールにより利用できるアプリケーションの一覧を表示する。
なお、情報処理装置100がディスプレイなどの表示部を備える場合は、上述した情報処理装置100および出力装置200の処理を情報処理装置100が単独で行ってもよい。
このように、本実施形態の第3の変形例によれば、情報処理装置100は、記憶部160に記憶される学習情報に基づいて生成されるユーザ向けの情報を出力する。このため、ユーザは情報処理装置100にインストールされている認識器を把握することができる。従って、不足する認識器すなわち学習情報を追加的に記憶させる動機がユーザに与えられ、学習情報の利用すなわち情報処理装置100の利用を促進させることが可能となる。
<6.適用例>
以上、本実施形態およびその変形例に係る情報処理装置100について説明した。当該情報処理装置100は、様々な状況について適用され得る。以下、当該情報処理装置100の適用例について説明する。
<6−1.ライフスペースへの適用>
情報処理装置100は、人間の生活空間において利用されてもよい。具体的には、情報処理装置100は、居住空間内に1つまたは複数設置され、当該居住空間に存在する人間についての認識処理を行う。例えば、情報処理装置100が図1に示したようなテレビジョンのような出力装置200に設置される場合、当該情報処理装置100は、当該テレビジョンの視聴者を撮像し、撮像により得られる画像に映る視聴者の顔、手、視線または動きなどを認識する。そして、認識結果に応じてテレビジョンの出力が変化する。なお、情報処理装置100の設置場所は特に限定されず、例えば壁または机などに設置される。このような人間のライフスペースに設置される装置、例えば家電について情報処理装置100が適用されると、人間の行動に応じて当該家電を動作させることができる。従って、人間の日常生活の利便性を向上させることが可能となる。
<6−2.ロボットへの適用>
情報処理装置100は、ロボット制御に適用されてもよい。具体的には、情報処理装置100は、ロボットの構成要素として当該ロボットに組み込まれまたは取付けられ、認識処理の結果をロボットの制御モジュールに提供する。そして、ロボットの制御モジュールは、当該認識処理の結果に基づいてアクチュエータを動作させることにより、ロボットの動作を実現する。図12は、本実施形態に係る情報処理装置100のロボットへの適用例を示す図である。例えば、図12に示したように、情報処理装置100は、ロボット20の頭部などの認識対象となる範囲が他の部位に比べて広くなる部位に設置される。情報処理装置100は、当該ロボット20の周辺の撮像により得られる画像について人の認識処理を行う。そして、ロボット20の制御モジュールは、当該認識処理により認識された人に追従するように足などの移動アクチュエータを動作させる。このように、視覚などの人間の感覚器のように情報処理装置100が利用されることにより、ロボットの動作の高速化または円滑化を促進することが可能となる。また、ロボットの開発においてセンシングおよび認識処理を開発する過程を省略することができ、ロボット開発期間の短縮および開発コストの低減が可能となる。なお、適用されるロボットは、図12に示したような歩行ロボットだけでなく、車両型ロボット、飛行型ロボット、船舶型ロボットまたは産業ロボットであってもよい。
<6−3.ウェアラブルデバイスへの適用>
情報処理装置100は、ウェアラブルデバイスと連携してもよい。具体的には、情報処理装置100は、ウェアラブルデバイスに組み込まれまたは取り付けられ、認識処理の結果をウェアラブルデバイスに提供する。そして、ウェアラブルデバイスは、当該認識処理の結果に基づいて画像の出力などの処理を行う。図13は、本実施形態に係る情報処理装置100のウェアラブルデバイスへの適用例を示す図である。例えば、図13に示したように、情報処理装置100は、眼鏡型ウェアラブルデバイスの装着者の視野方向が撮像範囲となるように当該ウェアラブルデバイスに設置される。情報処理装置100は、当該視野方向についての撮像により得られる画像について手または看板などの物体の認識処理を行う。そして、ウェアラブルデバイスは、認識処理により認識された手の指が指し示す看板にオブジェクト30Aを重畳的に表示させる。また、当該指し示された看板に関する情報がオブジェクト30Bとして重畳的に表示される。このように、センシングおよび認識処理がウェアラブルデバイスの代わりに情報処理装置100でより高速または正確に行われることにより、ウェアラブルデバイスの提供する機能の価値を向上させることができる。例えば、ユーザとのインタラクションを円滑化させ、操作性および利便性を向上させることが可能となる。
<6−4.スポーツへの適用>
情報処理装置100は、スポーツ分野において利用されてもよい。具体的には、情報処理装置100は、スポーツを行う人間の挙動を解析する装置に組み込まれまたは取り付けられ、当該装置に認識処理の結果を提供する。そして、当該装置は、当該認識処理の結果に基づいて人間の挙動の解析および解析結果の出力を行う。図14は、本実施形態に係る情報処理装置100のスポーツへの適用例を示す図である。例えば、図14に示したように、情報処理装置100は、スマートフォンなどの携帯端末に脱着可能に取付けられる。情報処理装置100は、撮像により得られる画像について当該画像に映る人の姿勢または動きの認識処理を行う。そして、携帯端末は、認識処理により認識された人の姿勢または動きに応じた情報、例えば数値情報またはアドバイスなどを表示する。なお、情報処理装置100が取り付けられる装置は据置型端末であってもよい。このように、日常生活に比べて動きが素早いスポーツに高速な認識処理が可能な情報処理装置100が適用されることにより、スポーツをする人の動きまたは姿勢についてより正確な情報を提供することができる。従って、より効率的にスポーツを上達させることが可能となる。
<6−5.自動車への適用>
情報処理装置100は、自動車分野において利用されてもよい。具体的には、情報処理装置100は、自動車の車内または車外に組み込まれまたは取り付けられ、自動車に搭載される制御モジュールに認識処理の結果を提供する。そして、当該制御モジュールは、当該認識処理の結果に基づいて自動車の挙動を制御しまたはユーザに対する通知を行う。図15は、本実施形態に係る情報処理装置100の自動車への適用例を示す図である。例えば、図15に示したように、情報処理装置100は車内のフロントガラス上部に取付けられる。情報処理装置100は、車外を撮像し、撮像により得られる画像について当該画像に映る人の認識処理を行う。そして、自動車の制御モジュールは、認識処理により認識された人に追従するオブジェクトを投影装置などにフロントガラスに重畳的に表示させる。制御モジュールは、認識された人と所定の距離を保つように自動車の走行を制御してもよい。また、情報処理装置100は、車内を撮像し、撮像により得られる画像について当該画像に映る運転手の視線の認識処理を行う。そして、自動車の制御モジュールは、認識処理により認識された運転手の視線が運転方向を向いていない場合に、スピーカなどを用いて当該運転手に警告を与える。このように、高速な認識処理が可能な情報処理装置100が車内外の人または物体の検出に用いられることにより、制御モジュールが当該検出結果に応じた車両の制御処理または運転手への通知処理を行うのに十分な時間を確保することができる。従って、事故の発生が抑制され、交通の安全性を向上させることが可能となる。
<7.むすび>
以上、本開示の一実施形態によれば、識別情報と学習情報との対応付けに応じて認識処理の内容を制御することができる。従って、当該対応付けによって、提供される認識処理の過不足を抑制することができる。よって、認識処理の提供不足が抑制されることによりユーザの満足度の低下を抑制でき、また認識処理の提供過剰が抑制されることにより利用コストの低減または処理の高速化が可能となる。その結果、認識処理を利用するユーザを拡大することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、認識処理が処理回路のようなハードウェアにより行われるとしたが、本技術はかかる例に限定されない。例えば、認識処理の一部または全てがソフトウェアで行われてもよい。
また、上記実施形態では、主として物体についての認識処理が行われる例を説明したが、認識処理の対象はこれに限られない。例えば、音、触覚振動またはにおいなどが認識対象であってもよい。
また、上記実施形態では、出力装置200などの外部装置から提供されるユーザ識別情報から特定される学習情報を用いて認識処理が行われる例を説明したが、当該ユーザ識別情報はセンサ情報により自装置において生成されてもよい。例えば、情報処理装置100は、撮像により得られる画像から当該画像に映るユーザを認識し、認識されるユーザに応じた学習情報を用いて他の物体などの認識処理を行ってもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
また、情報処理装置100に内蔵されるハードウェアに上述した情報処理装置100の各論理構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
機械学習により得られる学習情報を記憶する記憶部と、
識別情報を得る入力部と、
前記識別情報に基づいて前記記憶部から特定される前記学習情報を用いた認識処理を行う処理部と、
を備える、情報処理装置。
(2)
前記認識処理は、ニューラルネットワーク方式の認識処理を含み、
前記学習情報は、前記ニューラルネットワークにおける係数情報を含む、前記(1)に記載の情報処理装置。
(3)
前記ニューラルネットワークは、多層構造のニューラルネットワークを含む、前記(2)に記載の情報処理装置。
(4)
前記識別情報は、前記認識処理の結果の提供先が識別される情報を含む、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記提供先は、ユーザまたは前記認識処理の結果に基づいて動作するアプリケーションもしくは装置を含む、前記(4)に記載の情報処理装置。
(6)
前記識別情報は、認識対象が識別される情報を含む、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記識別情報は、前記認識処理の結果の提供先から通知される、前記(4)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記識別情報は、前記認識処理における認識対象に係る場所または時間帯が識別される情報を含む、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記場所または時間帯が識別される情報は、センサ情報に基づいて生成される、前記(8)に記載の情報処理装置。
(10)
前記学習情報は、前記識別情報から特定される記憶領域に記憶される、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記入力部は、さらに前記学習情報を得て、
前記記憶部は、前記入力部により得られる前記学習情報を追加的に記憶する、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記記憶部は、記憶されている前記学習情報を変更する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
変更先の前記学習情報は、前記記憶されている前記学習情報からの転移に基づいて生成される、前記(12)に記載の情報処理装置。
(14)
前記識別情報から複数の前記学習情報が特定され、
前記処理部は、前記複数の前記学習情報を用いて前記認識処理を行う、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記認識処理における認識対象は、物体の有無または態様を含む、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
センサ情報を生成するセンサをさらに備え、
前記処理部は、前記センサ情報についての前記認識処理を行う、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記処理部は、他の情報処理装置の前記センサに係る情報に基づいて特定される前記センサ情報について前記認識処理を行う、前記(16)に記載の情報処理装置。
(18)
前記記憶部に記憶される前記学習情報に基づいて生成されるユーザ向けの情報が出力される、前記(1)〜(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサにより、
機械学習により得られる学習情報を記憶することと、
識別情報を得ることと、
前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行うことと、
を含む、情報処理方法。
(20)
機械学習により得られる学習情報を記憶する記憶機能と、
識別情報を得る入力機能と、
前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行う処理機能と、
をコンピュータに実現させるためのプログラム。
(21)
機械学習により得られる学習情報を記憶する記憶部と、
識別情報を得る入力部と、
前記識別情報に基づいて前記記憶部から特定される前記学習情報を用いた認識処理を行う処理部と、
を備える、情報処理システム。
100 情報処理装置
102 プロセッサ
104 メモリ
106 ブリッジ
108 バス
110 インタフェース
112 センサモジュール
114 入力モジュール
116 出力モジュール
118 接続ポート
120 通信モジュール
130 撮像部
140 通信部
150 処理部
160 記憶部
200 出力装置

Claims (20)

  1. 機械学習により得られる学習情報を記憶する記憶部と、
    識別情報を得る入力部と、
    前記識別情報に基づいて前記記憶部から特定される前記学習情報を用いた認識処理を行う処理部と、
    を備える、情報処理装置。
  2. 前記認識処理は、ニューラルネットワーク方式の認識処理を含み、
    前記学習情報は、前記ニューラルネットワークにおける係数情報を含む、請求項1に記載の情報処理装置。
  3. 前記ニューラルネットワークは、多層構造のニューラルネットワークを含む、請求項2に記載の情報処理装置。
  4. 前記識別情報は、前記認識処理の結果の提供先が識別される情報を含む、請求項1に記載の情報処理装置。
  5. 前記提供先は、ユーザまたは前記認識処理の結果に基づいて動作するアプリケーションもしくは装置を含む、請求項4に記載の情報処理装置。
  6. 前記識別情報は、認識対象が識別される情報を含む、請求項1に記載の情報処理装置。
  7. 前記識別情報は、前記認識処理の結果の提供先から通知される、請求項4に記載の情報処理装置。
  8. 前記識別情報は、前記認識処理における認識対象に係る場所または時間帯が識別される情報を含む、請求項1に記載の情報処理装置。
  9. 前記場所または時間帯が識別される情報は、センサ情報に基づいて生成される、請求項8に記載の情報処理装置。
  10. 前記学習情報は、前記識別情報から特定される記憶領域に記憶される、請求項1に記載の情報処理装置。
  11. 前記入力部は、さらに前記学習情報を得て、
    前記記憶部は、前記入力部により得られる前記学習情報を追加的に記憶する、請求項1に記載の情報処理装置。
  12. 前記記憶部は、記憶されている前記学習情報を変更する、請求項1に記載の情報処理装置。
  13. 変更先の前記学習情報は、前記記憶されている前記学習情報からの転移に基づいて生成される、請求項12に記載の情報処理装置。
  14. 前記識別情報から複数の前記学習情報が特定され、
    前記処理部は、前記複数の前記学習情報を用いて前記認識処理を行う、請求項1に記載の情報処理装置。
  15. 前記認識処理における認識対象は、物体の有無または態様を含む、請求項1に記載の情報処理装置。
  16. センサ情報を生成するセンサをさらに備え、
    前記処理部は、前記センサ情報についての前記認識処理を行う、請求項1に記載の情報処理装置。
  17. 前記処理部は、他の情報処理装置の前記センサに係る情報に基づいて特定される前記センサ情報について前記認識処理を行う、請求項16に記載の情報処理装置。
  18. 前記記憶部に記憶される前記学習情報に基づいて生成されるユーザ向けの情報が出力される、請求項1に記載の情報処理装置。
  19. プロセッサにより、
    機械学習により得られる学習情報を記憶することと、
    識別情報を得ることと、
    前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行うことと、
    を含む、情報処理方法。
  20. 機械学習により得られる学習情報を記憶する記憶機能と、
    識別情報を得る入力機能と、
    前記識別情報に基づいて記憶から特定される前記学習情報を用いた認識処理を行う処理機能と、
    をコンピュータに実現させるためのプログラム。
JP2015224445A 2015-11-17 2015-11-17 情報処理装置、情報処理方法およびプログラム Pending JP2017091431A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015224445A JP2017091431A (ja) 2015-11-17 2015-11-17 情報処理装置、情報処理方法およびプログラム
US15/772,679 US10755168B2 (en) 2015-11-17 2016-09-21 Information processing device and information processing method
PCT/JP2016/077913 WO2017086022A1 (ja) 2015-11-17 2016-09-21 情報処理装置、情報処理方法およびプログラム
CN201680065662.4A CN108292368B (zh) 2015-11-17 2016-09-21 信息处理装置、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015224445A JP2017091431A (ja) 2015-11-17 2015-11-17 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2017091431A true JP2017091431A (ja) 2017-05-25

Family

ID=58718667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015224445A Pending JP2017091431A (ja) 2015-11-17 2015-11-17 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10755168B2 (ja)
JP (1) JP2017091431A (ja)
CN (1) CN108292368B (ja)
WO (1) WO2017086022A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113860A (ja) * 2019-01-10 2020-07-27 Smk株式会社 遠隔操作システム及び遠隔操作装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112567734A (zh) * 2018-08-20 2021-03-26 索尼互动娱乐股份有限公司 消息输出装置、学习装置、消息输出方法、学习方法和程序
EP3913548A4 (en) * 2019-01-15 2022-03-09 Sony Group Corporation SERVER AND LEARNING SYSTEM
JP7225876B2 (ja) * 2019-02-08 2023-02-21 富士通株式会社 情報処理装置、演算処理装置および情報処理装置の制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940933B2 (ja) * 1989-05-20 1999-08-25 株式会社リコー パターン認識方式
JPH0886490A (ja) 1994-09-14 1996-04-02 Toshiba Corp 熱負荷予測装置
US5497430A (en) * 1994-11-07 1996-03-05 Physical Optics Corporation Method and apparatus for image recognition using invariant feature signals
JPH08293025A (ja) 1995-04-20 1996-11-05 Olympus Optical Co Ltd 画像分類装置
JP2002239960A (ja) * 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
US8335683B2 (en) * 2003-01-23 2012-12-18 Microsoft Corporation System for using statistical classifiers for spoken language understanding
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
JP4169063B2 (ja) * 2006-04-06 2008-10-22 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
KR100886557B1 (ko) * 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
US9639740B2 (en) * 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
JP2010266983A (ja) * 2009-05-13 2010-11-25 Sony Corp 情報処理装置及び方法、学習装置および方法、プログラム、並びに情報処理システム
US20120054634A1 (en) * 2010-08-27 2012-03-01 Sony Corporation Apparatus for and method of creating a customized ui based on user preference data
JP2012243180A (ja) 2011-05-23 2012-12-10 Sony Corp 学習装置および方法、並びにプログラム
US8484025B1 (en) * 2012-10-04 2013-07-09 Google Inc. Mapping an audio utterance to an action using a classifier
US10075618B2 (en) * 2013-04-22 2018-09-11 Sony Corporation Security feature for digital imaging
US9635392B2 (en) * 2014-04-16 2017-04-25 Sony Corporation Method and system for displaying information
WO2016033104A1 (en) * 2014-08-25 2016-03-03 Sunstone Analytics Customizable machine learning models

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113860A (ja) * 2019-01-10 2020-07-27 Smk株式会社 遠隔操作システム及び遠隔操作装置
JP7172610B2 (ja) 2019-01-10 2022-11-16 Smk株式会社 遠隔操作システム及び遠隔操作装置

Also Published As

Publication number Publication date
US20190156186A1 (en) 2019-05-23
US10755168B2 (en) 2020-08-25
CN108292368B (zh) 2021-11-12
CN108292368A (zh) 2018-07-17
WO2017086022A1 (ja) 2017-05-26

Similar Documents

Publication Publication Date Title
JP6440745B2 (ja) ロボット装置の行為の仮想表現を表示する拡張現実のための方法及びシステム
JP5935640B2 (ja) 情報処理装置、表示制御方法及びプログラム
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
US9222779B2 (en) Method, apparatus and computer program product for collaborative presentation of travel route information
JP2020149718A (ja) 端末、表示方法及びプログラム
US10911818B2 (en) Electronic device and method for controlling the same
EP4105878A1 (en) Image acquisition device and method of controlling the same
WO2017086022A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6456516B2 (ja) 運転支援装置
JP2017198647A (ja) 自律走行車においてメディアコンテンツを提示するためのシステム及び方法
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
CN104890570B (zh) 佩戴式车辆信息指示器以及使用其指示车辆信息的方法
EP2965299A1 (en) Modifying functionality based on distances between devices
US20200233212A1 (en) Systems and methods for relative representation of spatial objects and disambiguation in an interface
KR102655014B1 (ko) 전자 장치 및 전자 장치에서 위치를 식별하기 위한 방법
US11182922B2 (en) AI apparatus and method for determining location of user
JP6665276B2 (ja) トリガ領域
WO2018123041A1 (ja) 情報処理システム、及び情報処理装置
TW201903563A (zh) 具有外置追蹤及內置追蹤之虛擬實境系統及其控制方法
JPWO2020044949A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018205294A (ja) 情報処理装置及び情報処理方法
WO2018037645A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111344776B (zh) 信息处理装置、信息处理方法和程序
US10796459B2 (en) Information processing apparatus and non-transitory computer readable medium for executing information processing
JP2016224302A (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム