JP2022051981A - データ処理装置、表示制御方法 - Google Patents

Abstract

【課題】学習の成熟度をユーザが直感的に理解できるようにする。【解決手段】本技術の一側面に係るデータ処理装置は、点と線とで構成された格子を表示画面に表示させ、格子全体のうち、対象物を表現する部分領域の粗密状態を、対象物の学習の成熟度に応じて変更する。本技術は、ユーザの動作に応じて表示を切り替えるディスプレイに適用することができる。【選択図】図１

Description

本技術は、データ処理装置、表示制御方法に関し、特に、学習の成熟度をユーザが直感的に理解できるようにしたデータ処理装置、表示制御方法に関する。

従来、深層学習などを用いて得られた人工知能を搭載した装置（人工知能搭載装置）が様々な分野で利用されている。

特開２０１７－１８２１２９号公報 特開２０１７－１９４７８２号公報

しかしながら、人工知能搭載装置に搭載された人工知能の学習の度合いを表す成熟度が、ユーザが直感的に理解しやすいような形態で提示されていない。

例えば、人工知能搭載装置がどの程度学習しているのか（学習の経験がどの程度あるのか、どの程度賢いのかなど）を、数値やグラフ等で単純に可視化する手法は存在するものの、そのような手法は、ユーザが直感的に理解できるような手法であるとはいえない。

本技術はこのような状況に鑑みてなされたものであり、学習の成熟度をユーザが直感的に理解できるようにするものである。

本技術の一側面のデータ処理装置は、点と線とで構成された格子を表示画面に表示させ、前記格子全体のうち、対象物を表現する部分領域の粗密状態を、前記対象物の学習の成熟度に応じて変更する制御部を備える。

本技術の一側面においては、点と線とで構成された格子が表示画面に表示され、前記格子全体のうち、対象物を表現する部分領域の粗密状態が、前記対象物の学習の成熟度に応じて変更される。

本技術の一実施形態に係るインタラクションシステムの使用状態を示す図である。 格子画像を拡大して示す図である。 格子画像、格子領域、部分領域の関係を示す図である。 格子画像の変化の例を示す図である。 格子画像の変化の例を示す図である。 格子画像の変化の仕方の例を示す図である。 インタラクションシステムの構成例を示すブロック図である。 制御装置の機能構成例を示すブロック図である。 対象物の例を示す図である。 表示画面の例を示す図である。

＜本技術の概要＞
本技術は、人工知能搭載製品の内容（種別）と学習の度合いを表す成熟度とを紐付けて、ユーザが直感的に理解できるようにする点に着目したものである。

本技術は、特に、複数の人工知能搭載装置のそれぞれの学習の成熟度を容易に比較できる点に特徴がある。

また、本技術は、人工知能搭載製品の内容と学習の成熟度を紐付けてGUI(Graphical User Interface)のアイコンとして表示する場合に、人工知能搭載製品の学習の成熟度をユーザがコントロールできるようにするものである。

＜インタラクションシステムの用途＞
図１は、本技術の一実施形態に係るインタラクションシステムの使用状態を示す図である。

図１のインタラクションシステムは、暗い室内などの空間において用いられる。インタラクションシステムが設置された空間内には人（ユーザ）が存在する。

図１に示すように、室内の壁面には、大型かつ薄型のディスプレイであるディスプレイ１－１乃至１－４が並べて設置される。ディスプレイ１－１乃至１－４は、例えば有機ELディスプレイなどの狭額縁のディスプレイであり、長辺同士がほぼ接する状態で設置される。

狭額縁のディスプレイが接した状態で設けられることにより、ディスプレイ１－１乃至１－４を１つの表示画面として用いて、表示画面全体に各種の情報を表示させることが可能となる。

ディスプレイ１－１乃至１－４としてLCDが用いられるようにしてもよい。各種の情報の表示がプロジェクタを用いて行われるようにしてもよい。

図１に示すように、ディスプレイ１－１乃至１－４からなる表示画面には、複数の格子画像が表示される。

図２は、格子画像を拡大して示す図である。

格子画像は、点と直線をボロノイ（Voronoi）状に組み合わせることによって構成される。格子画像には、形状と大きさが異なる複数の多角形の領域である格子領域が形成される。

格子画像を構成する点と線は、例えば白色で表示される。画像中心に近いほど高い輝度で表示され、周辺に近いほど低い輝度で表示される。

図１のインタラクションシステムは暗い空間に用意されるから、背景が黒色で表示されることにより、格子画像が暗闇に浮かんで見えるような表現が実現される。

例えば、それぞれの格子画像には、格子画像が表現するある対象物が設定される。

例えば、対象物が学習機能を有している場合、格子画像の粗密状態は、対象物の学習の成熟度を表す。密度が高い格子画像ほど、対象物の学習が進み、対象物の知的レベルが高いことを表現していることになる。対象物の詳細については後述する。

図２の例においては、ディスプレイ１－１，１－２によって格子画像＃１が表示され、ディスプレイ１－３，１－４によって格子画像＃２が表示されている。それぞれのディスプレイの表示範囲を下方に示す。

また、図２の例においては、格子画像＃２の方が、格子画像＃１より密な状態で表示されている。格子画像＃２が表現する対象物の方が、格子画像＃１が表現する対象物より学習の成熟度が高いことになる。

このように、ディスプレイ１－１乃至１－４により構成される表示画面には、複数の格子画像が、粗密状態を比較できる形態で表示される。

対象物の学習の成熟度に応じて格子画像の粗密状態を変えるのではなく、空間の入口に近い場所に粗密状態が粗い格子画像を表示させ、出口に近い場所に粗密状態が密な格子画像を表示させるようにしてもよい。出口に向かうユーザに対して徐々に密な状態になる格子画像を見せることによって、知能の進化を表現することが可能となる。

ここで、格子画像には、対象物の内容（種類）、対象物の形状を、格子領域のまとまりによって表現する部分が含まれる。

以下、適宜、格子画像全体のうち、ある対象物を表現する格子領域からなる部分的な領域を、部分領域という。格子画像、格子領域、部分領域の関係は、図３に示すようなものとなる。部分領域の表示は、他の領域の表示に比べて立体感を強調するように表示される。

格子画像の粗密状態は、例えば格子画像の近傍にいるユーザの動きの状態に応じて変化する。図１のインタラクションシステムが設置される空間には、ユーザの動きの検出に用いられるIRカメラなどが設けられる。

図４および図５は、格子画像の変化の例を示す図である。

例えば、あるユーザが格子画像＃１の前（ディスプレイ１－１，１－２の前）で動いている場合、図４の矢印で示すように、格子画像＃１に含まれる部分領域を中心として、格子画像＃１の粗密状態が変化する。格子画像＃２の前にユーザがいない場合には、格子画像＃２の表示は変化しない。

また、格子画像＃１の前から移動するなどして、あるユーザが格子画像＃２の前（ディスプレイ１－３，１－４の前）で動いている場合、図５の矢印で示すように、格子画像＃２に含まれる部分領域を中心として、格子画像＃２の粗密状態が変化する。格子画像＃１の前にユーザがいない場合には、格子画像＃１の表示は変化しない。

図６は、格子画像の変化の仕方の例を示す図である。

図６の右側に丸印で示すように、IRカメラにより検出されたIR画像を解析することによって、ユーザの関節の位置が認識される。また、IR画像を順次解析することにより、ユーザの関節の動きが認識される。

矢印Ａ１で示すように、各関節は、部分領域に含まれる点に対応付けられる。図６の例においては、ユーザの右肘付近の関節が、格子画像＃１の左方にある１つの点に対応付けられている。格子画像＃１の他の点に対しても、ユーザの他の関節がそれぞれ対応付けられる。

格子画像の粗密状態の変化は、ユーザの関節の動きに応じて、部分領域の対応する点の位置を動かすことによって実現される。

例えば、ユーザが格子画像＃１の前で動いている場合、そのユーザの動きに応じて点の位置が動くことにより、部分領域に含まれる所定の格子領域の形状が変化し、これにより、部分領域を中心として、格子画像＃１の粗密状態が変化する。部分領域の粗密状態が変化することに応じて、適宜、部分領域の周りの格子領域の粗密状態も変化する。

ユーザの動きに応じて格子画像の粗密状態が変化することにより、ユーザと、格子画像が表現する対象物との間でのインタラクションが実現される。

インタラクションシステムは、ユーザの動きを理解していることを連想させるような変化を格子画像に生じさせることによって、ユーザに対して、格子画像が表現する対象物が、あたかも知能を持っているかのような感覚を与えることができる。

また、インタラクションシステムは、ユーザの動きを、格子画像といったような抽象的な形状の粗密状態の変化に変換して提示することができる。すなわち、格子画像の表示により、抽象的なグラフィックスの中に、ユーザの動きを自然な形で溶け込ませるといったことが実現される。

一方、ユーザは、格子画像＃１の粗密状態から、格子画像＃１が表現する対象物の学習の成熟度を直感的に理解することができる。

ユーザの関節と部分領域の点との対応関係が、ユーザの位置、時間経過などの各種の条件に応じて変化するようにしてもよい。

また、ユーザの関節と部分領域の点が対応付けられるのではなく、関節以外の、特徴点となる体の他の部分が、部分領域の点に対応付けられるようにしてもよい。

＜インタラクションシステムの構成例＞
図７は、インタラクションシステムの構成例を示すブロック図である。

図７に示すように、インタラクションシステムは、ディスプレイ１－１乃至１－４からなるディスプレイ１の他に、制御装置１１、IRカメラ群１２、スピーカ群１３により構成される。各装置は、有線、または無線の通信を介して接続される。

制御装置１１は、PCなどのデータ処理装置により構成される。制御装置１１は、IRカメラ群１２による検出結果等に基づいて、ディスプレイ１における格子画像の表示を制御する。また、制御装置１１は、演出のためのBGMなどをスピーカ群１３から出力させる。

IRカメラ群１２は、インタラクションシステムが設置された空間の各位置に配置された複数のIRカメラにより構成される。IRカメラ群１２を構成するそれぞれのIRカメラに対しては、ユーザの動きを検出するための範囲が設定されている。IRカメラ群１２を構成するそれぞれのIRカメラは、格子画像の近傍に設定された所定の範囲を対象としたIR画像を生成し、制御装置１１に出力する。

IRカメラに代えてRGBカメラが設けられ、RGB画像を用いてユーザの動きが認識されるようにしてもよい。また、距離センサなどの他のセンサを用いてユーザの動きが認識されるようにしてもよい。

スピーカ群１３は、インタラクションシステムが設置された空間の各位置に配置された複数のスピーカにより構成される。スピーカ群１３を構成するそれぞれのスピーカは、制御装置１１による制御に従ってBGMを出力する。

図８は、制御装置１１の機能構成例を示すブロック図である。

図８に示す機能部のうちの少なくとも一部は、制御装置１１を構成するPCのCPUにより所定のプログラムが実行されることによって実現される。

制御装置１１においては、人物状態認識部２１、学習成熟度算出部２２、および表示制御部２３が実現される。

人物状態認識部２１は、IRカメラ群１２を構成するIRカメラから供給されたIR画像を解析し、格子画像の近傍にいるユーザの動きを認識する。ユーザの動きの認識結果を表す情報は表示制御部２３に供給される。

学習成熟度算出部２２は、格子画像が表現する対象物の学習の成熟度を算出する。学習の成熟度は、学習を開始してからの時間経過、学習の回数、学習に用いたデータの量などに基づいて算出される。

学習は、深層学習などの、学習用データを用いた機械学習である。対象物となる機器は、学習によって得られたニューラルネットワークなどのモデルを用いて、所定の入力データに対応する出力データを生成する推論処理を行う機能を有する。

例えば、学習成熟度算出部２２は、対象物となる機器と通信を行い、機器の学習状況に関する情報を取得する。学習成熟度算出部２２は、取得した情報に基づいて、対象物となる機器の学習の成熟度を算出する。学習の成熟度を表す情報は表示制御部２３に供給される。

制御装置１１自身が学習機能を有している場合、外部の機器の学習の成熟度ではなく、制御装置１１自身の学習の成熟度が算出されるようにしてもよい。この場合、制御装置１１自身が対象物となり、格子画像によって制御装置１１が表現される。

表示制御部２３は、人物状態認識部２１から供給されたユーザの動きの認識結果を表す情報と、学習成熟度算出部２２から供給された学習の成熟度を表す情報に基づいて格子画像の表示を制御する。

上述したように、表示制御部２３は、対象物の学習の成熟度に応じた粗密状態を有する格子画像を表示させる。また、表示制御部２３は、格子画像の粗密状態を、上述したようにしてユーザの動きに応じて変化させることによって、ユーザと、対象物とのインタラクションを実現させる。

＜対象物について＞
ここで、格子画像が表現する対象物について説明する。

図９は、対象物の例を示す図である。

図９のＡに示すように、格子画像が表現する対象物として、テレビジョン受像機（TV）などの家電製品が用いられる。図９のＡに示すTVは、ユーザの好みなどを学習する機能を搭載した機器である。

PC、スマートフォン、ゲーム機、オーディオ機器、カメラ、エアーコンディショナー、冷蔵庫、洗濯機などの他の家電製品が格子画像によって表現されるようにしてもよい。

図９のＢに示すように、格子画像が表現する対象物として、ロボットが用いられる。図９のＢに示すロボットは、ユーザの好み、周囲の状況などを学習する機能を搭載した犬型のロボットである。

人型ロボット、エージェント機器などの他のロボットが格子画像によって表現されるようにしてもよい。

ユーザ自身が対象物として設定されるようにしてもよい。この場合、対象物としてのユーザの学習の成熟度として、例えば、年齢に応じた値が算出される。

このように、家電製品などの機器だけでなく、ユーザなどの各種の対象を対象物として格子画像で表現して表示させることが可能である。

格子画像の表示は、例えば、対象物の学習の成熟度だけでなく、対象物の内容（種類）、対象物の外観形状などにも応じて粗密状態を変化するようにして行われる。

この場合、部分領域の形状は、対象物の内容を連想できるように、または、対象物の外観形状を連想できるように設定され、格子画像に含められる。これにより、対象物の内容や対象物の外観形状を連想できるような形状を有する部分形状を中心として、格子画像の粗密状態がユーザの動きに応じて変化することになる。

＜変形例＞
・表示画面の例
格子画像の表示に用いられる表示画面が、ディスプレイ１－１乃至１－４により構成される表示画面であるものとしたが、格子画像が他のディスプレイに表示されるようにしてもよい。

図１０は、表示画面の例を示す図である。

図１０の例においては、携帯端末であるスマートフォンのディスプレイに格子画像５１と格子画像５２が表示されている。

例えば、格子画像５１は、スマートフォンから操作可能な所定の機器を対象物とした格子画像であり、格子画像５２は、同じくスマートフォンから操作可能な、他の機器を対象物とした格子画像である。

ユーザは、ディスプレイを指で操作することにより、格子画像５１と格子画像５２の表示位置を変更することができる。

また、ユーザは、例えば格子画像５１と格子画像５２の位置を入れ替えるなどして、格子画像５１と格子画像５２のそれぞれが表現する対象物の機器に対して学習を行わせることができる。格子画像の表示位置を変更することに応じて対象物の機器の学習が行われ、学習の成熟度が変化することになる。

このように、スマートフォンなどの携帯端末のディスプレイに格子画像を表示させ、ユーザが各種の操作を行うことができるようにしてもよい。携帯端末のディスプレイに表示される格子画像は、アイコンのような用途を有することになる。

・表示の例
対象物が、電源により稼働する家電製品などの装置である場合、装置が稼働している場合には、格子画像の部分領域を振動して表示させるようにしてもよい。装置が稼働していない場合には、格子画像の部分領域の振動表示は停止される。

格子画像が白色で表示されるものとしたが、学習の成熟度に応じて格子画像の色が変化するようにしてもよい。

・その他
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

１－１乃至１－４ ディスプレイ， １１ 制御装置， １２ IRカメラ群， １３ スピーカ群

Claims (18)

1. 点と線とで構成された格子を表示画面に表示させ、前記格子全体のうち、対象物を表現する部分領域の粗密状態を、前記対象物の学習の成熟度に応じて変更する制御部を備える
   データ処理装置。
2. 前記制御部は、前記学習の成熟度が高まることに応じて、前記部分領域の粗密状態を密に変更する
   請求項１に記載のデータ処理装置。
3. 前記制御部は、前記対象物の内容に応じて、前記部分領域の粗密状態を変更する
   請求項２に記載のデータ処理装置。
4. 前記制御部は、前記対象物の形状に応じて、前記対象物を連想できるように、前記部分領域の粗密状態を変更する
   請求項３に記載のデータ処理装置。
5. 前記制御部は、前記対象物の形状の変化に応じて、前記対象物の形状の変化を連想できるように、前記部分領域の粗密状態を変更する
   請求項４に記載のデータ処理装置。
6. 前記制御部は、前記部分領域と他の領域とを同一色で表示させる
   請求項１に記載のデータ処理装置。
7. 前記制御部は、前記部分領域の表示形態を、前記他の領域の表示形態に比べて立体感を強調するように変更する
   請求項６に記載のデータ処理装置。
8. 前記対象物は、ロボットであり、
   前記制御部は、前記ロボットの学習の成熟度に応じて、前記部分領域の粗密状態を変更する
   請求項１に記載のデータ処理装置。
9. 前記対象物は、家電製品であり、
   前記制御部は、前記家電製品に搭載された学習機能に対する学習の成熟度に応じて、前記部分領域の粗密状態を変更する
   請求項１に記載のデータ処理装置。
10. 前記対象物は、複数あり、
    前記制御部は、それぞれの前記対象物を表現する前記部分領域毎に粗密状態を比較できる表示形態で、前記部分領域の粗密状態を表示させる
    請求項１に記載のデータ処理装置。
11. 前記制御部は、前記格子の表示位置がユーザにより変更されることに応じて、前記対象物の学習の成熟度を変化させるように制御する
    請求項１に記載のデータ処理装置。
12. 前記制御部は、ユーザによる操作に応じて、前記格子の表示位置を変更する
    請求項１に記載のデータ処理装置。
13. 前記制御部は、センサによりセンシングされた前記対象物の状態に応じて、前記部分領域の粗密を変更する
    請求項１に記載のデータ処理装置。
14. 前記対象物は、人であり、
    前記センサによりセンシングされた人の関節と前記格子を構成する点とを対応付け、前記部分領域の粗密状態を変更する
    請求項１３に記載のデータ処理装置。
15. 前記対象物は、電源により稼働する装置であり、
    前記制御部は、前記装置が稼働している場合には、前記部分領域を振動して表示させる
    請求項１に記載のデータ処理装置。
16. 前記制御部は、前記装置が稼働してない場合には、前記部分領域を振動させない
    請求項１５に記載のデータ処理装置。
17. 前記制御部は、前記表示画面に、アイコンとして前記格子を表示させる
    請求項１に記載のデータ処理装置。
18. データ処理装置が、
    点と線とで構成された格子を表示画面に表示させ、
    前記格子全体のうち、対象物を表現する部分領域の粗密状態を、前記対象物の学習の成熟度に応じて変更する
    表示制御方法。

Images