JP2019121234A - 画像処理装置 - Google Patents

Abstract

【課題】画像を処理して画像の情報量を低減することが可能な画像処理装置を提供すること。【解決手段】本開示は、対象物５２を撮像した画像５１を取得する画像取得部１１と、対象物５２の中から特定対象物５３を抽出する抽出部１２と、特定対象物５３の名称Ｎｍと特定対象物５３の位置情報Ｐｔとを時刻Ｔに関連付けたシンボリックデータＳｄを作成する処理部１３と、シンボリックデータＳｄを時系列に記憶し、画像５１を削除する記憶部１４と、備える画像処理装置１０である。【選択図】図１

Description

本開示は、画像処理装置に関するものであり、特に、画像を処理して画像の情報量を低減することが可能な画像処理装置に関する。

動画像を含む画像情報を使用して得た情報を、ユーザに提供する情報提供サービスが知られている。この情報提供サービスにおいては、ユーザから要求があった場合、予め記憶しておいた画像情報の中から要求に見合う画像情報を抽出し、抽出した画像情報に対応する文字情報をユーザに提供する。このような情報提供サービスは、画像情報自体を記憶したまま保存するので、大容量のメモリが必要になるという問題があった。

特許文献１には、蓄積したビデオコンテンツから特徴のある画像または音声を抽出し、抽出した画像または音声から単語情報を取得するビデオ記録装置が開示されている。また、特許文献１には、カメラ付き端末装置で撮影（撮像）した画像から得た単語情報をクラスタリングし、分類された単語情報を取得するビデオ記録装置が開示されている。また、特許文献１には、分類された単語情報と、画像または音声から取得された単語情報と、に基づいて、蓄積したビデオコンテンツから関連するビデオコンテンツを検索するビデオ記録装置が開示されている。

特開２０１４−００６６８０号公報

しかしながら、特許文献１のビデオ記録装置は、ビデオコンテンツや撮影した画像をメモリに記憶するため、大容量のメモリが必要になるという問題があった。

本開示は、上記の問題に鑑みてなされたものであり、画像を処理して画像の情報量を低減することが可能な画像処理装置を提供することを目的とする。

本開示は、
対象物を撮像した画像を取得する画像取得部と、
前記対象物の中から特定対象物を抽出する抽出部と、
前記特定対象物の名称と前記特定対象物の位置情報とを時刻に関連付けたシンボリックデータを作成する処理部と、
前記シンボリックデータを時系列に記憶し、前記画像を削除する記憶部と、
備える、画像処理装置である。
このような画像処理装置によれば、対象物の中から抽出した特定対象物の名称と位置情報とを時刻に関連付けたシンボリックデータのみを記憶するので、情報量を低減することができる。

本開示によれば、画像を処理して画像の情報量を低減することが可能な画像処理装置を提供することができる。

実施の形態に係る画像処理装置を例示するブロック図である。 実施の形態１に係る画像処理装置の動作を例示するフローチャートである。 対象物を含む画像を例示する模式図である。 対象物を含む画像を例示する模式図である。 対象物を含む画像を例示する模式図である。 実施の形態１に係る画像処理装置のシンボリックデータを例示する模式図である。

以下、図面を参照して本開示の実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。

［実施の形態１］
ロボットと人とが共生するような社会では、ロボットは、人と共生するために人の生活を理解する必要がある。このため、ロボットは、人の生活の履歴（ライフログ）を取得する。ロボットは、例えば、ロボット自身が有する画像処理装置を使用して、人のプライベートな環境下でのライフログを取得する。実施の形態１においては、画像処理装置を１つの例に挙げて説明する。

図１は、実施の形態１に係る画像処理装置を例示するブロック図である。

図１に示すように、画像処理装置１０は、画像取得部１１と抽出部１２と処理部１３と記憶部１４と表示部１５とを備える。このような画像処理装置１０を有するロボットは、例えば、自宅内等のプライベートな空間を含む場所に設置される。

画像取得部１１は、カメラ等を使用して対象物５２を撮像した画像５１を取得する。画像５１には、例えば、動画像や静止画像だけでなく、音声も含むものとする。画像取得部を入力機と称することもある。

抽出部１２は、画像５１に対して物体認識を行い、画像５１の中から少なくとも１つ以上の対象物５２を抽出する。一方で、ユーザが、例えば、トラッキングすべき物を特定対象物５３として予め画像処理装置１０に登録しておく。

具体的には、ユーザは、トラッキングすべき物として、家の中に持ち込む物であり大切な物である「ｋｅｙ」を特定対象物５３ａとして画像処理装置１０に登録する。また、ユーザは、「ｗａｌｌｅｔ」を特定対象物５３ｂとして登録し、「ｃｅｌｌｐｈｏｎｅ」を特定対象物５３ｃとして登録する。特定対象物５３ａと特定対象物５３ｂと特定対象物５３ｃとを総称して特定対象物５３と称する。

抽出部１２は、対象物５２の中から、予め登録された特定対象物５３を抽出する。抽出部１２は、このようにして対象物５２の中から特定対象物５３を抽出する。抽出部１２は、特定対象物５３のそれぞれにラベリングを行う。ラベリングとは、特定対象物５３に対して名称Ｎｍを付与することである。抽出部を物体認識機と称することもある。

処理部１３は、特定対象物５３の名称Ｎｍと特定対象物５３の位置情報Ｐｔとを時刻Ｔに関連付けたシンボリックデータＳｄを作成する。すなわち、特定対象物５３の画像情報（画像データ）を、特定対象物５３のシンボリックデータＳｄに変換する。シンボリックデータＳｄは、特定対象物５３の名称Ｎｍと特定対象物５３の位置情報Ｐｔとを時刻Ｔに関連付けて、これらを１つの組としたテキストデータである。

尚、画像処理装置１０は、情報を処理するためのプロセッサを有し、該プロセッサが処理部１３の処理を行ってもよい。

表示部１５は、特定対象物５３のシンボリックデータＳｄを表示する。複数の特定対象物５３が存在する場合、全ての特定対象物５３のシンボリックデータＳｄを表示する。表示部１５は、シンボリックデータＳｄのうちの任意の特定対象物５３ａのシンボリックデータＳｄａを強調して表示してもよい。複数の特定対象物５３のシンボリックデータＳｄをシンボリックデータリストと称することもある。

記憶部１４は、特定対象物５３のシンボリックデータＳｄを時系列に記憶する。一方で、記憶部１４は、画像取得部１１が取得し、不必要となった画像５１を削除する。

記憶部１４に記憶するシンボリックデータＳｄは、例えば、テキストデータであり、シンボリックデータＳｄの情報量は、画像５１の情報量よりも少ない。画像処理装置１０は、情報量が画像５１よりも少ないシンボリックデータＳｄのみを記憶し、不必要となった画像５１を削除するので、記憶部１４に記憶する情報量を低減することができる。

実施の形態１に係る画像処理装置の動作について説明する。
図２は、実施の形態１に係る画像処理装置の動作を例示するフローチャートである。

図３Ａは、対象物を含む画像を例示する模式図である。
図３Ａは、タイムスタンプが２０１７年０９月０９日０８時０９分２２秒の時の画像である。
図３Ｂは、対象物を含む画像を例示する模式図である。
図３Ｂは、タイムスタンプが２０１７年０９月０９日０８時０９分２８秒の時の画像である。
図３Ｃは、対象物を含む画像を例示する模式図である。
図３Ｃは、タイムスタンプが２０１７年０９月０９日０８時２２分２２秒の時の画像である。

図４は、実施の形態１に係る画像処理装置のシンボリックデータを例示する模式図である。
図４において、「Ｔｉｍｅｓｔａｍｐ」は時刻Ｔを示し、「ｏｂｊｅｃｔ」は特定対象物５３の名称Ｎｍを示し、「ｌｏｃａｔｉｏｎ」は特定対象物５３の位置情報Ｐｔを示す。

図２に示すように、画像処理装置１０の画像取得部１１は、カメラ等を使用して対象物５２を撮像した画像５１を取得する（ステップＳ１０１）。

画像処理装置１０の抽出部１２は、対象物５２の中から特定対象物５３を抽出する（ステップＳ１０２）。抽出部１２は、対象物５２の中から、トラッキングすべき物として予め登録しておいた特定対象物５３を抽出する。

特定対象物５３は、例えば、図３Ａに示す「ｋｅｙ」と、「ｗａｌｌｅｔ」と、「ｃｅｌｌｐｈｏｎｅ」である。ここでは、「ｋｅｙ」を特定対象物５３ａとし、「ｗａｌｌｅｔ」を特定対象物５３ｂとし、「ｃｅｌｌｐｈｏｎｅ」を特定対象物５３ｃとして抽出されたものとする。

画像処理装置１０の処理部１３は、特定対象物５３の名称Ｎｍと特定対象物５３の位置情報Ｐｔとを時刻Ｔに関連付けたシンボリックデータＳｄを作成する（ステップＳ１０３）。特定対象物５３ａである「ｋｅｙ」のシンボリックデータＳｄａは、例えば、図４に示す部分Ｂ１に示すデータである。

画像処理装置１０は、複数の特定対象物５３の相対位置の関係から、それぞれの位置情報Ｐｔを取得する。具体的には、画像取得部１１がカメラ等を使用して、２０１７年０９月０９日０８時０９分２２秒の時点の画像５１（図３Ａ参照）を取得する。画像５１の中で、「ｋｅｙ」は、ダイニングのｔａｂｌｅの上に置かれている。よって、画像処理装置１０は、「ｋｅｙ」の位置情報Ｐｔは、「ｏｎ ｔａｂｌｅ＠Ｄｉｎｎｉｎｇ」と認識する。また、画像処理装置１０は、例えば、時計機能を有し、該時計機能を使用して時刻Ｔを取得する。

画像処理装置１０の記憶部１４は、図４に示すように、特定対象物５３のシンボリックデータＳｄを時系列に記憶する（ステップＳ１０４）。画像５１の中から対象物５２を認識し、対象物５２の中から抽出した特定対象物５３の履歴をテキスト等のシンボリックデータＳｄとして記憶することで、大量の画像情報を全て記憶することなく、特定対象物５３の移動や場所の履歴を記憶することができる。記憶部１４は、大量の動画等を含む画像５１をそのままで記憶することなく、対象物５２の移動履歴を記憶する（ログ化する）ことができる。

画像処理装置１０の記憶部１４は、シンボリックデータＳｄ以外のデータ、すなわち、画像５１のデータを削除する（ステップＳ１０５）。

実施の形態１においては、図３Ａに示す画像５１は、図４に示す部分Ｂに示すシンボリックデータＳｄに変換される。同様に、図３Ｂに示す画像５１は、図４に示す部分Ｃに示すシンボリックデータＳｄに変換され、図３Ｃに示す画像５１は、図４に示す部分Ｄに示すシンボリックデータＳｄに変換される。そして、画像５１は削除される。

このように、実施の形態１においては、大量の動画像や静止画像や音声等を含む画像５１を削除することで、記憶する情報量を低減することができる。

また、シンボリックデータＳｄとして記憶する情報量を低減するので、必要な情報を検索するための時間を短縮することができる。

特に、大量の映像や画像の中から特定の情報を検索することは、タグ付けをしていない場合、内容を確認しながら検索するので多くの時間がかかる。実施の形態１においては、このような場合でも、必要な情報をシンボリックデータＳｄに変換し記憶するので、例えば、テキスト検索等と同様な簡易な方法で情報を検索することができる。

また、図４に示すように、特定対象物５３ａである「ｋｅｙ」は、タイムスタンプが２０１７年０９月０９日０８時０９分２２秒の時点では、ダイニングのテーブル上に置かれていた。また、「ｋｅｙ」は、タイムスタンプが２０１７年０９月０９日０８時２２分２２秒の時点では、玄関の椅子の上に置かれていた。

このように、特定対象物５３ａである「ｋｅｙ」に着目すると、ｋｅｙの置かれた場所（位置情報）の移動履歴がわかるので、ｋｅｙを紛失した場合、シンボリックデータＳｄを確認することでｋｅｙを探すことができる。

また、画像処理装置１０がシンボリックデータＳｄを検索し、ｋｅｙを紛失したユーザに対してｋｅｙの場所を提案（表示）することもできる。例えば、図４に示すシンボリックデータＳｄにおいて、最後（タイムスタンプが２０１７年０９月０９日０８時２２分２２秒の時点）のｋｅｙの位置情報Ｐｔは、玄関の椅子の上（ｏｎ ｃｈａｉｒ＠Ｅｎｔｒａｎｃｅ）である。よって、画像処理装置１０は、ユーザに対して、玄関の椅子の上（ｏｎ ｃｈａｉｒ＠Ｅｎｔｒａｎｃｅ）を探すように提案することができる。

また、図４に示すシンボリックデータＳｄにおいて、タイムスタンプが２０１７年０９月０９日０８時０９分２２秒の時点のｋｅｙの位置情報Ｐｔは、ダイニングテーブルの上（ｏｎ ｔａｂｌｅ＠Ｄｉｎｎｉｎｇ）である。よって、画像処理装置１０は、ユーザに対して、ダイニングテーブルの上（ｏｎ ｔａｂｌｅ＠Ｄｉｎｎｉｎｇ）も探すように提案することができる。画像処理装置１０は、ｋｅｙの移動履歴に基づいて、ｋｅｙを探しているユーザに対して、２〜３程度の場所候補を提案することができる。

これにより、ユーザは、例えば、家の中を無作為に探し回る必要が無くなり、効率よくｋｅｙを見つけることができる。また、画像処理装置１０は、ｋｅｙの情報が移動履歴に無かった場合、過去の履歴から続計的に存在確率が高い場所を見つけ、それらを順番に提案することもできる。

実施の形態１においては、対象物を撮像した画像の中から特定対象物を抽出し、名称と位置情報とを時刻に関連付けて１つの組にしたシンボリックデータのみを記憶する。記憶するデータがシンボリックデータのみなので、例えば、動画像をそのまま記憶する方法と比べて、記憶する情報量（データ量）が少ない。

その結果、画像を処理して画像の情報量を低減することが可能な画像処理装置を提供することができる。

一般的に、動画像を有するライフログにおいて特定対象物を検索する場合、膨大な移動履歴データを時間の逆方向に遡って検索する必要があるため、検索は非常に時間がかかる。これに対して実施の形態１は、名称と位置情報と時刻という少なくとも３つの情報を有するシンボリックデータにより特定対象物の移動履歴を把握することができる。シンボリックデータの情報量は、動画像の情報量よりも少ないので、必要な情報を検索する時間を短縮することができる。

また、実施の形態１においては、特定対象物の名称と位置情報（置かれている場所）とを時刻に関連付けたシンボリックデータの移動履歴を、例えば、ロボットサービス（アプリケーション）に提供することもできる。ロボットサービスは、人（ユーザ）が屋内等で物探しをしている場合、特定対象物の移動履歴を使用して探すべき場所を提案することで、物探しサービスを提供することができる。尚、ロボットは、遠隔操作や自律制御などの制限は設けなくてよい。また、ロボットが移動する場合、その移動手段（移動種類）に制限も無い。

また、ロボット（画像処理装置）は、シンボリックデータを蓄積することで、統計的に学習したり、対象物の置かれた場所を推定することができる。

また、実施の形態１においては、情報量を低減することができるので、その分だけ記憶部の容量を低減して大容量のメモリ（ストレージ）を用意する必要が無いので低コストでシステムを運用することができる。

また、実施の形態１においては、シンボリックデータを作成後、直ちに元の画像や音声の情報を削除する。元の画像や音声には、家庭内の音声や生活音等が含まれており、個人的な情報であって開示したくない情報が含まれる場合がある。実施の形態１は、元の画像や音声の情報を削除するので、プライパシーの侵害を低減することができる。これにより、社会的受容性を高めることができる。

［実施の形態２］
実施の形態２は、実施の形態１と比べて、処理部１３がシンボリックデータＳｄから、特定対象物５３が所定の場所に存在する存在確率を算出する点が異なる。

実施の形態２に係る画像処理装置２０は、シンボリックデータＳｄから、特定対象物５３が所定の場所に存在する存在確率を算出する。画像処理装置２０は、特定対象物５３の存在確率の移動履歴をオンラインで学習し、特定対象物５３の存在確率の遷移（遷移確率）に基づいて、家庭内に固有の片付けすべき場所や片付け方法を提案する。

具体的には、画像処理装置２０は、特定対象物５３ａが「ｋｅｙ」の場合、ｋｅｙのシンボリックデータＳｄから、ｋｅｙの存在確率を算出する。画像処理装置２０は、算出したｋｅｙの存在確率に基づいて、ｋｅｙが通常存在する場所（いつもの場所）に片づけることを、ユーザに対して提案する。

例えば、最近の数か月間におけるｋｅｙの存在確率の分布が以下のような場合がある。

ｋｅｙがダイニングの机の上（ｏｎ ｔａｂｌｅ＠ Ｄｉｎｉｎｇ）に存在する存在確率が、０．０４。
ｋｅｙが玄関のトレイの中（ｉｎ ｔｒａｙ＠Ｅｎｔｒａｎｃｅ）に存在する確率が、０．８０。
ｋｅｙが玄関の椅子の上（ｏｎ ｃｈａｉｒ＠Ｅｎｔｒａｎｃｅ）に存在する確率が、０．１５。
ｋｅｙがキッチンのカウンタの上（ｏｎ ｃｏｕｎｔｅｒ＠Ｋｉｔｃｈｅｎ）に存在する確率が、０．０１。

ｋｅｙの存在確率の分布がこのような分布の場合において、ｋｅｙの片づけを指示されると、画像処理装置２０は、ｋｅｙが玄関のトレイの中に存在する確率が最も高いので、ｋｅｙを玄関のトレイに移動することを提案する。提案先は、ユーザに対してでもよいし、又は、ロボットに対してでもよい。

ここでは、ロボット自身が画像処理装置２０を有するものとする。ロボットは、ロボット自身が有する画像処理装置２０からの指示に従って、ｋｅｙを玄関のトレイに移動させｋｅｙを片付ける。

また、画像処理装置２０は、特定対象物５３ｄが「ｃｕｐ」の場合、食卓上のｃｕｐはシンクで洗浄されるためシンクを通ってから、食器棚の所定の位置に戻るという遷移が最も確率が高いことを、シンボリックデータＳｄの移動履歴から学習する。そして、画像処理装置２０は、ｃｕｐが現在食卓上に存在する場合、次の行動としてシンクに運ぶという行動を、ユーザに対して提案する。画像処理装置２０は、シンクに運ぶという行動を、ロボットに対して指示してもよい。

このように、画像処理装置２０は、ユーザ毎にカスタマイズされたシンボリックデータＳｄ（抽出されたライフログ）を学習することで、片付けサービスやその他のサービスを、ユーザに対して提案することができる。

実施の形態２においては、特定対象物の名称と位置情報とを時刻に関連付けたシンボリックデータから算出された特定対象物５３の存在確率の遷移（遷移確率）に基づいて、家庭内に固有の片付けすべき場所や片付け方法を提案する。提案先は、例えば、ロボットサービス（アプリケーション）でもよい。ロボットサービスは、ユーザが片付けをする場合、特定対象物の移動履歴を使用して片付け場所を提案する片付けサービスを提供することができる。

尚、ロボットサービスは、特定の場所に特定対象物を片付ける片付けサービスだけに限定されない。ロボットサービスは、ごみ箱の位置やごみの種類（リサイクル用）等の各家庭で異なる規則をオンラインで学習する。これにより、ロボットサービスは、ユーザが詳細な指示をしない場合でも、自律的に特定対象物の片付けを行うことができる。

尚、発開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０、２０…画像処理装置
１１…画像取得部
１２…抽出部
１３、２３…処理部
１４…記憶部
１５…表示部
５１…画像
５２…対象物
５３、５３ａ、５３ｂ、５３ｃ、５３ｄ…特定対象物
Ｂ、Ｂ１、Ｃ、Ｄ…部分
Ｎｍ…名称
Ｐｔ…位置情報
Ｔ…時刻
Ｓｄ、Ｓｄａ、Ｓｄｂ、Ｓｄｃ…シンボリックデータ

Claims (1)

1. 対象物を撮像した画像を取得する画像取得部と、
   前記対象物の中から特定対象物を抽出する抽出部と、
   前記特定対象物の名称と前記特定対象物の位置情報とを時刻に関連付けたシンボリックデータを作成する処理部と、
   前記シンボリックデータを時系列に記憶し、前記画像を削除する記憶部と、
   備える、画像処理装置。

Images