JP2018185819A - 防犯システム - Google Patents

Abstract

【課題】画像認識技術を用いて、家電装置による防犯システムを構築する。【解決手段】防犯システムは、ユーザの住宅への訪問スケジュールを入力する管理手段と、訪問スケジュールを使って特定される、ユーザの住宅への訪問が予定される候補訪問者の画像情報を含む認識データベースを生成するサービス提供者のサーバと、ユーザの住宅に設置され、実際の訪問者の画像情報を取得する家電装置とを備える。取得した画像情報を用いて、認識データベースとマッチング処理を行うことにより、実際の訪問者が認識データベースにある人物かどうかを判定する。【選択図】図５

Description

本開示は、防犯システムに関する。

洗濯機や冷蔵庫などの家電装置は、洗剤や食品など様々な日用品や食品が関係する。例えば洗濯機は洗濯をするために衣類洗剤や柔軟剤が必要であり、冷蔵庫であれば牛肉や卵などの食品が庫内に保管される。家電装置においてこれらの物品の特定が可能になると、家電装置を使った様々なサービスが可能になる。例えば、使用する洗濯洗剤に合わせた洗濯コースの自動設定や冷蔵庫内の食品を確認して食事メニューの推薦などが実現できる。

しかし、現在の家電装置においてはこれらの物品、または物品の利用のタイミングを特定できていない。

様々な物品を自動で特定するためには、カメラによる画像認識が一般的に使われることが多い（例えば、特許文献１）。

特開平１０−９７５３号公報

本開示の一態様にかかる防犯システムは、ユーザの住宅への訪問スケジュールを入力する管理手段と、前記訪問スケジュールを使って特定される、前記ユーザの住宅への訪問が予定される候補訪問者の画像情報を含む認識データベースを生成するサービス提供者のサーバと、前記ユーザの住宅に設置され、実際の訪問者の画像情報を取得する家電装置とを備え、前記取得した画像情報を用いて、前記認識データベースとマッチング処理を行うことにより、前記実際の訪問者が前記認識データベースにある人物かどうかを判定する。

かかる構成により、訪問スケジュールを用いて生成した認識のデータベースと、ユーザの住宅での訪問者の検出情報を元に、訪問者を特定することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

図１は、本開示の実施の形態１における構成と処理の流れを示す図である。 図２は、汎用的な食料品のすべてを対象とした、画像認識を用いたデータベースのマッチング処理を示す図である。 図３は、本開示の実施の形態１におけるデータベースのマッチング処理を示す図である。 図４は、本開示の実施の形態２における構成と処理の流れを示す図である。 図５は、本開示の実施の形態２における処理の流れを示す図である。 図６Ａは、本開示の実施の形態２におけるデータベース生成の流れを示す図である。 図６Ｂは、本開示の実施の形態２における画像認識処理の流れを示す図である。 図７は、本開示の実施の形態３における構成と処理の流れを示す図である。 図８は、本開示の実施の形態３における認識処理の流れを示す図である。 図９は、本開示の実施の形態３における認識データベースのテーブルを示す図である。 図１０は、本開示の変形例・応用例における構成と処理の流れを示す図である。 図１１は、本開示の変形例・応用例における構成と処理の流れを示す図である。 図１２は、本開示の変形例・応用例における構成と処理の流れを示す図である。 図１３は、本開示の変形例・応用例における処理の流れを示す図である。

まず、本発明者らが本開示にかかる各態様の発明をするにあたって、検討した事項を説明する。

食品など多種多様な物品を対象にする場合には画像認識の精度が課題になる。この理由はいくつかある。例えば同じ物品であってもみかんと柚子のように見た目が似ているケース、同じスイカでも、１／３カットや１／８カットなど加工されて形状が変化する場合などが理由の１つとして上げられる。また、認識対象物品と照会する認識データベースのサイズ、つまり認識の候補が食料品全体となるためマッチング対象規模が大きくなり、その結果、誤認識が増えることも挙げられる。

また、ユーザーが内容物を見たいというニーズがある冷蔵庫とは異なり、洗濯機のような機器は、洗剤の特定のためだけにカメラを搭載することになり、コストの面で画像認識用のカメラを実装することが難しい。

（実施の形態１）
図１は、本開示の実施の形態１にかかる情報処理システムの、構成と処理の流れを示す図である。ユーザーはスーパーマーケットのような販売店で例えば「みかん、１／３カットのスイカ、Ａ社の調味料」の３つを購入したとする。この時に、この販売管理装置（レジ、ＰＯＳシステム等）での会計情報を使って販売店での購入物品の情報をクラウドサーバ側へ送信する。購入物品の情報は物品を購入したユーザー（以下、購入者とも記載）の情報と紐付けられている。クラウドサーバでは、ユーザーの購入物のみをリファレンスデータとして含む画像認識データベースを生成する。この画像認識データベース生成処理によって、認識すべき物体が制限されることになる。これにより，ゆずやみかんのように見た目が似ているような物品であっても誤認識する確率が下がる。

次に、家電装置で物品の使用を検出する。家電装置は、物品を購入したユーザーの情報と紐付けられている。例えば、この図の例の場合は冷蔵庫を想定しているが、冷蔵庫の場合は物品を庫内へ投入する際、もしくは庫内から取り出す際に物品の使用を検出する。物品の使用検出は、家電装置が備えるカメラなどの撮像装置で行い、庫内からの出し入れ物品の画像を物品使用検出情報として出力する。

購入物品の情報と家電装置とを紐づける方法はいくつかの方法が考えられる。例えば、会員情報などの個人ＩＤを介して行う方法がある。スーパーマーケットやコンビニエンスストアでは、物品の購入時にポイント特典を付与する会員カード等を配布していることが多く、これらのカード情報がもつ個人ＩＤには購入物品の一覧情報が紐づけられていることが多い。この個人ＩＤと家電装置が持つ機器ＩＤを事前に紐づけておくことで家電装置と購入物品の紐づけを実現する。また、これ以外にも、購入処理時に、購入物品の情報と紐付けられた固有ＩＤを発行することとしてもよい。この場合には販売管理装置で購入処理を行った際に、各レシートに固有ＩＤを発行して印刷する。固有ＩＤは二次元バーコード、数字などいくつか手段がある。この固有ＩＤの情報とそれに紐づく購入物品の情報をクラウドサーバ側に送信しておく。物品を購入したユーザーは自宅に帰った際に、この固有ＩＤが印刷されたレシートを家電装置のカメラでスキャンする。なお、スキャンではなくても手動で番号を入力してもよい。家電装置はスキャンした固有ＩＤに対応する購入物品の情報をクラウドサーバから取得する。

最後に、物品使用検出情報である、庫内からの出し入れ物品の画像をクラウドサーバに送信する。その後にクラウドサーバ側で画像認識処理を行う。この時に、先ほどの購入物だけを含む画像認識データベース内の物品で最も特徴量が近いものだけをマッチングする。

本開示の特徴である画像認識データベースのマッチング処理の部分について図２と図３の概念図を用いて説明をする。図２の例では画像認識の対象を汎用的な食料品のすべてとしており、画像認識データベースもこれに合わせてすべての食料品を含むサイズの大きなものを用意している。このため、例えばスイカ１種類にしても様々なカットのスイカをリファレンスデータとして登録している。更に、画像認識の際には画像認識データベース上のすべての登録データとパターンマッチングを行う必要がある。言い換えると正解の候補が多く、正確な認識結果を得ることが難しい。また、更に認識処理の応答性を得るためにはクラウドサーバの性能を上げる必要があり、コストも高くなる傾向がある。

図３のように本開示の場合は、先ほどの図２のケースとは異なり、購入情報を元に画像認識データベースからリファレンスとなる登録データを限定できる。これにより、外見が似ており認識が難しいものが少なくなり、高い精度で認識ができる。なお、新製品などで、まだ汎用的な食料品の画像認識データベースにない場合には、店からの商品情報を元に画像認識データベースに追加してもよい。また、一般的に大量生産されているものではなく、特に店で調理されたお惣菜のようなもの、パッケージと中身が全く異なるようなものなどは、実際に店で売られた商品そのものの画像や、同様の加工やパッケージされた同一品種の品物を代表的なものとして画像認識データベースに登録してもよい。また、カットできる果物のように冷蔵庫から取り出す前と、使用して冷蔵庫に収納する場合には認識物体の形状が変化するが、この場合には収納の際の画像からその物体に関する画像認識データベースを再構成してもよい。このように画像認識データベースを購入した物品の画像、もしくは購入物品と同様の加工やパッケージングされたものの画像をベースに作成できるため、画像認識を行った際に、より正確な認識結果を得ることができる。

なお、画像認識データベースに登録されている情報はその物品が使用された場合に自動で削除を行う。一例として、物品それぞれの賞味期限を過ぎた場合は、その物品が使用された、もしくは使用不可のため認識不要と判断をして画像認識データベースから削除してもよい。他には要冷蔵の品物であって、冷蔵庫から取り出されたことを検知し、かつ１日以上冷蔵庫に戻されなかった場合は物品が使用できなくなったと判断して削除してもよい。また、使用者が音声や機器操作など手動で使用したことを入力してもよく、冷凍食品などは電子レンジで使用されたことを検知して自動で削除してもよい。

（実施の形態２）
図４は本開示の第２の実施形態にかかる情報処理システムの、構成と処理の流れを示す図である。この例は、冷蔵庫の内容物の一覧を端末で確認できる情報処理システムの構成を示している。なお、以降では実施の形態１と同様の構成部分の説明は割愛し、本実施の形態特有の部分のみ説明する。

本開示では、スマートフォンなどの端末から冷蔵庫などの家電装置内の保存物一覧を取得する処理を例にして説明する。このために、クラウドサーバ上で冷蔵庫から取り出した物品を認識して内容物の一覧管理を行う。端末からの問い合わせ時には、管理している冷蔵庫内の内容物の一覧表を送付する。

図５はシステムの処理フローを示す図である。最初に販売店のレジのような販売管理装置において、購入時登録処理を行う。この購入時登録処理の対象は一般的な店舗の会計の情報と同じデータであってもよい。また、購入物の金額を消去したデータ、もしくは購入物そのものの画像の情報であってもよく、購入物品を特定できる情報であればよい。この購入時登録処理によって、ユーザーの購入物の情報をクラウドサーバへ送信する。新製品や店舗で加工された惣菜品のようなものは画像、もしくは画像認識のためのメタデータ（色および／または形など）もあわせて送付してもよい。

クラウドサーバ側では、この一覧情報を元に画像認識データベース生成（選択）処理を行う。この画像認識データベース生成（選択）の処理は更に図６Ａの処理から構成される。最初に購入物の情報を受信して、生成する画像認識データベースに含まれる物品を決定する。次に、すでにある一般的な画像認識データベースを元に、その中から先ほど取得した購入物品の情報だけを選択して画像認識データベースを生成する。この際に、既存の画像認識データベースにない惣菜のような店での加工品は、新たに画像認識データベースに追加してもよい（図３）。最後に、画像認識マッチング方法の選択を行う。例えば、生成された画像認識データベースに「りんご」と「みかん」のように、形状が同じで色が異なる物体しかない場合には、それらの色の特徴量だけを用いてパターンマッチングを用いればよい。また、「スイカ」と「すだち」のように形状が同じで大きさが異なる物体しかない場合には、大きさの特徴量だけを用いてマッチングを行えばよい。当たり前であるが、以前に冷蔵庫に入っている物品の情報も合わせて認識方法を選択する必要がある。以上のように生成した画像認識データベースと、それに最適化された画像認識マッチング方法を選択することによって精度が高く、処理量が少ない画像認識が可能になる。

次に、家電装置側で物品の投入および／または物品の使用の検出を行う。その際に認識対象物品の画像情報をクラウドサーバに送信する。この際に、例えば冷蔵庫であれば、撮像装置で冷蔵庫入口を監視して物品の投入および／または使用の検出をする。なお、扉の開閉が発生すれば物品投入および／または使用が発生したとして検出情報を生成してもよい。また、洗濯機も「洗う」メニューが使用されたことをもって、物品、つまり洗剤や柔軟剤の物品の投入および／または物品の使用の検出を行ってもよい。

クラウドサーバでは画像認識データベースと家電装置から送られた画像情報を元に、図６Ｂの画像認識処理を行う。クラウドサーバ側では家電装置からの入力があるまで待機する。入力待ちの状態に、家電装置から入力があった場合には画像認識処理を行う。なお、画像認識の方法は前述のように画像認識データベース生成（選択）処理で決められたものを用いてもよいし、静的にあらかじめ決めたものを使っても良い。最後に、認識結果の中で最も特徴量が近い画像認識データベース内の物体を選択する。以上の処理によって得られる家電装置で使用した物品のデータをクラウドサーバに蓄積しておく。

端末側から、スマートフォンアプリケーションで冷蔵庫の内容物一覧の問い合わせのデータ要求がクラウドサーバへ発生した場合には、クラウドサーバ側で内容物一覧リスト作成を行う。これは、物品の一覧をユーザーが確認できる一覧表にする処理であり、例えばＨＴＭＬの生成を行う。この生成された結果を端末側に送信して、端末側のブラウザアプリケーションで表示する。

（実施の形態３）
図７は本開示の第３の実施の形態３にかかる情報処理システムの構成と処理の流れを示す図である。図４に示す第２の実施形態との違いは、画像認識データベース上の家電属性の有無、複数の家電装置での投入、取り出し検知情報を用いて認識を行っている点である。

図７の例では２つの家電装置のデータを用いている。以降では、これらの２つの家電装置をそれぞれ冷蔵庫と電子レンジとして説明する。この図において、ユーザーが最初にスーパーマーケットで購入した物品は「Ａ社調味料、Ｂ社レトルト食品、Ｃ社デザート」である。ここで、これらのパッケージは外見が似ており、カメラの撮像条件においては認識が難しいものであると仮定する。この条件下において、例えばカメラ画像だけで画像認識を行うと画像認識の精度が課題となる。一方、本実施の形態のように実際に使用される各家電装置と画像認識データベースに付与された家電属性を組み合わせることで、認識の精度を高めることができる。

例えば、図８のようにＢ社レトルト食品を冷蔵庫から取り出して、直後に電子レンジで温める場合について説明する。本実施の形態では画像認識データベースの特徴量に家電属性を含む。一例として図９の画像認識データベースのテーブルを示す。このテーブルでは品目名に認識結果となる物体の名前があり、それらの特徴量データとして、家電属性１、家電属性２、大きさなどの情報がある。なお、これら以外の特徴量として、色やパッケージの印刷文字やバーコードなどがあってもよい。家電属性１は物品が使われる可能性がある家電の情報を示している。例えば、「Ａ社調味料、Ｂ社レトルト食品、Ｃ社デザート」の中でＢ社レトルト食品だけが、冷蔵庫と電子レンジの両方で使用される可能性がある。このため、冷蔵庫での取り出しの検知が行われた後に、電子レンジでの投入の検知が行われた場合には、この物品はＢ社レトルト食品である可能性が高いと判断できる。

以上のように家電装置での投入および／または取り出しの検知時に、家電属性情報およびどの家電装置で物品が使用されたかの使用情報も認識処理の特徴量として用いることで、更に高い認識精度を実現できる。

（変形例、応用例）
家電装置に認識機能がない場合には、実施の形態３の構成を、投入物品を予測するための予測機構として利用してもよい。図１０は画像認識機能がない電子レンジで使用する場合の構成と処理の流れを示す図である。例えば、図９の例では、ユーザーの購入物の「Ａ社調味料、Ｂ社レトルト食品、Ｃ社デザート」の中で、電子レンジの家電属性を持つものはＢ社レトルト食品だけである。この場合には、電子レンジに物品が投入された際にはＢ社のレトルト食品が入ったであろうと予測してもよい。

また、クラウドサーバ側で処理をした認識結果を用いて、家電装置へ制御コマンド等を送ってもよい。例えば図１１のように家電装置１（冷蔵庫）でＢ社のレトルト食品が認識された直後に、電子レンジに投入、取り出し検出が行われた場合には、Ｂ社レトルト食品の解凍に対応する家電設定などの制御（制御コマンドの送信）を行っても良い。

また、これらの各処理は家電装置側、クラウドサーバ側のどちらで行っても良い。例えば、図１２、図１３のように画像認識以降のすべての処理を家電装置側で実施してもよい。

なお、上記のすべての実施の形態例では画像認識を例にして説明したが、認識を画像に制限するものではない。例えば、音声認識をつかってもよい。音声認識の場合は、例えばユーザーが冷蔵庫から物品を取り出す際に、「みかんを取り出し」と声で入力する方法などがある。その場合、例えば図３を例にして説明すると、音声認識データベースには「みかん、１／３カットスイカ、Ａ社調味料」だけが入っており、そのデータベースの３つの言葉と「みかんを取り出し」というユーザーからの音声入力をマッチングさせるだけでよいため高い音声認識精度を得ることができる。

また、画像認識は大きさや色など物体の特徴量ベースのマッチングによる方法について説明しているが、本開示はこれらの画像認識方法に制限するものではない。例えば、画像そのものや、画像内の輝度分布を単純にパターンマッチングしてもよい。

なお、本開示は、実際の形態に記載の用途以外に幅広い用途で使用できる。例えば、宅配便における防犯サービスにも適用できる。クラウドサーバは宅配便業者が保持管理し、お客様宅まで宅配する宅配者に関するデータベースを有する。そして販売管理装置は、宅配ステーションで管理し、今日はどのお客様のお宅にどの宅配者が訪問するかの宅配スケジュールをクラウドサーバに入力する。そして、家電装置はお客様宅に設置されており、宅配者が訪問した際、その宅配者の顔画像等を取得し、クラウドサーバに問い合わせる。そして、クラウドサーバは取得した宅配者の顔画像と、宅配ステーションの販売管理装置で入力された宅配スケジュールをもとに、正しい宅配者がどうかを確認し、同じくお客様宅に設置されている端末で結果を表示する。なお、クラウドサーバでは、多くの宅配者のうち当日配送担当になりそうな数名のみが認識対象としてリストアップされているものとする。これにより、家電装置側での認識精度を上げることができる。以上のような仕組みを用いることで、宅配業者を装った犯罪者の場合、不正と表示されるので、犯罪に巻き込まれることを防止できる効果を有する。

本開示の防犯システムにより、画像認識技術を用いて、家電装置による防犯システムを構築することができる。

Claims (1)

1. ユーザの住宅への訪問スケジュールを入力する管理手段と、
   前記訪問スケジュールを使って特定される、前記ユーザの住宅への訪問が予定される候補訪問者の画像情報を含む認識データベースを生成するサービス提供者のサーバと、
   前記ユーザの住宅に設置され、実際の訪問者の画像情報を取得する家電装置とを備え、
   前記取得した画像情報を用いて、前記認識データベースとマッチング処理を行うことにより、前記実際の訪問者が前記認識データベースにある人物かどうかを判定する防犯システム。

Images