本出願に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
<<1.はじめに>>
児童は、感情に流されやすく、客観的かつ論理的な判断が難しいので、誘拐等の犯罪行為の可能性がある状況に遭遇した場合、適切な行動をとれない可能性が高い。また、保護者が、児童のスケジュールや位置を把握していたとしても、児童の現在の状況を把握しているとは限らないので、児童が誘拐等の犯罪行為の可能性がある状況に遭遇しても即座に行動することは難しい。また、警察などの行政機関が、誘拐等の犯罪行為が発生しても、かかる犯罪行為に対して行動できるのは通報後であるので、犯罪行為が発生してからある程度の時間が経過しており、初動が遅れてしまう。このように、児童等が誘拐等の犯罪行為に遭遇することを回避するのは困難を極めるが、児童等が犯罪行為に遭遇することをできるだけ防止するとともに、犯罪行為に対してできるだけ迅速な行動をとることができる防犯体制の構築が望まれる。
そこで、本出願では、犯罪行為に対して捜査機関ができるだけ迅速な行動をとることを可能とするとともに、犯罪行為に巻き込まれる児童等の撲滅を図ることができる情報処理システム及び電子機器を提案する。
<<2.情報処理システムの概要>>
図1を用いて、実施形態に係る情報処理システムの概要を説明する。図1は、実施形態に係る情報処理システムの概要を示す模式図である。
図1に示す実施形態に係る情報処理システムは、児童P1が携帯するユーザ端末1と、当該児童P1が犯罪被害に遭う事を防止するための処理を実行する情報処理装置200とを備える。
図1において、符号「P1」は児童を示している。符号「P2」は、児童及び児童の保護者以外の第三者を示し、不審者である場合と、不審者ではない場合とがある。符号「P3」は児童の保護者を示している。また、図1において、符号「PS」は警察署を示している。
ユーザ端末1は、通信機能を備えたスマートフォン等の子供向けの通信装置である。ユーザ端末1は、携帯電話、スマートデバイス(スマートフォン、又はタブレット)、ウェアラブル端末、PDA(Personal Digital Assistant)、ポータブル音楽プレーヤ、ゲーム端末、ラップトップ型のパーソナルコンピュータ等の種々の端末であってよい。
また、ユーザ端末1は、音声入力機能及び撮像機能を有する。ユーザ端末1は、音声入力機能により、児童P1の周囲に存在する第三者P2の音声を取得できる。また、ユーザ端末1は、撮像機能により、児童の周囲に存在する第三者P2の画像を取得できる。また、ユーザ端末1は、警告音を出力する機能、及び警告音を出力中であることを表示する機能を有する。
また、ユーザ端末1は、インターネット等のネットワークに接続し、情報処理装置200との間で各種情報を送受信する情報通信を行うことができる。
情報処理装置200は、危険度判定処理を実行する情報処理装置であり、インターネット等のネットワーク上に配置されたサーバ装置やワークステーション等の汎用的な情報処理装置、複数の情報処理装置で構築されたクラウドシステム等により実現される。
このようなユーザ端末1及び情報処理装置200を備える情報処理システムによる処理の一例について説明する。
ユーザ端末1は、入力音声(例えば、第三者P2の音声)を取得し、取得した入力音声の周波数と、予め保持する比較音声の周波数とが一致するか否かを判定する(ステップS1)。ここで、比較音声は、例えば、予め収録してユーザ端末1に記録された保護者P3や親族などの音声に相当する。
ユーザ端末1は、入力音声の周波数と比較音声の周波数とが一致しないと判定した場合、カメラ(図示略)を起動し、カメラにより撮像された画像(例えば、第三者P2の顔画像を含む画像)を取得する(ステップS2)。そして、ユーザ端末1は、ステップS1で取得した入力音声の音声データと、ステップS2で取得した画像の画像データを情報処理装置200に送信する(ステップS3)。また、ユーザ端末1は、児童P1の現在位置の情報やユーザ端末1を特定する端末情報を情報処理装置200に送信できる(ステップS3)。児童P1の現在位置の情報やユーザ端末1を特定する端末情報は、警察管理装置400に対する通報を行う際に同封される。端末情報として、ユーザ端末1に付与された電話番号や個体識別番号などを例示できる。
情報処理装置200は、ユーザ端末1から受信した音声データ(端末取得音声データ)に基づいて音声解析処理を実行する(ステップS4)。情報処理装置200は、例えば、音声データを解析し、音声データに対応するテキストデータを形態素に分割する。
また、情報処理装置200は、画像データ(端末取得画像データ)に基づいて画像解析処理を実行する(ステップS5)。例えば、情報処理装置200は、画像データを解析し、画像に映し出されている人物の年齢、性別、及び感情を取得する。
情報処理装置200は、音声解析処理結果及び画像解析処理結果に基づいて、ユーザ端末1のユーザである児童P1が犯罪に巻き込まれる可能性が高いか否かを示す危険度を導出する危険度判定処理を実行する(ステップS6)。情報処理装置200は、音声解析処理により取得された形態素と危険ワードとの一致率、並びに、画像解析処理により取得された年齢、性別、及び感情に対応付けられた危険度に基づいて、ユーザ端末1のユーザである児童P1が犯罪に巻き込まれる可能性が高いか否かを示す危険度を導出する。情報処理装置200は、危険ワードを記憶する危険ワード格納部と、年齢、性別、及び感情に対応付けられた危険度を記憶する危険度格納部とを備える。
情報処理装置200は、危険度判定処理により導出した児童P1の危険度に応じて、児童P1、保護者P3、及び警察署PSのうちの少なくともいずれかに対して実施する処理を決定する。例えば、情報処理装置200は、第三者P2の危険度が90%を超える場合、保護者装置300に対して、児童P1の状況を通知するためのメッセージを送信し、保護者P3に児童P1の現在の状況を通知する(ステップS7)。さらに、情報処理装置200は、警察管理装置400に対して、例えば、緊急出動を要請する通報するためのメッセージを送信し、児童P1が危険な状況にあることを警察署PSに通報する(ステップS8)。この通報には、ユーザ端末1から受信した音声データ及び画像データの他、ユーザ端末1の現在位置の情報やユーザ端末1を特定する端末情報を含めることができる。さらに、情報処理装置200は、ユーザ端末1から警告音を出力させるための指令信号をユーザ端末1に送信する(ステップS9)。
ユーザ端末1は、情報処理装置200から受信する指令信号に従って、警告音を出力すると共に(ステップS10)、警告音を出力中であることを示す画像を表示する(ステップS11)。
このように、実施形態に係る情報処理システムにおいて、情報処理装置200は、客観的かつ論理的な判断が難しい児童P1の代わりに、児童P1の現在の状況の危険度を判定する。そして、情報処理装置200は、判定した危険度に応じて、児童P1の現在の状況を保護者P3へ通達するとともに、行政機関である警察署PSへの通報を実施する。そして、情報処理装置200は、警察署PSへの通報に際して、ユーザ端末1において取得された音声データ及び画像データを送信する。このため、実施形態に係る情報処理システムによれば、例えば児童P1の危険を保護者P3に把握させることができ、また、児童P1が犯罪に巻き込まれた際に事件解決に必要となる情報を捜査機関となる警察署PSに提供できる。これにより、捜査機関である警察署PSは、犯罪行為に対する迅速な行動が可能となる。
また、情報処理装置200が警察署PSへの通報に際して同封する音声データ及び画像データは、犯罪立証のための情報となり得る。このため、実施形態に係る情報処理システムが広く社会的に認知されることにより、児童誘拐等の犯罪行為を抑止する抑止力となり得る。この結果、犯罪行為に巻き込まれる児童等の撲滅を図ることができる。
<<3.機能構成等>>
<3−1.システム構成>
図2を用いて、実施形態に係る情報処理システムの構成を説明する。図2は、実施形態に係る情報処理システムの構成例を示す図である。
図2に示すように、実施形態に係る情報処理システムSYSは、ユーザ端末1と、情報処理装置200と、保護者装置300と、警察管理装置400と、GPS衛星500を備える。情報処理システムSYSは、ユーザ端末1と情報処理装置200とが連携して動作することにより、ユーザ端末1のユーザ(例えば、児童P1)の代わりに、かかるユーザの現在の状況の危険度に応じた処理を実現する。
情報処理システムSYSは、複数のユーザ端末1と、保護者装置300とを含むことができる。図2に示す例では、情報処理システムSYSは、ユーザ端末1として、ユーザ端末1a〜1n等を備えている。また、情報処理システムSYSは、保護者装置300として、保護者装置300a〜300n等を備えている。また、情報処理システムSYSは、GPS衛星500として、GPS衛星500a〜500n等を備えている。なお、情報処理システムSYSは、複数の情報処理装置200を備えてもよく、複数の警察管理装置400を備えてもよい。
ユーザ端末1は、通信機能を備えた子供向けの通信装置である。ユーザ端末1は、携帯電話、スマートデバイス(スマートフォン、又はタブレット)、ウェアラブル端末、PDA(Personal Digital Assistant)、ポータブル音楽プレーヤ、ゲーム端末、ラップトップ型のパーソナルコンピュータ等のモバイル端末であってよい。また、ユーザ端末1は、M2M(Machine to Machine)デバイス、又はIoT(Internet of Things)デバイスであってもよい。ユーザ端末1は、ネットワークNWに接続し、ネットワークNWを介して、他の装置と通信できる。
情報処理装置200は、危険度判定処理を実行する情報処理装置である。情報処理装置200は、インターネット等のネットワークNW上に配置されたサーバ装置やワークステーション等の汎用的な情報処理装置、複数の情報処理装置で構築されたクラウドシステム等により実現される。情報処理装置200は、ネットワークNWに接続し、ネットワークNWを介して、他の装置と通信できる。
保護者装置300は、児童P1(図1参照)の保護者P3(図1参照)により保持される通信装置である。保護者装置300は、携帯電話、スマートデバイス(スマートフォン、又はタブレット)、ウェアラブル端末、PDA(Personal Digital Assistant)、ポータブル音楽プレーヤ、ゲーム端末、パーソナルコンピュータ等の装置であってよい。実施形態において、保護者装置300は、情報処理装置200からのメッセージを受信し、受信したメッセージを表示することができる。保護者装置300は、ネットワークNWに接続し、ネットワークNWを介して、他の装置と通信できる。
警察管理装置400は、警察署PSにより管理及び運営されるシステムである。警察管理装置400は、例えば、住民からの緊急通報に迅速かつ正確に対応し、現場にパトカーや交番の警察官を急行させることで、人命救助や事件・事故への対処などを支援するシステムなどを含む。警察管理装置400は、ポインティングデバイス機能などを備え、専用のペンを使った高い操作性と効率的な入力により、通報者からの情報を正確に受理したり、地図情報システムと連携し、豊富で効果的な検索機能により発生場所の早期特定を支援したりできる。実施形態において、警察管理装置400は、情報処理装置200からの通報を受信し、受信した通報に含まれる音声データ及び画像データを記録できる。警察管理装置400は、ネットワークNWに接続し、ネットワークNWを介して、他の装置と通信できる。
ネットワークNWは、ユーザ端末1と、情報処理装置200と、保護者装置300と、警察管理装置400とを相互に接続する。ネットワークNWは、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワークNWは、IP−VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワークNWは、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
GPS衛星500は、GPS(Global Positioning System、全地球測位システム)の通信機能を備える通信装置に、通信装置の地理位置を特定可能な情報を送信(提供)する衛星である。通信装置(例えば、ユーザ端末1)は、GPS衛星500から出力される情報を取得し、解析することで、自身(ユーザ端末1)の位置情報(座標情報)を取得する。なお、位置情報は、GPSの他、Beidou、QZSS(Quasi-Zenith Satellite System)、GalileoやA−GPS(Assisted Global Positioning System)に代表される位置測位機能によって取得される座標情報であってもよい。典型的には、緯度、経度、高度、測位誤差に係る情報が含まれうる。または、例えば、NRA(National Regulatory Authority)またはその委託機関によって管理される情報管理装置に登録される位置情報であってよい。または、例えば、特定の地理位置を原点とするX軸、Y軸、Z軸の座標であってもよい。また、このような座標情報と一緒に屋外/屋内を示す識別子が付与されうる。
<3−2.ユーザ端末>
図3は、実施形態に係るユーザ端末の構成例を示す図である。図3に示すように、ユーザ端末1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPSレシーバ18とを有する。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別できる。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はユーザ端末1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
ボタン3は、ユーザからの操作入力を受け付ける。ボタン3の数は、任意の数であってよい。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。ボタン3は、例えばメニューボタン、パワーオンボタン、パワーオフボタン(電源ボタン)、リセットボタンなどの各種機能が割り当てられてよい。ボタン3は、音声入力の処理を実行させる機能が割り当てられてよい。
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、赤外線を照射する発光素子と、発光素子から照射された赤外線の反射光を受光する受光素子を有する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(登録商標)(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、PHS(Personal Handy-phone System)等がある。
通信ユニット6によってサポートされる近距離無線の通信規格としては、例えば、WiMAX(登録商標)(Worldwide interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(登録商標)(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
通信ユニット6は、ネットワークNWに接続して、情報処理装置200との間で実行される情報通信を実現するための通信プロトコルをサポートできる。コントローラ10は、通信ユニット6を介して、情報処理装置200との間で各種情報を送受信する情報通信を行う。通信ユニット6は、コントローラ10により取得された音声データと、画像データとを情報処理装置200に送信する。
レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。また、スピーカ11は、実施形態において、警告音を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信でアクセス可能なクラウドストレージなどの他の装置からダウンロードされてもよい。ストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。ストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu−ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。
ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。
ストレージ9に記憶されるプログラムは、ユーザ端末1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。ストレージ9に記憶されるプログラムが提供する機能は、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能を含む。ストレージ9に記憶されるプログラムが提供する機能は、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能を含む。ストレージ9に記憶されるプログラムが提供する機能は、コネクタ14を介して接続される外部機器との間の通信を制御する機能を含む。ストレージ9に記憶されるプログラムが提供する機能は、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能を含む。ユーザ端末1の各種動作に関する処理を実現するための機能は、後述する制御プログラム9Aにより提供されてもよい。
ストレージ9は、たとえば制御プログラム9A、防犯アプリケーション9B、音声データ9X、画像データ9Y、比較音声データ9Zを記憶する。
制御プログラム9Aは、ユーザ端末1を制御するための機能を提供する。コントローラ10は、制御プログラム9Aを実行することにより、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。
防犯アプリケーション9Bは、ユーザ端末1の防犯に関わる動作を実現するための各種機能を提供する。コントローラ10は、防犯アプリケーション9Bを実行することにより、後述するユーザ端末1の防犯に関わる動作を実行する。なお、防犯アプリケーション9Bにより提供される機能の一部を制御プログラム9Aが担ってもよい。また、防犯アプリケーション9Bにより提供される機能の一部が、実施形態に特有の処理を実現するために専用に作成されたプログラム、あるいは既存プログラム又はアプリケーションに対するアドオンなどで実装されてもよい。
音声データ9Xは、マイク8が入力した音声のデータである。音声データ9Xは、例えば、ユーザ端末1のユーザである児童P1に対して話しかけた第三者P2の音声データに該当する。
画像データ9Yは、カメラ12又はカメラ13が撮像した画像のデータである。画像データ9Yは、例えば、ユーザ端末1のユーザである児童P1に対して話しかけた第三者P2の顔画像の画像データに該当する。
比較音声データ9Zは、入力音声(音声データ9X)との比較を行うための比較音声の情報である。比較音声データ9Zには、例えば比較音声の情報として、予め収録された音声の周波数が記録される。比較音声は、保護者P3(図1参照)や親族などの児童P1にとって安全な人物の音声に相当する。
図3に示すプログラム及びデータは、実施形態を説明するうえで必要と認めるものを例示するものであり、図3に示す例に特に限定される必要はない。例えば、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供するメールアプリケーションや、WEBページを表示するためのWEBブラウジング機能を提供するブラウザアプリケーションなどが必要に応じて記憶され得る。また、図3に示すデータは、実施形態を説明するうえで必要と認めるものを例示するものであり、図3に示す例に特に限定される必要はない。例えば、ユーザ端末1の動作に関する各種の設定に関する情報を含む設定データ(ファイル)が記憶され得る。
コントローラ10は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサ(演算処理装置)によって実現される。例えば、コントローラ10は、ユーザ端末1内部の記憶装置に記憶されている各種プログラムを、コントローラ10が備えるプロセッサがRAM等を作業領域として実行することにより実現される。なお、コントローラ10は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
コントローラ10は、ユーザ端末1の動作を統括的に制御して各種処理を実現する。具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。
コントローラ10は、ストレージ9に記憶されるプログラムを実行することにより、ユーザ端末1の動作を制御する。コントローラ10は、制御プログラム9Aを実行することにより、例えば、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整できる。コントローラ10は、制御プログラム9Aを実行することにより、例えば、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効にできる。コントローラ10は、制御プログラム9Aを実行することにより、例えば、コネクタ14を介して接続される外部機器との間の通信を制御できる。コントローラ10は、制御プログラム9Aを実行することにより、例えば、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を実行できる。
また、コントローラ10は、防犯アプリケーション9Bを実行することにより、ユーザ端末1の防犯に関わる動作を実行する。図4は、実施形態に係るユーザ端末が有するコントローラ内部の構成例を示す図である。
図4に示すように、コントローラ10は、音声取得部101と、画像取得部102と、判定部103と、報知部104とを有する。コントローラ10が有する各ブロック、すなわち、音声取得部101、画像取得部102、判定部103、及び報知部104はそれぞれコントローラ10が防犯アプリケーション9Bを実行することにより実現される機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法及び構成単位は任意である。
音声取得部101は、マイク8から取得した入力音声の音声データを、音声データ9Xとしてストレージ9に記録する。音声取得部101により音声データを記録する時間は、任意に設定できる。音声取得部101により取得される音声データには、不審者である第三者P2が発した音声の音声データが含まれ得る。音声取得部101は、所定のタイミングでマイク8を起動し、音声入力が可能な状態にできる。所定のタイミングは任意に設定できる。例えば、児童P1が外出するスケジュール(時間帯)をマイク8の起動時間として設定できる。あるいは、音声取得部101は、加速度センサ15の検出結果に応じてマイク8を起動したり、GPSレシーバ18に基づく位置に基づいてマイク8を起動したりできる。また、音声取得部101により音声データを記録する時間についても、任意に設定できる。音声取得部101は、マイク8から取得した入力音声の音声データを判定部103に送出する。
画像取得部102は、判定部103からの信号に従って、カメラ12(またはカメラ13)により撮像された画像の画像データを取得する。画像取得部102は、例えば、第三者P2が位置する方向に合わせて、カメラ12(又はカメラ13)の撮像方向を調整してもよい。例えば、マイク8が指向性を有する場合、画像取得部102は、マイク8の音声入力方向を第三者P2の位置する方向と見做して、カメラ12(またはカメラ13)の撮像方向を調整可能である。画像取得部102は、カメラ12(またはカメラ13)から取得した画像の画像データを、画像データ9Yとしてストレージ9に記録する。画像取得部102により取得された画像データには、不審者である第三者P2が撮像された画像(顔画像)の画像データが含まれ得る。
判定部103は、音声取得部101により取得された入力音声の周波数と、比較音声データ9Zに記録された比較音声の周波数とが一致するか否かを判定する。一致するか否かは、入力音声の周波数が、比較音声の周波数の±5%の範囲内にあるか否かで判定する。判定部103は、周波数が一致すると判定した場合、ストレージ9に記録した音声データ9Xを破棄する。一方、判定部103は、音声取得部101により取得された入力音声の周波数と、比較音声の周波数とが一致しないと判定した場合、カメラ12(及び/又はカメラ13)を起動し、撮像を指令する信号を出力する。判定部103は、カメラ12及びカメラ13を起動してもよいし、カメラ12又はカメラ13のいずれか一方を起動させてもよい。また、判定部103は、カメラ12(及び/又はカメラ13)する際、音声の入力方向に基づいて、カメラ12又はカメラ13のいずれか一方を起動させてもよい。また、判定部103は、音声の入力方向に基づいて、第三者P2が位置する方向に合わせて、カメラ12(及び/又はカメラ13)の向きを変更してもよい。
判定部103は、画像取得部102により画像データが取得されると、画像取得部102により取得された画像データを取得するとともに、ストレージ9から音声データ9Xを取得する。判定部103は、ストレージ9から音声データ9Xを取得する場合、例えば、比較音声の周波数と一致しない音声データが記録された時点の前後1秒間に記録された音声データを取得する。判定部103は、音声データ9Xから取得した音声データ及び画像取得部102から取得した画像データを、端末取得音声及び端末取得画像として、通信ユニット6に送出する。
なお、判定部103は、ユーザ端末1のユーザである児童P1の現在位置の情報やユーザ端末1を特定する端末情報などを、端末取得音声及び端末取得画像とともに情報処理装置200に送信できる。判定部103は、GPSレシーバ18により復調処理された処理後の信号に基づいて、ユーザ(児童P1)の位置を算出し、算出した位置をユーザの現在位置として特定する。また、判定部103は、端末情報として、ストレージ9に記憶されている電話番号や個体識別番号などを取得できる。
報知部104は、通信ユニット6が情報処理装置200から受信した指令信号に基づいて、報知処理を実行する。例えば、報知部104は、指令信号に基づく警告音をスピーカ11から出力するとともに、警告音を出力中であることを示す画像をディスプレイ2Aに表示する。
カメラ12は、ユーザ端末1のフロントフェイスに面している物体を撮像するインカメラである。カメラ13は、ユーザ端末1のバックフェイスに面している物体を撮像するアウトカメラである。カメラ12及び/又はカメラ13は、たとえば児童P1の周囲に存在する第三者P2の画像(顔画像)を撮像する。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High-Difinition Multimedia Interface)、MHL(Mobile High-Difinition Link)、ライトピーク(Light Peak)、サンダーボルト(登録商標)(Thunderbolt)、LANコネクタ、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用に設計された端子でもよい。コネクタ14に接続される装置は、例えば、飛行体、充電器、外部ストレージ、通信装置、及び情報処理装置を含むが、これらに限定されない。
加速度センサ15は、ユーザ端末1に働く加速度の方向および大きさを検出する。加速度センサ15の検出結果は、ユーザ端末1のユーザの歩数を検出するために利用することもできる。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、ユーザ端末1の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、ユーザ端末1の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、GPS衛星500からの所定の周波数帯の電波信号を受信できる。GPSレシーバ18は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。
図3は、ユーザ端末1の構成の一例を示すものであり、本出願の要旨を損なわない範囲において適宜変更してよい。図3に例示するユーザ端末1は、カメラ12およびカメラ13を備えるが、たとえばインカメラ及びアウトカメラを切り換え可能な1つのカメラを備えてもよい。図3に例示するユーザ端末1は、ユーザ端末1の位置および姿勢を検出するために複数種類のセンサを備えるが、これらのうちいくつかのセンサを備えなくてもよい。あるいは、ユーザ端末1は、ユーザ端末1の位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
<3−3.情報処理装置>
図5は、実施形態に係る情報処理装置の構成例を示す図である。図5に示すように、情報処理装置200は、通信部210と、記憶部220と、制御部230とを備える。
通信部210は、ネットワークNWに接続された他の装置との間で各種情報のやり取りを行うためのNIC(Network Interface Card)等のインターフェイスである。通信部210は、ユーザ端末1、保護者装置300並びに警察管理装置400との間で各種情報を送受信する情報通信を行うための通信プロトコルをサポートする。制御部230は、通信部210を介して、ユーザ端末1、保護者装置300並びに警察管理装置400との間でそれぞれ情報通信を行う。
記憶部220は、制御部230による各種処理等を実現するプログラム及びデータを記憶する。記憶部24は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部220は、制御部230の処理結果を一時的に記憶する作業領域としても利用され得る。
記憶部220は、図5に示すように、比較画像データ格納部221と、危険ワード格納部222と、危険度格納部223と、音声解析プログラム224と、画像解析プログラム225と、危険度判定プログラム226と、連絡先データベース227とを有する。
比較画像データ格納部221は、端末取得画像との比較を行うための画像データである。比較画像データ格納部221は、保護者P3(図1参照)や親族などの児童P1にとって安全な人物の顔画像の画像データを記憶する。
危険ワード格納部222は、危険ワードの情報を記憶する。危険ワードとは、児童の誘拐において犯罪者が用いる常套句などの情報に該当する。危険ワードは、過去の事件の情報などに基づいて設定できる。図6は、実施形態に係る危険ワード格納部222に格納される情報の概要を示す図である。危険ワードの情報の一例を示す図である。図6に示すように、危険ワード格納部222に記憶される危険ワードの情報は、危険ワードと、危険ワードの同義語とを対応付けて構成される。なお、図6は、危険ワードの情報の一例を示すものであり、図6に示す例には特に限定される必要はない。例えば、危険ワードの同義語は危険ワードに含めて、類義語などをさらに対応付けて、危険ワードの情報が構成されてもよい。
危険度格納部223は、後述する画像解析部232による解析結果として得られる年齢、性別、及び感情に対応付けられた危険度を記憶する。図7は、実施形態に係る危険度格納部223に記憶される情報の概要を示す図である。危険度格納部223に記憶される危険度は、過去の事件の情報に基づく犯罪者の傾向などに基づいて設定できる。例えば、図7では、例えば、性別の比較では、男性の危険度が高くなり、また、性別に関係なく、年齢層が高めで、感情が「ネガティブ」である場合の危険度が高くなる例を示している。なお、図7は、危険度の一例を示すものであり、図7に示す例には特に限定される必要はない。例えば、図7に示す年齢設定は、図7に示す範囲で設定される必要はなく、5歳刻みや10歳刻みなどの任意の範囲で設定されてもよい。また、感情の分類として、ポジティブ(好意的、肯定的な感情)、ニュートラル(中立の感情)、ネガティブ(悲観的、否定的な感情)の3つに分類するが、ポジティブに対応する危険度の評価が不要の場合(例えば、犯罪の傾向からポジティブに対応する危険度がほとんど存在しない場合)、ニュートラルとネガティブの2つに分類してもよい。
音声解析プログラム224は、後述する音声解析部231の処理を実現するための機能を提供する。例えば、音声解析プログラム224は、入力された音声データ(端末取得音声データ)を解析して、テキストデータに変換し、当該端末取得音声データに対応するテキストデータを形態素に分割する機能を提供する。
画像解析プログラム225は、後述する画像解析部232の処理を実現するための機能を提供する。例えば、画像解析プログラム225は、入力された画像データ(端末取得画像データ)を解析して、画像データに映し出された人物の年齢、性別、及び感情(精神状態)を取得し、年齢、性別及び感情の情報を出力する機能を提供する。
危険度判定プログラム226は、後述する危険度判定部233の処理を実現するための機能を提供する。例えば、危険度判定プログラム226は、音声解析による危険ワードとの一致率、並びに、画像解析による年齢、性別、及び感情に対応付けられた危険度に基づいて、ユーザ端末1のユーザ(例えば、児童P1)が犯罪に巻き込まれる可能性が高いか否かを示す危険度を導出するための機能を提供できる。
連絡先データベース227は、ユーザ端末1のユーザ(例えば、児童P1)の状況を通知する際の連絡先の情報で構成される。例えば、連絡先の情報として、児童P1の保護者P3が使用する保護者装置300(図1等参照)の電話番号やメールアドレスなどが該当する。
制御部230は、情報処理装置200の各部を制御するコントローラである。制御部230は、たとえばCPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサ(演算処理装置)によって実現される。例えば、制御部230は、情報処理装置200内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAMを作業領域として実行されることにより実現される。なお、制御部230は、たとえばASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
制御部230は、図5に示すように、音声解析部231と、画像解析部232と、危険度判定部233と、連絡処理部234とを有する。制御部230が有する各ブロック、すなわち、音声解析部231、画像解析部232、危険度判定部233、及び連絡処理部234はそれぞれ制御部230により実現される機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法及び構成単位は任意である。
音声解析部231は、ユーザ端末1から受信した音声データ(端末取得音声データ)を解析する。具体的には、音声解析部231は、入力された音声データ(端末取得音声データ)を解析して、テキストデータに変換し、当該端末取得音声データに対応するテキストデータを形態素に分割する。音声解析部231は、解析結果を危険度判定部233に出力する。音声解析部231は、形態素のうち、危険ワードとの比較を行うことが可能な所定の品詞(名詞や動詞など)に対応する形態素を出力してもよい。音声解析部231は、例えば、プロセッサが音声解析プログラム224を実行することにより実現される。
画像解析部232は、ユーザ端末1から受信した画像データ(端末取得画像データ)を解析する。具体的には、画像解析部232は、入力された画像データ(端末取得画像データ)を解析して、画像データに映し出された人物の年齢、性別、及び感情(精神状態)を取得する。画像解析部232は、解析結果を危険度判定部233に出力する。画像解析部232は、例えば、プロセッサが画像解析プログラム225を実行することにより実現される。
危険度判定部233は、音声解析部231による音声解析による危険ワードとの一致率、並びに、画像解析部232による画像解析による年齢、性別、及び感情に対応付けられた危険度に基づいて、ユーザ端末1のユーザ(例えば、児童P1)が犯罪に巻き込まれる可能性が高いか否かを示す危険度を導出する。
具体的には、危険度判定部233は、比較画像データ格納部221に記憶されている比較画像データを取得し、ユーザ端末1から受信した画像(端末取得画像)と比較画像とが一致するか否かを判定する。一致するか否かは、端末取得画像と、比較画像との一致率が95%を超えるか否かで判定する。危険度判定部233は、ユーザ端末1から受信した画像(端末取得画像)と比較画像とが一致しないと判定した場合、危険ワード格納部222に記憶される危険ワードの情報を参照して、音声解析部231から取得した音声解析結果に含まれる形態素と危険ワードとの一致率を算出する。図8は、実施形態に係る危険ワードの一致率の一例を示す図である。図8に示すように、例えば、危険度判定部233は、音声解析部231から取得した音声解析結果に含まれる形態素の全てが危険ワードに該当する場合、一致率を100%と算出する。また、危険度判定部233は、音声解析部231から取得した音声解析結果に含まれる形態素の半数が危険ワードに該当する場合、一致率を50%と算出する。また、危険度判定部233は、音声解析部231から取得した音声解析結果に含まれる形態素の4分の1が危険ワードに該当する場合、一致率を25%と算出する。そして、危険度判定部233は、危険ワードとの一致率を所定の閾値と比較し、所定の閾値を超える場合、危険ワードとの一致率を音声解析結果に基づく危険度として導出する。
また、危険度判定部233は、危険度格納部223に記憶されている危険度の情報に基づいて、画像解析部232による画像解析結果に対応する危険度を取得する。例えば、危険度判定部233は、画像解析部232から画像解析結果として取得した年齢、性別、感情が、「18歳、女性、ポジティブ」である場合、画像解析結果に対応する危険度として「0%」を取得する。そして、危険度判定部233は、危険度格納部223に記憶されている危険度の情報に基づいて取得した画像解析結果に対応する危険度を所定の閾値と比較し、所定の閾値を超える場合、取得した危険度を画像解析結果に基づく危険度として導出する。
危険度判定部233は、音声解析結果に基づく危険度と画像解析結果に基づく危険度を統合し、最終的な危険度を決定する。例えば、音声解析結果に基づく危険度が「25%」で、画像解析結果に基づく危険度が「0%」である場合、危険度判定部233は、最終的な危険度を「25%」に決定する。
危険度判定部233は、決定した危険度に応じて、ユーザ端末1(児童P1)、保護者装置300(保護者P3)、及び警察管理装置400(警察署PS)のうちの少なくともいずれかに対して実施する処理を決定する。例えば、情報処理装置200は、第三者P2の危険度が75%を超える場合、警察管理装置400に対して、例えば、緊急出動を要請するメッセージを送信することを決定する。このメッセージには、ユーザ端末1から受信した音声データ及び画像データの他、ユーザ端末1の現在位置の情報やユーザ端末1を特定する端末情報を含めることができる。さらに、危険度判定部233は、保護者装置300に対して、児童P1の現在の状況(危険)を通知するためのメッセージを送信することを決定する。さらに、危険度判定部233は、ユーザ端末1に対して、警告音を出力させるための指令信号をユーザ端末1に送信することを決定する。
連絡処理部234は、危険度判定部233の決定に従って、ユーザ端末1、保護者装置300及び警察管理装置400に対する連絡処理を実行する。
<<4.処理手順例>>
図9〜図11を用いて、実施形態に係る情報処理システムの処理手順例について説明する。図9〜図11は、実施形態に係る情報処理システムの処理手順の一例を示す図である。
<4−1.システム全体の処理>
まず、図9を用いて、情報処理システムSYSの全体の処理の流れを説明する。図9に示すように、ユーザ端末1は、入力音声を取得し(ステップS101)、取得した音声データをストレージ9に格納する。ユーザ端末1は、入力音声の周波数と、比較音声(予め登録された保護者P3(図1参照)等の音声)の周波数が一致するか否かを判定する(ステップS102)。一致するか否かは、入力音声の周波数が、比較音声の周波数の±5%の範囲内にあるか否かで判定する。
ユーザ端末1は、入力音声の周波数と、比較音声の周波数が一致すると判定した場合(ステップS102;Yes)、上記ステップS101の手順に戻る。このとき、ユーザ端末1は、入力音声の音声データをそのまま破棄してもよいし、一旦ストレージ9に記録して、事後的に破棄してもよい。
一方、ユーザ端末1は、入力音声の周波数と、比較音声の周波数が一致しないと判定した場合(ステップS102;No)、カメラ12(及び/又はカメラ13)を起動し、画像データを取得する(ステップS103)。
画像データの取得後、ユーザ端末1は、所定の音声データ及び画像データを情報処理装置200に送信する(ステップS104)。ここで、ユーザ端末1は、所定の音声データとして、例えば、ストレージ9に格納した音声データの中から、比較音声の周波数と一致しない音声データが記録された時点の前後1秒間に記録された音声データを取得する。また、ユーザ端末1は、音声データ及び画像データとともに、ユーザ端末1の現在位置を示す位置情報及びユーザ端末1を特定するための端末情報を送信できる。
情報処理装置200は、ユーザ端末1から音声データ及び画像データを受信すると、音声解析処理、及び画像解析処理をそれぞれ実施する(ステップS105,S106)。
情報処理装置200は、音声解析結果及び画像解析結果に基づく危険度判定処理(図10,11参照)を実行して危険度を導出する(ステップS107)。そして、情報処理装置200は、導出した危険度が75%以下であるか否かを判定する(ステップS108)。
情報処理装置200は、危険度が75%以下ではないと判定した場合(ステップS108;No)、すなわち、危険度が75%を超える場合、緊急出動を要請するメッセージを所轄の警察署PSが管理する警察管理装置400へ送信する(ステップS109)。
続いて、情報処理装置200は、保護者(例えば、保護者P3)が所有する保護者装置300へ、ユーザ端末1のユーザである児童(例えば、児童P1)の危険を通知するメッセージを送信する(ステップS110)。
続いて、情報処理装置200は、警告音の出力を指令する指令信号をユーザ端末1に送信して(ステップS111)、図9に示す情報処理装置200の処理を終了する。
上記ステップS108において、情報処理装置200は、危険度が75%以下であると判定した場合(ステップS108;Yes)、危険度が50%以下であるか否かを判定する(ステップS112)。
情報処理装置200は、危険度が50%以下ではないと判定した場合(ステップS1112;No)、すなわち、危険度が51%〜75%の範囲にある場合、上記ステップS110及びステップS111の処理手順を実行する。すなわち、情報処理装置200は、保護者装置300へのメッセージ送信、及びユーザ端末1に警告音を出力させる指令信号の送信を実施して、図9に示す情報処理装置200の処理を終了する。
一方、情報処理装置200は、上記ステップS112において、危険度が50%以下であると判定した場合(ステップS112;Yes)、危険度が30%以下であるか否かを判定する(ステップS113)。
情報処理装置200は、危険度が30%以下ではないと判定した場合(ステップS113;No)、すなわち、危険度が31%〜50%の範囲にある場合、上記ステップS111の処理手順を実行する。すなわち、情報処理装置200は、ユーザ端末1に警告音を出力させる指令信号の送信を実施して、図9に示す情報処理装置200の処理を終了する。
一方、情報処理装置200は、上記ステップS113において、危険度が30%以下であると判定した場合(ステップS113;Yes)、ユーザ端末1から受信した音声データ及び画像データを消去し(ステップS114)、図9に示す情報処理装置200の処理を終了する。なお、情報処理装置200は、図10を用いて後述する音声解析結果による危険度判定処理において音声データが消去されていれば、ステップS114における音声データ消去の手順を省略する。また、情報処理装置200は、図11を用いて後述する画像解析結果による危険度判定処理において画像データが消去されていれば、ステップS114における画像データ消去の手順を省略する。
ユーザ端末1は、情報処理装置200から警告音の出力を指令する指令信号を受信すると(ステップS115)、スピーカ11から警告音を出力する(ステップS116)。
そして、ユーザ端末1は、警告音を出力中であることを示す画像をディスプレイ2Aに表示させて(ステップS117)、図9に示すユーザ端末1の処理を終了する。
上記図9に示す処理手順において、ステップS105の音声解析処理及びステップS106の画像解析処理は、どちらの処理が先に行われてもよい。
<4−2.音声による危険度判定処理>
図10を用いて、情報処理装置200による音声解析結果に基づく危険度判定処理の流れを説明する。図10に示すように、危険度判定部233は、音声解析部231による音声解析結果を取得する(ステップS201)。
続いて、危険度判定部233は、音声解析結果と危険ワードとの一致率を算出する(ステップS202)。
そして、危険度判定部233は、ステップS202で算出した一致率が10%以下であるか否かを判定する(ステップS203)。
危険度判定部233は、ステップS202で算出した一致率が10%以下であると判定した場合(ステップS203;Yes)、ユーザ端末1から受信し、ストレージ9に格納した音声データ(端末取得音声データ)を消去し(ステップS204)、図10に示す音声解析結果に基づく危険度判定処理を終了する。
一方、危険度判定部233は、ステップS202で算出した一致率が10%以下ではないと判定した場合(ステップS203;No)、一致率を危険度として出力して(ステップS205)、図10に示す音声解析結果に基づく危険度判定処理を終了する。
<4−3.画像による危険度判定処理>
図11を用いて、情報処理装置200による画像解析結果に基づく危険度判定処理の流れを説明する。図11に示すように、危険度判定部233は、ユーザ端末1から受信した画像である端末取得画像と、比較画像データ格納部221に予め登録されている比較画像とが一致するか否かを判定する(ステップS301)。
危険度判定部233は、端末取得画像と比較画像とが一致しないと判定した場合(ステップS301;No)、画像解析結果に基づく危険度を危険度格納部223から取得する(ステップS302)。
危険度判定部233は、ステップS302で取得した危険度が10%以下であるか否かを判定する(ステップS303)。
危険度判定部233は、ステップS302で取得した危険度が10%以下であると判定した場合(ステップS303;Yes)、ユーザ端末1から受信し、ストレージ9に格納した画像データ(端末取得画像データ)を消去し(ステップS304)、図11に示す画像解析結果に基づく危険度判定処理を終了する。
一方、危険度判定部233は、危険度が10%以下ではないと判定した場合(ステップS303;No)、ステップS302で取得した危険度を出力して(ステップS305)、図11に示す画像解析結果に基づく危険度判定処理を終了する。
図10を用いて上述した音声解析結果に基づく危険度判定処理、及び図11を用いて上述した音声解析結果に基づく危険度判定処理は、統合して実施されてもよい。すなわち、危険度判定部233は、音声解析結果に基づく危険度が10%を超える場合に、一致率を危険度として出力するとともに、図11に示す画像解析結果に基づく危険度判定処理を実行するようにしてもよい。
上述してきたように、実施形態に係る情報処理システムSYSにおいて、情報処理装置200は、客観的かつ論理的な判断が難しいユーザ端末1のユーザ(例えば、児童P1)に代わって、ユーザ(児童P1)の現在の状況の危険度を判定する。そして、情報処理装置200は、判定した危険度に応じて、ユーザ(児童P1)の現在の状況を所定の連絡先(例えば、保護者P3)に通達するとともに、捜査機関である警察署PSへの通報を実施する。そして、情報処理装置200は、警察署PSへの通報に際して、ユーザ端末1において取得された音声データ及び画像データを送信する。これにより、情報処理装置200は、ユーザ端末1からの音声及び画像に基づいて、音声解析処理及び画像解析処理を行い、ユーザ端末1のユーザに危険度として判定できる。このため、実施形態に係る情報処理システムSYSによれば、例えば児童P1の危険を保護者P3に把握させることができ、また、児童P1が犯罪に巻き込まれた際に事件解決に必要となる情報を捜査機関となる警察署PSに提供できる。これにより、捜査機関は、犯罪行為に対する迅速な行動が可能となる。
また、情報処理装置200が警察署PSへの通報に際して同封する音声データ及び画像データは、犯罪立証のための情報となり得る。このため、実施形態に係る情報処理システムSYSが広く社会的に認知されることにより、児童誘拐等の犯罪行為の抑止力となり得る。この結果、犯罪行為に巻き込まれる児童等の撲滅を図ることができる。
<<5.変形例>>
上記実施形態において、危険度判定部233による画像解析結果に基づく危険度判定処理は、端末取得画像データを解析して得られる周辺環境の情報をさらに加味して、危険度を導出してもよい。例えば、周辺環境がユーザ端末1のユーザである児童P1の通常の行動範囲から逸脱している場合、危険度が大きくなるように、危険度格納部223から取得した画像解析結果に対応する危険度に重み付けを行ってもよい。このような処理は、画像解析プログラム225に対して、画像データの周辺環境を解析し、周辺環境を示す情報を出力する機能を追加することにより実現できる。
また、上記実施形態において、危険度判定部233による画像解析結果に基づく危険度判定処理は、端末取得画像データを解析して得られる画像のぶれ具合をさらに加味して、危険度を導出してもよい。例えば、画像のぶれ具合が、予め定められる閾値を超える場合、すなわち通常の使用状態にないと判断できる場合に、危険度が大きくなるように、危険度格納部223から取得した画像解析結果に対応する危険度に重み付けを行ってもよい。このような処理は、画像解析プログラム225に対して、画像のぶれを解析し、画像のぶれ具体を出力する機能を追加することにより実現できる。
また、上記実施形態において、情報処理装置200において実行される音声解析結果及び画像解析結果に基づく危険度判定処理は、音声解析結果に基づく危険度判定処理又は画像解析結果に基づく危険度判定処理のいずれかが実施されてもよい。
例えば、情報処理装置200が、音声解析結果に基づく危険度判定処理のみを実施する場合、音声解析結果に基づく危険度が閾値を超える場合、保護者装置300及び警察管理装置400へのメッセージの送信、ユーザ端末1への警告音の出力を指令する指令信号の送信を実施できる。
また、例えば、情報処理装置200が、画像解析結果に基づく危険度判定処理のみを実施する場合、画像解析結果に対応する危険度が閾値を超える場合、保護者装置300及び警察管理装置400へのメッセージの送信、ユーザ端末1への警告音の出力を指令する指令信号の送信を実施できる。
また、上記の実施形態において、保護者等の音声(周波数)は、保護者の年齢とともに変化することが考えらえる。そこで、例えば、比較音声データ9Zとしてユーザ端末1のユーザ(例えば、児童P1)の保護者の音声(周波数)が予め登録されている場合、ユーザ端末1は、保護者の音声を保護者の年齢に応じた音声の変化を予測し、予測結果に基づく音声を入力音声との比較に用いてもよい。年齢に応じた音声の変化予測は、例えば、機械学習によって、人間の音声の変化と年齢との関連性を学習し、年齢に応じた音声の変化を予測する学習済みモデルにより実行されてもよいし、予め獲得されたパラメータによる音声の加工により実行されてもよい。
また、上記の実施形態において、保護者等の顔画像についても、保護者の年齢とともに変化することが考えらえる。そこで、例えば、比較画像データ格納部221に、ユーザ端末1のユーザ(例えば、児童P1)の保護者の顔画像が予め登録されている場合、情報処理装置200は、保護者の音声を保護者の年齢に応じた顔画像の変化を予測し、予測結果に基づく顔画像を端末取得画像との比較に用いてもよい。年齢に応じた顔画像の変化予測は、例えば、機械学習によって、人間の顔画像の変化と年齢との関連性を学習し、年齢に応じた顔画像の変化を予測する学習済みモデルにより実行されてもよいし、予め獲得されたパラメータによる顔画像の加工により実行されてもよい。
また、情報処理装置200において実行される音声解析結果及び画像解析結果に基づく危険度判定処理は、音声解析結果及び画像解析結果に基づく危険度判定処理のいずれか一方または双方が、ユーザ端末1において実施されてもよい。
例えば、ユーザ端末1において音声解析結果及び画像解析結果に基づく危険度判定処理を実施する場合、ユーザ端末1として機能する電子機器が、前記電子機器の周囲の音声を入力可能に配置された音声入力部と、前記電子機器の周囲の画像を撮像可能に配置された撮像部と、前記音声入力部により入力された入力音声を取得する音声取得部と、前記撮像部により撮像された画像を取得する画像取得部と、前記入力音声との比較を行うための比較音声の情報を予め記憶する音声記憶部と、前記画像との比較を行うための比較画像の情報を予め記憶する画像記憶部と、危険ワードの情報を記憶する危険ワード格納部と、年齢、性別、及び感情に対応付けられた危険度を記憶する危険度格納部と、前記音声取得部により取得された入力音声のデータを解析し、当該入力音声のデータに対応するテキストデータを形態素に分類して取得する音声解析部と、前記画像取得部により取得された画像のデータを解析し、当該画像に映し出された人物の年齢、性別、及び感情を取得する画像解析部と、前記音声取得部により取得された入力音声の周波数と前記比較音声の周波数とが一致するか否かを判定する音声判定部と、前記画像取得部により取得された画像と、前記画像記憶部に記憶されている前記比較画像とが一致するか否かを判定する画像判定部と、前記音声判定部により前記入力音声の周波数と前記比較音声の周波数とが一致しないと判定された場合、及び/又は前記画像取得部により取得された画像と、前記画像記憶部に記憶されている前記比較画像とが一致しないと判定された場合、前記音声解析部により取得された形態素と前記危険ワードとの一致率、並びに、前記画像解析部により取得された前記年齢、性別、及び感情に対応付けられた危険度に基づいて、前記電子機器のユーザが犯罪に巻き込まれる可能性が高いか否かを示す危険度を導出する危険度判定部とを備えればよい。
音声入力部は、ユーザ端末1が備えるマイク8により実現できる。撮像部は、ユーザ端末1が備えるカメラ12,13により実現できる。音声記憶部並びに画像記憶部は、ユーザ端末1が備えるストレージ9により実現できる。音声取得部、画像取得部、音声解析部、画像解析部、判定部、並びに危険度判定部は、ユーザ端末1が備えるコントローラ10により実現できる。例えば、コントローラ10が備えるプロセッサが、音声取得部、音声解析部、画像解析部、判定部、並びに危険度判定部の処理機能を実現するためのプログラムを実行することにより実現できる。
また、例えば、ユーザ端末1において音声解析結果に基づく危険度判定処理を実施する場合、ユーザ端末1として機能する電子機器が、上記音声入力部と、上記音声取得部と、上記音声記憶部と、上記危険ワード格納部と、上記音声解析部と、上記音声判定部と、上記危険度判定部とを備えればよい。なお、この場合、上記危険度判定部は、前記音声解析部により取得された形態素と前記危険ワードとの一致率と危険度として導出する。
また、例えば、ユーザ端末1において画像解析結果に基づく危険度判定処理を実施する場合、ユーザ端末1として機能する電子機器が、上記撮像部と、上記画像取得部と、上記画像記憶部と、上記危険度格納部と、上記画像判定部と、上記危険度判定部とを備えればよい。なお、この場合、上記危険度判定部は、画像解析部により取得された前記年齢、性別、及び感情に対応付けられた危険度を危険度格納部から取得し、導出する。
<<6.その他>>
実施形態に係る情報処理装置200は、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
情報処理装置200において実行されるプログラムを、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、情報処理装置200がダウンロード等できるようにしてもよい。また、情報処理装置200が実行する上述の処理機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバ装置に格納しておき、情報処理装置200がダウンロード等できるようにしてもよい。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
また、上記してきた実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、実施形態に係る処理手順を示す各図に示された各ステップは、適宜順序を変更することが可能である。
以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。