以下、添付図面を参照して実施形態のサーバ装置及び報知システムを詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
図1は、実施形態に係る報知システム1の構成を概略的に示した説明図である。図1に示すように報知システム1は、サーバ装置10と、監視カメラ20と、スピーカー30と、電子掲示板40とを備える。ここで、サーバ装置10と、監視カメラ20と、スピーカー30と、電子掲示板40とは、LAN(Local Area Network)50で接続される。LAN50は、有線であってもよいし、無線であってもよい。また、LAN50は、各種公衆網であってもよい。
サーバ装置10は、監視カメラ20から送信された画像から所定の動作を行っている人物を検出し、スピーカー30や、電子掲示板40に報知するための情報を送信する。監視カメラ20は、路上の所定領域を撮像するカメラである。スピーカー30は、サーバ装置10の制御の下、音声により報知を行う。電子掲示板40は、サーバ装置10の制御の下、表示により報知を行う。なお、図1の報知システム1では、サーバ装置10と、監視カメラ20と、スピーカー30と、電子掲示板40とをそれぞれ1台ずつ記載したが複数台であってもよい。
次に、報知システム1の設置例について説明する。図2は、報知システム1を交差点Kに設置した場合の一例を示す説明図である。図2に示す交差点Kは、道路R1と、道路R2とが交差している。
道路R1は、路側帯R11と、車道R12と、車道R13と、路側帯R14とを備える。路側帯R11は、人や、自転車などの軽車両が通行する道路である。車道R12は、矢印B方向に向かって走行する自動車が通行する道路である。車道R13は、矢印D方向に向かって走行する自動車が通行する道路である。路側帯R14は、人や、自転車などの軽車両が通行する道路である。
道路R2は、路側帯R21と、車道R22と、車道R23と、路側帯R24とを備える。路側帯R21は、人や、自転車などの軽車両が通行する道路である。車道R22は、矢印A方向に向かって走行する自動車が通行する道路である。車道R23は、矢印C方向に向かって走行する自動車が通行する道路である。路側帯R24は、人や、自転車などの軽車両が通行する道路である。
また、交差点Kの四隅には、見通しを遮る建築物の塀等の遮蔽物60がある。そのため、例えば、道路R2を通行する歩行者や、自転車や自動車の運転手は、道路R1を通行する通行人が、いつ交差点から出てくるかが分からないため出会い頭に衝突するおそれがある。よって、歩きスマホなどの注意力を発散させた状態での歩行は、危険である。同様に、歩き煙草も煙草の火が当たる可能性もあり危険である。
そこで、本実施形態の報知システム1では、道路R2の路側帯R21、R24に監視カメラ20を設置する。監視カメラ20は、路側帯R21、R24の所定領域を撮像する。サーバ装置10は、監視カメラ20が撮像した画像から通行人を検出する。そして、検出された通行人の問題行動が検出された場合に、サーバ装置10は、スピーカー30や、電子掲示板40を介して報知する。
よって、交差点Kは、四隅に、監視カメラ20を備える。監視カメラ20は、定められた撮像方向に向けて設置することで、道路上の所定領域を撮像する。図2の例では、道路R1を隔てて上側に位置する監視カメラ20は、道路R2の路側帯R21、R24の上側を撮像する。また、道路R1を隔てて下側に位置する監視カメラ20は、道路R2の路側帯R21、R24の下側を撮像する。これにより、監視カメラ20は、交差点Kに進入する歩行者や自転車を撮像する。
また、交差点Kは、音声により報知を行うための一対のスピーカー30を備える。スピーカー30は、道路R2の矢印A方向及び矢印C方向に向けて設置される。これにより、スピーカー30は、道路R2の矢印A方向又は矢印C方向に向かう人に対し、音声により報知することができる。
さらに、交差点Kは、画像や文字の表示により報知を行う一対の電子掲示板40を備える。電子掲示板40の表示面は、道路R1の矢印D方向及び矢印B方向に向けて設置される。これにより、電子掲示板40は、道路R1の矢印D方向又は矢印B方向に向かう人や車両に対し、文字や画像により報知することができる。
なお、監視カメラ20、スピーカー30及び電子掲示板40は、交差点K上に設置された信号機や道路標識等を支持するためのアームに取り付ける形態としてもよい。また、スピーカー30は、道路R1の矢印D方向又は矢印B方向に向けて設置されてもよい。また、電子掲示板40の表示画面は、道路R2の矢印A方向又は矢印C方向に向けて設置されてもよい。
次に、実施形態の報知システム1が有する各部について説明する。
まず、サーバ装置10の要部構成を説明する。図3は、サーバ装置10の要部構成を示すブロック図である。サーバ装置10は、報知システム1を制御する情報処理装置である。図3に示すように、サーバ装置10は、CPU(Central Processing Unit)11と、メモリ12と、記憶部13と、ネットワークインターフェース14と、表示部15と、入力部16と、時計部17とを備える。
CPU11は、サーバ装置10の全体を制御する。メモリ12は、データを一時的に記憶する。記憶部13は、CPU11からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部13は、顔検知プログラムP1と、動作検知プログラムP2と、歩きスマホ動作情報13aと、歩き煙草動作情報13bとを記憶する。
顔検知プログラムP1は、監視カメラ20が撮像した画像から顔を検知するプログラムである。動作検知プログラムP2は、監視カメラ20が撮像した画像に含まれている人物による所定の動作を検知するプログラムである。歩きスマホ動作情報13aは、歩行しながらスマートフォンなどを見るために、顔に近づけられた手元を見ている人物の動作の特徴点が記憶された情報である。なお、人物が見ているものは、スマートフォンに限らず、携帯用ゲーム機や、携帯電話や、携帯用音楽プレイヤーや、タブレット端末などの携帯用端末などであってもよいし、地図や、書籍などの情報が印字された媒体であってもよい。歩き煙草動作情報13bは、歩行しながら喫煙している人物の動作の特徴点が記憶された情報である。
ネットワークインターフェース14は、LAN50に接続される。なお、LAN50は、各種公衆網であってもよい。表示部15は、各種情報を表示するディスプレイなどである。入力部16は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部16は、表示部15に積層されたタッチパネル入力された情報を制御する。時計部17は、時間を計時する。
次に、監視カメラ20について説明する。図4は、監視カメラ20の要部構成を示すブロック図である。監視カメラ20は、監視カメラ20が設置された道路上の所定領域を撮像する撮像装置である。図4に示すように、監視カメラ20は、CPU21と、メモリ22と、記憶部23と、ネットワークインターフェース24と、カラー画像センサ25と、距離画像センサ26と、時計部27とを備える。
CPU21は、監視カメラ20の全体を制御する。メモリ22は、データを一時的に記憶する。記憶部23は、CPU21からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース24は、LAN50に接続される。時計部27は、時間を計時する。
カラー画像センサ25は、監視カメラ20の撮像範囲内に存在する人物や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、カラー画像センサ25は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像センサ25は、その電気信号をデジタルデータに変換することにより、撮像範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、撮像時刻情報と、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた色情報と、この1フレームに含まれる各画素に輝度値が対応付けられた輝度情報と、が含まれる。
カラー画像センサ25は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで動画として撮像する。なお、カラー画像センサ25によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像センサ25は、受光素子として、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)を有する。
距離画像センサ26は、監視カメラ20の撮像範囲内に存在する人物や物体等の被写体を撮像し、距離画像情報を収集する。例えば、距離画像センサ26は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像センサ26は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像センサ26との距離を求め、撮像範囲に対応する1フレームの距離画像情報を生成する。この1フレーム分の距離画像情報には、例えば、撮像時刻情報と、画素ごとに被写体と距離画像センサ26との距離を示す情報とが含まれる。
距離画像センサ26は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで動画として撮像する。なお、距離画像センサ26によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像センサ26は、受光素子として、例えば、CMOSやCCDを有する。この受光素子は、カラー画像センサ25で用いられる受光素子と共用されても良い。また、距離画像センサ26によって算出される距離の単位は、例えば、メートル[m]である。
次に、スピーカー30について説明する。図5は、スピーカー30の要部構成を示すブロック図である。スピーカー30は、音声により報知する報知装置である。図5に示すように、スピーカー30は、CPU31と、メモリ32と、記憶部33と、ネットワークインターフェース34と、音響発生部35とを備える。
CPU31は、スピーカー30の全体を制御する。メモリ32は、データを一時的に記憶する。記憶部33は、CPU31からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース34は、LAN50に接続される。音響発生部35は、音響出力デバイスである。音響発生部35は、CPU31によって制御された電圧の印加を受けて音響を発する。
次に、電子掲示板40について説明する。図6は、電子掲示板40の要部構成を示すブロック図である。電子掲示板40は、画面により報知する報知装置である。図6に示すように、電子掲示板40は、CPU41と、メモリ42と、記憶部43と、ネットワークインターフェース44と、表示部45とを備える。
CPU41は、電子掲示板40の全体を制御する。メモリ42は、データを一時的に記憶する。記憶部43は、CPU41からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース44は、LAN50に接続される。表示部45は、発光ダイオードや、電球などを用いて情報を発信するための掲示板である。表示部45は、液晶などを使用したディスプレイであってもよい。
次に、実施形態にかかる報知システム1が有する特徴的な機能について説明する。図7は、報知システム1の機能構成を示すブロック図である。
監視カメラ20のCPU21は、メモリ22や記憶部23に記憶された制御プログラムに従って動作することで、撮像制御部211と、送信部212として機能する。
撮像制御部211は、監視カメラ20のカラー画像センサ25と距離画像センサ26とを制御して、監視カメラ20が設置された道路上の所定領域の画像を連続して撮像することで動画を撮像する。動画には、カラー画像センサ25が撮像したカラー画像情報と、距離画像センサ26が検出した距離画像情報と、撮像時刻情報とが含まれる。
送信部212は、撮像制御部211が撮像したカラー画像情報と、距離画像情報と、撮像時刻情報とが含まれる動画をサーバ装置10に順次送信する。この時、送信部212は、1フレームごとに動画を送信してもよいし、複数フレームごとに動画を送信してもよい。
サーバ装置10のCPU11は、メモリ12や記憶部13に記憶された制御プログラムに従って動作することで、受信部111と、顔認識部112と、顔特徴点検出部113と、顔動作情報生成部114と、姿勢特徴点検出部115と、姿勢動作情報生成部116と、移動検出部117と、判定部118と、報知制御部119と、送信部120として機能する。
受信部111は、監視カメラ20から送信されたカラー画像情報と、距離画像情報と、撮像時刻情報とが含まれる動画を順次受信する。
顔認識部112は、受信部111が受信した動画から、動画に含まれる人物の顔を検出する。すなわち、顔認識部112は、受信した動画から顔が認識できた場合に、人物を検出したと判定する。具体的には、顔認識部112は、受信した動画の輝度情報を利用して顔の領域を示す座標を求める。なお、顔領域を求める方法は、どのような方法を用いてもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良い。
ところで、監視カメラ20などで撮像された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能である。この追跡処理は、同一人物として対応付けられた顔領域が顔認識部112により検出されず、追跡終了の判定が行われるまで継続される。
顔特徴点検出部113は、追跡処理により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻、口などの顔の特徴点を検出する顔特徴点検出処理を行う。すなわち、顔特徴点検出部113は、顔認識部112が検出した顔領域から特徴点を検出する。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、顔特徴点検出部113における顔の特徴点の検出方法は、どのような方法を用いてもよい。
ここで、図8は、顔の特徴点が検出された状態を示す説明図である。特徴点として検出された箇所は、図8に示すようにアスタリスクで表現している。特徴点は、図8に示すように、片方の眉に2箇所と、片方の目に3箇所と、眉間に1箇所と、鼻に6箇所と、口に5箇所との合計22箇所が検出されている。
顔動作情報生成部114は、顔の動作を示す顔動作情報を生成する。さらに詳しくは、顔動作情報生成部114は、顔が上下方向又は左右方向に向けられた時の、顔の角度を含む顔の動作が示された顔動作情報を生成する。顔動作情報生成部114は、顔の特徴点の座標が変位することにより顔の角度を算出する。なお、顔の角度を算出方法は、どのような方法を用いてもよい。
姿勢特徴点検出部115は、顔認識部112が認識した人物の動作の特徴点を検出する。人体は、関節を動かすことで、様々な動作を取る。そこで、姿勢特徴点検出部115は、人体の関節を動作の特徴点として検出する。姿勢特徴点検出部115は、距離画像情報から顔認識部112が認識した人物の形状を抽出する。そして、姿勢特徴点検出部115は、距離画像情報にて示された人物の形状と、人体パターンとを比較することにより関節を検出する。
ここで、図9は、人体の特徴点が検出された状態を示す説明図である。人体の特徴点は、図9に示すように、黒丸にて表現している。すなわち、図9は、頭部、首、肩、胴体、上腕、前腕、手が動作の特徴点として検出されたことを示している。
図7に戻り、姿勢動作情報生成部116は、人物の動作を示した姿勢動作情報を生成する。この姿勢動作情報は、例えば、人物の動作を複数の姿勢の連続として捉えることにより生成される。さらに詳しくは、姿勢動作情報生成部116は、姿勢特徴点検出部115が検出した人物の関節の座標の変位を示す姿勢動作情報を生成する。
移動検出部117は、人物が歩行などにより移動していることを検出する。また、移動検出部117は、人物の移動速度を算出する。煙草や、スマートフォンは、歩行などの移動しながら使用が問題となるため、人物が移動していることを検出する。
例えば、監視カメラ20が交差点K(図2参照)に設置されている場合、人物が交差点Kに近づくと、顔認識部112が検出する顔領域が大きくなる。ここで、図12は、顔領域の変化を示す説明図である。図12は、左側の顔から右側の顔となることによって監視カメラ20に近づいていることを示している。図12に示すように右側の顔の顔面積は、左側の顔の顔面積より拡大している。移動検出部117は、単位時間当たりの顔面積の変化量から人物の速度を算出する。
なお、移動検出部117は、顔画像以外の情報から人物の速度を算出してもよい。例えば、距離画像センサ26は、被写体である人物までの距離が示された距離画像情報を収集する。そのため、移動検出部117は、距離画像情報から単位時間当たりの移動距離を算出することができるため、動画に含まれる人物の速度を算出することができる。
判定部118は、顔認識部112が認識した人物から問題行動を検出する。さらに詳しくは、判定部118は、顔認識部112が検出した人物が歩き煙草や、歩きスマホ等の問題行動を行っているか否かを判定する。
まず、歩きスマホの判定処理について説明する。判定部118は、顔動作情報生成部114が生成した顔動作情報が、記憶部13に記憶された歩きスマホ動作情報13aと一致した場合に歩きスマホをしていると判定する。歩きスマホ動作情報13aは、歩きスマホをしている場合の顔の特徴点の変位を示した情報を有する。
ここで、図10は、歩きスマホ時の顔の特徴点の変位を示した説明図である。図10(a)は、俯いたことにより顔特徴点検出部113により検出された顔の特徴点が下方に変位した状態を示す。図10(b)は、顔を上げたことにより顔特徴点検出部113により検出された顔の特徴点が上方に変位した状態を示す。スマートフォンを見ながら歩行している人物は、図10(a)の状態と、図10(b)との状態を繰り返すことになる。歩きスマホ動作情報13aには、上述の顔の特徴点の変位を示す情報を有する。そのため、判定部118は、歩きスマホ動作情報13aと、顔動作情報生成部114が生成した顔動作情報とを比較することで、歩きスマホを行っているか否かを判定することができる。
また、判定部118は、俯いていると判定する際に、条件を追加してもよい。さらに詳しくは、人物は、歩行している場合に、特に意味もなく俯くことがある。このような場合、人物は、すぐに顔を正面に向ける。一方、スマートフォンなどを見ている場合には、スマートフォンの画面に表示された情報を見るために、所定の期間俯いている。よって、判定部118は、所定の期間を超えて俯いている場合に、スマートフォンを見るために俯いていると判定するように条件を加えてもよい。
次に、歩き煙草の判定処理について説明する。判定部118は、姿勢動作情報生成部116が生成した姿勢動作情報が、記憶部13に記憶された歩き煙草動作情報13bと一致した場合に歩き煙草をしていると判定する。歩き煙草動作情報13bは、歩き煙草をしている場合の姿勢の特徴点の変位を示した情報を有する。
ここで、図11は、歩き煙草時の姿勢の特徴点の変位を示した説明図である。図11(a)は、肘を曲げて手を口元に移動させた状態を示す。図11(b)は、肘を伸ばして手を腰元に移動させた状態を示す。歩き煙草をしている人物は、図11(a)の状態と、図11(b)との状態を繰り返すことになる。歩き煙草動作情報13bには、上述の姿勢の特徴点の変位を示す情報を有する。そのため、判定部118は、歩き煙草動作情報13bと、姿勢動作情報生成部116が生成した姿勢動作情報とを比較することで、歩き煙草を行っているか否かを判定することができる。
報知制御部119は、スピーカー30や電子掲示板40を用いて報知を行う機能部である。具体的には、報知制御部119は、移動検出部117が算出した人物の移動速度から交差点に差し掛かるまでの時間を算出することで報知する時機を調整する。これにより、報知制御部119は、歩きスマホや、歩き煙草をしている人物が交差点に差し掛かった時に、報知することができる。
また、報知制御部119は、顔面積の大きさを用いて監視カメラ20から人物までの距離、すなわち、監視カメラ20が設置された交差点から人物までの距離を算出する。そして、報知制御部119は、算出された速度と、算出された距離とから交差点に差し掛かる時機を算出する。なお、監視カメラ20が設置された交差点から人物までの距離は、距離画像センサ26が収集した距離画像情報から算出してもよい。
送信部120は、報知制御部119の制御に従い、所定の報知情報をスピーカー30や、電子掲示板40に送信する。ここで、報知情報とは、スピーカー30を介して報知される音声情報や、電子掲示板40を介して報知される文字情報や画像情報などである。報知情報の内容は、例えば、「歩きスマホはやめましょう」または「歩き煙草はやめましょう」などの人物に対して注意するものなどである。または、報知情報の内容は、「歩きスマホをしている人が交差点に近づいています」または「歩き煙草をしている人が交差点に近づいています」などの周囲の人に注意喚起する内容などであってもよい。
図7に戻り、スピーカー30のCPU31は、メモリ32や記憶部33に記憶された制御プログラムに従って動作することで、受信部311と、音声制御部312として機能する。
受信部311は、サーバ装置10から報知情報を受信する。音声制御部312は、受信部311が受信した報知情報を、音響発生部35を介して音声により報知する。
電子掲示板40のCPU41は、メモリ42や記憶部43に記憶された制御プログラムに従って動作することで、受信部411と、表示制御部412として機能する。
受信部411は、サーバ装置10から報知情報を受信する。表示制御部412は、受信部411が受信した報知情報を、表示部45を介して画面により報知する。
次に、上述した実施形態にかかるサーバ装置10のCPU11及び監視カメラ20のCPU21が制御プログラムに従って実行する検出処理について説明する。ここで、検出処理は、歩きスマホや歩き煙草等の問題行動を行っている人物を検出する処理である。
図13は、実施形態にかかるサーバ装置10のCPU11及び監視カメラ20のCPU21が制御プログラムに従って実行する検出処理の流れを示すフローチャートである。
まず、監視カメラ20のCPU21(撮像制御部211)は、監視カメラ20の撮像範囲内に存在する被写体の動画を撮像する(ステップS1)。動画には、前述したようにカラー画像情報と、距離画像情報と、撮像時刻情報と、が含まれる。
次いで、監視カメラ20のCPU21(送信部212)は、サーバ装置10にカラー画像情報と距離画像情報と撮像時刻情報とが含まれる動画を順次送信する(ステップS2)。
次いで、サーバ装置10のCPU11(受信部111)は、監視カメラ20からカラー画像情報と距離画像情報と撮像時刻情報とが含まれる動画を順次受信する(ステップS3)。
次いで、サーバ装置10のCPU11(顔認識部112)は、受信した動画から顔認識できるか否かを判定する(ステップS4)。受信した動画から顔認識できない場合に(ステップS4;No)、サーバ装置10のCPU11(顔認識部112)は、受信した動画には、人間は含まれていないとしてステップS3に戻り、再度動画を受信する。
一方、受信した動画から顔認識できた場合に(ステップS4;Yes)、サーバ装置10のCPU11(顔認識部112)は、受信した動画には、認識された顔の人物を認識する(ステップS5)。これにより、サーバ装置10のCPU11(顔認識部112)は、複数のフレームにわたって連続して映っていても、同一人物として対応付ける。
次いで、サーバ装置10のCPU11(顔特徴点検出部113)は、顔を認識した人物の顔の特徴点を検出する(ステップS6)。次いで、サーバ装置10のCPU11(姿勢特徴点検出部115)は、顔が認識された人物の関節を動作の特徴点を検出する(ステップS7)。
次いで、サーバ装置10のCPU11(顔動作情報生成部114、姿勢動作情報生成部116)は、顔の動作を示す顔動作情報と、人物の動作を示した姿勢動作情報とを生成する(ステップS8)。
次いで、サーバ装置10のCPU11(移動検出部117)は、認識された人物が歩行など移動しているか否かを判定する(ステップS9)。人物が移動していないと判定された場合に(ステップS9;No)、サーバ装置10のCPU11(移動検出部117)は、ステップS3に戻る。歩行などの移動が伴わない所定の動作は、問題行動に該当せず、報知対象ではないためステップS3に戻る。
人物が移動していると判定された場合に(ステップS9;Yes)、サーバ装置10のCPU11(判定部118)は、生成された顔動作情報及び姿勢動作情報から所定の動作が検出されるか否かを判定する(ステップS10)。さらに詳しくは、サーバ装置10のCPU11(判定部118)は、生成された顔動作情報及び姿勢動作情報と、記憶部13に記憶された歩きスマホ動作情報13a及び歩き煙草動作情報13bと比較して所定の動作が検出されるか否かを判定する。
生成された顔動作情報及び姿勢動作情報から所定の動作が検出されない場合に(ステップS10;No)、サーバ装置10のCPU11(判定部118)は、ステップS3に戻る。
一方、生成された顔動作情報及び姿勢動作情報から所定の動作が検出された場合に(ステップS10;Yes)、サーバ装置10のCPU11(判定部118)は、検出された動作回数が所定の回数に達したか否かを判定する(ステップS11)。検出された動作回数が所定の回数に達していない場合に(ステップS11;No)、サーバ装置10のCPU11(判定部118)は、ステップS3に移行する。
一方、検出された動作回数が所定の回数に達した場合に(ステップS11;Yes)、サーバ装置10のCPU11(判定部118)は、報知の対象となる問題行動と判定(ステップS12)、ステップS3に戻る。
以上のように、サーバ装置10のCPU11は、検出処理の停止が入力されるまで繰り返す。
次に、上述した実施形態にかかるサーバ装置10のCPU11、スピーカー30のCPU31及び電子掲示板40のCPU41が制御プログラムに従って実行する報知処理について説明する。ここで、図14は、実施形態にかかるサーバ装置10のCPU11、スピーカー30のCPU31及び電子掲示板40のCPU41が制御プログラムに従って実行する報知処理の流れを示すフローチャートである。
まず、サーバ装置10のCPU11(報知制御部119)は、上述の問題行動と判定された場合に、報知時機を算出する(ステップS21)。
次いで、サーバ装置10のCPU11(移動検出部117)は、問題行動と判定された人物が移動しているか否かを判定する(ステップS22)。問題行動と判定された人物が移動を停止した場合には、歩き煙草や、歩きスマホなどの問題行動に該当しないこととなる。よって、報知する必要がないため、サーバ装置10のCPU11(報知制御部119)は、移動が検出されるか否かを判定する。
問題行動と判定された人物の移動が検出されない場合に(ステップS22;No)、サーバ装置10のCPU11(移動検出部117)は、報知する必要がないとしてステップS21に戻る。
一方、問題行動と判定された人物の移動が検出された場合に(ステップS22;Yes)、サーバ装置10のCPU11(報知制御部119)は、報知時機となったか否かを判定する(ステップS23)。報知時機となっていない場合に(ステップS23;No)、サーバ装置10のCPU11(報知制御部119)は、ステップS22に戻る。
一方、報知時機となった場合に(ステップS23;Yes)、サーバ装置10のCPU11(送信部120)は、報知情報をスピーカー30及び電子掲示板40に送信し(ステップS24)、ステップS21に戻る。
次いで、スピーカー30のCPU31(受信部311)及び電子掲示板40のCPU41(受信部411)は、それぞれ報知情報を受信する(ステップS25)。
次いで、スピーカー30のCPU31(音声制御部312)及び電子掲示板40のCPU41(表示制御部412)は、それぞれ報知する(ステップS26)。さらに詳しくは、スピーカー30のCPU31(音声制御部312)は、音響発生部35を介して音声により報知する。また、電子掲示板40のCPU41(表示制御部412)は、表示部45を介して画面により報知する。
以上のように、サーバ装置10のCPU11は、報知処理の停止が入力されるまで繰り返す。
以上のように、本実施形態の報知システム1によれば、監視カメラ20は、カラー画像センサ25と距離画像センサ26とによって撮像された動画をサーバ装置10に送信する。動画を受信したサーバ装置10は、動画に含まれるカラー画像情報と距離画像情報とから、動画に含まれる人物を検出する。そして、サーバ装置10は、検出された人物の顔動作情報及び姿勢動作情報を生成し、記憶部13に記憶された歩きスマホ動作情報13a及び歩き煙草動作情報13bと比較することで問題行動を検出する。サーバ装置10は、問題行動を検出した場合に、報知情報をスピーカー30及び電子掲示板40に送信する。よって、サーバ装置10は、所定の動作を報知することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、上記実施形態では、判定部118は、歩きスマホの判定を顔画像で判定すると説明している。しかしながら、判定部118は、姿勢動作情報生成部116が生成した姿勢動作情報を加味して歩きスマホを判定してもよい。具体的には、歩きスマホをしている場合、スマートフォンを見るためにスマートフォンを持った手を顔に近づける。よって、手を顔に近づける動作を歩きスマホの条件に加えてもよい。これにより、歩きスマホの判定精度を高めることができる。
なお、上記実施形態では、問題行動として歩き煙草や歩きスマホを例に挙げて説明したが、問題行動は、歩行以外の手段により移動している場合も含まれる。例えば、問題行動には、自転車や、自動二輪車を運転しながらの喫煙や、スマートフォンの操作も含まれる。
なお、上記実施形態では、判定部118は、所定の動作が繰り返された場合に、問題行動であると判定する。しかしながら、判定部118は、所定の動作が繰り返されなくとも問題行動であると判定してもよい。例えば、歩きスマホをしている人物は、手元のスマートフォンを見るために、しばらく俯いたまま歩行する場合がある。このような場合には、人物は、俯いた状態と、顔を上げた状態とを繰り返さない。よって、俯いた状態が所定時間を超えて継続された場合に、報知する形態であってもよい。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。