JP2017060148A - ウェアラブルカメラシステム及び人物報知方法 - Google Patents

ウェアラブルカメラシステム及び人物報知方法 Download PDF

Info

Publication number
JP2017060148A
JP2017060148A JP2016011788A JP2016011788A JP2017060148A JP 2017060148 A JP2017060148 A JP 2017060148A JP 2016011788 A JP2016011788 A JP 2016011788A JP 2016011788 A JP2016011788 A JP 2016011788A JP 2017060148 A JP2017060148 A JP 2017060148A
Authority
JP
Japan
Prior art keywords
face
wearable camera
information
person
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016011788A
Other languages
English (en)
Other versions
JP6011833B1 (ja
Inventor
和哉 鰐口
Kazuya Waniguchi
和哉 鰐口
稔 萩尾
Minoru Hagio
稔 萩尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/261,232 priority Critical patent/US20170076140A1/en
Application granted granted Critical
Publication of JP6011833B1 publication Critical patent/JP6011833B1/ja
Publication of JP2017060148A publication Critical patent/JP2017060148A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

【課題】周囲に怪しい人物がいることを警察官に速やかに知らせる。【解決手段】ウェアラブルカメラ10は、撮像部により撮像された撮像画像に含まれる人物の顔を検知し、この撮像画像から顔を含む矩形の画像(つまり、顔画像)を切り出し、顔画像を含む切出しデータをバックエンドサーバ50に送信する。バックエンドサーバ50は、ウェアラブルカメラ10から切出しデータを受信し、受信された切出しデータに含まれる顔画像と、不審人物データベースに登録された顔画像とを照合する。バックエンドサーバ50は、照合の結果、受信された顔画像と登録された顔画像とが一致する場合、登録された顔画像に対応する人物に関する情報をウェアラブルカメラ10に通知する。ウェアラブルカメラ10は、通知された人物に関する情報を警察官3に報知する。【選択図】図1

Description

本発明は、ウェアラブルカメラにより撮像された映像に現れる人物をウェアラブルカメラの装着者又は所持者に報知するウェアラブルカメラシステム及び人物報知方法に関する。
近年、警察官の業務を効率的に支援するために、例えばパトロール時に警察官にウェアラブルカメラを装着又は所持させる運用の検討が進められている。
ウェアラブルカメラを用いた先行技術として、例えば特許文献1に記載されたウェアラブル監視カメラシステムがある。特許文献1のウェアラブル監視カメラシステムは、身体に装着するCCDカメラ及びマイクからの画像(映像)信号及び音声信号、並びに内蔵のクロックからの日時情報信号を、体に装着されるポーチに収納可能なエンコードサーバーによりエンコードし、また、文字情報に変換した日時情報を撮像した画像にスーパーインポーズして記録可能な構成を有している。
特開2006−148842号公報
ここで、特許文献1のウェアラブルカメラを警察官に装着して使用する場合を想定する。警察官が特許文献1のウェアラブルカメラを体に装着して使用する場合、警察官は、不審者や盗難車などの監視対象を発見すると、録画スイッチを押下して、画像データ(画像信号)の録画を開始することが想定される。
ところが、特許文献1の構成では、ウェアラブルカメラを装着した警察官がパトロール中に或いは事件現場に駆け付けた際に、周囲に怪しい人物(例えば不審者、事件に関する被疑者等)がいるか否かをウェアラブルカメラが教示しないため、警察官が怪しい人物の存在の有無を即座に判断することは難しい。また、警察官は、被疑者等の顔を知っていても状況によっては近くにいる人物が上記怪しい人物か否かを正確に判別できない場合もあり、この場合怪しい人物がすぐ近くにいるのであればすぐさま身を守る必要があった。
本発明は、上記従来の事情に鑑みて案出され、周囲に怪しい人物がいることを警察官に速やかに知らせ、警察官の業務を効果的に支援するウェアラブルカメラシステム及び人物報知方法を提供することを目的としている。
本発明は、警察官の装着又は所持が可能なウェアラブルカメラと、サーバと、を備えるウェアラブルカメラシステムであって、前記ウェアラブルカメラは、被写体を撮像する撮像部と、撮像された前記被写体の撮像画像に含まれる人物の顔を検知する顔検知部と、前記顔検知部により検知された前記顔に関する情報を特定する顔情報特定部と、前記顔情報特定部により特定された前記顔に関する情報を前記サーバに送信する送信部と、を備え、前記サーバは、事件に関する人物の顔画像とこの人物に関する情報とが対応付けて登録された蓄積部と、前記送信部から送信された前記顔に関する情報を受信する受信部と、前記受信部により受信された前記顔に関する情報と前記蓄積部に登録された顔画像とを照合する照合部と、照合の結果、受信された前記顔に関する情報により特定される人物の顔が登録された前記顔画像とが一致する場合に、登録された前記顔画像に対応する前記人物に関する情報を前記ウェアラブルカメラに通知する通知部と、を備え、前記ウェアラブルカメラは、前記通知部から通知された前記人物に関する情報を前記警察官に報知する、ウェアラブルカメラシステムを提供する。
また、本発明は、警察官の装着又は所持が可能なウェアラブルカメラとサーバとを備えるウェアラブルカメラシステムにおける人物報知方法であって、前記ウェアラブルカメラは、被写体を撮像し、撮像された前記被写体の撮像画像に含まれる人物の顔を検知し、検知された前記顔に関する情報を特定し、特定された前記顔に関する情報を前記サーバに送信し、前記サーバは、事件に関する人物の顔画像とこの人物に関する情報とを対応付けて蓄積部に登録し、送信された前記顔に関する情報を受信し、受信された前記顔に関する情報と前記蓄積部に登録された顔画像とを照合し、照合の結果、受信された前記顔に関する情報により特定される人物の顔が登録された前記顔画像とが一致する場合に、登録された前記顔画像に対応する前記人物に関する情報を前記ウェアラブルカメラに通知し、前記ウェアラブルカメラは、通知された前記人物に関する情報を前記警察官に報知する、人物報知方法を提供する。
本発明によれば、周囲に怪しい人物がいることを警察官に速やかに知らせることができるので、警察官の業務を効果的に支援することができる。
本実施形態のウェアラブルカメラシステムの概要の一例を示す説明図 本実施形態のウェアラブルカメラを装着した警察官の上半身の一例を示す図 本実施形態のウェアラブルカメラの筐体の表側の面の一例を示す正面図 本実施形態のウェアラブルカメラの筐体の裏側の面の一例を示す背面図 本実施形態のウェアラブルカメラの内部構成の一例を示すブロック図 本実施形態の車載カメラシステムの内部構成の一例を示すブロック図 本実施形態のバックエンドサーバの内部構成の一例を示すブロック図 本実施形態のウェアラブルカメラシステムの動作概要の一例を示す図 本実施形態のウェアラブルカメラシステムの具体的な動作手順の一例を示すシーケンス図 (A)切出しデータの構成例を示す図、(B)通知後の録画データの構成例を示す図 重要度に対応するウェアラブルカメラ10の通知後の動作が登録されたテーブルの登録内容の一例を示す図 本実施形態のウェアラブルカメラシステムの具体的な動作手順の他の一例を示すシーケンス図 顔認識データの詳細の一例を示す説明図
以下、適宜図面を参照しながら、本発明に係るウェアラブルカメラシステム及び人物報知方法を具体的に開示した実施形態(以下、本実施形態という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
図1は、本実施形態のウェアラブルカメラシステム5の概要の一例を示す説明図である。ウェアラブルカメラシステム5は、パトカー(つまり、パトロールカーの略称であるパトカー)7に搭載された車載カメラシステム(ICV:In Car Videoシステム)30、警察官3の制服に装着されたウェアラブルカメラ10、及び警察署4内に設置された署内システム8を含む構成である。
車載カメラシステム30は、1つ又は複数の車載カメラ31、車載PC(Personal Computer)32及び車載レコーダ33を有し、パトカー7で走行中に遭遇する事件等の撮像画像に基づく映像を撮像して記録する。1つ又は複数の車載カメラ31は、例えばパトカーの前方を撮像するように設置されたカメラ、パトカーの左側、右側、後方を撮像するように設置されたそれぞれのカメラのうち、1つ又は複数を含む。車載PC32は、警察官3が操作する指示に従い、車載カメラ31及び車載レコーダ33の動作を制御する。車載レコーダ33は、複数の車載カメラ31でそれぞれ撮像された映像データを時系列に記録する。
車載カメラシステム30は、署内システム8内のバックエンドサーバ(BES:Back End Server)50と無線接続され、車載レコーダ33に記録された映像データの中から特定の映像データを選択し、切出しデータ(後述参照)をバックエンドサーバ50に送信可能である。また、車載カメラシステム30は、ウェアラブルカメラ10と通信可能に接続され、ウェアラブルカメラ10で撮像された映像データを車載レコーダ33に記録する。
ウェアラブルカメラ10は、警察官3の制服に装着され、警察官の前方を被写体として撮像し、撮像された映像データを車載カメラシステム30に送信する。以下、ウェアラブルカメラ10や車載カメラ31の撮像対象となる被写体には、単に人物だけではなく、事件の現場の情景、現場の近くに群がる群衆(いわゆる、野次馬)、更に、撮像位置の周囲の雰囲気も含まれるとする。また、警察官3は、ウェアラブルカメラ10と通信可能なスマートフォン40を所持する。スマートフォン40は、電話機能及び無線通信機能を有し、例えば警察署からの緊急連絡又は警察署への緊急連絡時に使用され、汎用的に使用されている携帯端末の一例として挙げられる。ウェアラブルカメラ10は、車載カメラシステム30を介して、直接に、或いはスマートフォン40を介してバックエンドサーバ50と接続されることで、映像データをバックエンドサーバ50に送信可能である。また、ウェアラブルカメラ10は、手動で後述する集合充電台68に取り付けられることで、映像データをバックエンドサーバ50に送信可能である。
署内システム8は、警察署4の内部に設置され、バックエンドサーバ50、ストリーミングプロキシサーバ(SPS:Streaming Proxyサーバ)65、クライアントPC70、無線LANアクセスポイント63、集合充電台68、及び指令システム90を含む構成である。
バックエンドサーバ50は、ウェアラブルカメラ10や車載カメラシステム30から送信された切出しデータに含まれる顔画像データ又は顔認識データ(後述参照)における、撮像画像中に現れた人物の顔を認識する顔認識機能を有し、事件の証拠映像を管理する。また、バックエンドサーバ50は、例えば指名手配中の人物や過去の犯罪者等が事件を識別する情報(例えば事件番号)に対応付けて予め登録された不審人物データベース58z(図7参照)を有する。バックエンドサーバ50は、車載カメラシステム30やウェアラブルカメラ10から送信された切出しデータに含まれる顔画像データ又は顔認識データにおける人物の顔を認識すると、この認識された顔を持つ人物と不審人物データベース58zに登録された人物とを照合する。なお、不審人物データベース58zを記憶するストレージ58は、バックエンドサーバ50がアクセス可能であれば、警察署4の内部に設置されてもよいし、警察署4の外部に設置されてよい。
ストリーミングプロキシサーバ65は、ウェアラブルカメラ10からストリーミング配信される映像データを受信し、バックエンドサーバ50に転送する。また、ストリーミングプロキシサーバ65は、車載カメラシステム30からストリーミング配信される映像データを受信し、バックエンドサーバ50に転送してもよい。
クライアントPC70は、バックエンドサーバ50の不審人物データベース58zにアクセスし、犯罪者等の事件に関する情報を検索してその検索結果をディスプレイデバイス(例えばクライアントPC70に予め備え付けのLCD(Liquid Crystal Display))上に表示可能なブラウザを有する。なお、クライアントPC70は、警察署4の内部に設置されるだけでなく、警察署4の外部に設置されたものでもよい。また、クライアントPC70は、シンクライアントPC或いはリッチクライアントPCのいずれであってもよい。
無線LANアクセスポイント63は、車載カメラシステム30及びウェアラブルカメラ10と無線接続し、車載カメラシステム30に記録された映像データ、及びウェアラブルカメラ10に記録された映像データをバックエンドサーバ50に転送する。
集合充電台68は、複数の警察官3がそれぞれ装着又は所持したウェアラブルカメラ10を装着可能であり、装着された個々のウェアラブルカメラ10の電源を充電するとともに、ウェアラブルカメラ10との間で有線通信を行い、ウェアラブルカメラ10に記憶された映像データをバックエンドサーバ50に送信する機能を有する。また、集合充電台68は、USB(Universal Serial Bus)ケーブルを介してバックエンドサーバ50に有線接続される。
指令システム90は、バックエンドサーバ50と接続され、事件が発生した場合に、例えばバックエンドサーバ50からの指示に従い、事件の現場への派遣対象となる警察官が乗車するパトカーに対し、現場急行や、現場確保、被疑者確保、現場に到着した警察官の応援等の各種の出動指令を無線で送信する。なお、指令システム90は、警察官が入力操作する指示に従い、事件の現場に派遣する警察官に指令を出してもよい。また、指令システム90は、バックエンドサーバ50と直接に接続されていなくてもよく、事件が発生した場合に、バックエンドサーバ50とは独立して、事件の現場への派遣対象となる警察官が乗車するパトカーに対し、上記各種の出動指令を無線で送信してもよい。
ウェアラブルカメラシステム5では、ウェアラブルカメラ10は、近距離無線通信やUSB等の信号ケーブルを用いて、車載カメラシステム30とデータ転送可能に接続される。ウェアラブルカメラ10で撮像された映像データは、車載カメラシステム30に転送され、車載カメラシステム30で再生或いは録画され、また、バックエンドサーバ50に送信される。
車載カメラシステム30は、車載カメラ31で撮像された映像及びウェアラブルカメラ10で撮像された映像を車載レコーダ33に記録し、これらの映像に含まれる人物の顔を検知する。車載カメラシステム30は、この顔を含む矩形の画像(つまり、顔画像)を切り出したり、又は検知された人物の顔に関する情報としての顔特徴点情報を切り出したりする。車載カメラシステム30は、切り出された顔画像(つまり、顔画像データ)又は顔特徴点情報(つまり、顔認識データ)を含む切出しデータを、無線LAN(Local Area Network)を経由してバックエンドサーバ50に送信する。例えば警察官3がパトカー7に乗車して1人でパトロールしている際、警察官3が目の前にいないがために気付かずに、パトカー7の近くに不審な人物(例えば事件の被疑者)がいることもある。このような場合、車載カメラシステム30が顔画像又は顔特徴点情報を含む切出しデータをバックエンドサーバ50に送信し、後述するようにバックエンドサーバ50からの通知をウェアラブルカメラ10が受信する。これにより、警察官3は、パトカー7の外で近くに不審な人物がいることを警察官自身が気づいていなくても、ウェアラブルカメラ10からの報知(例えばバイブレータ27の振動、LCD28における表示等)により、不審な人物の存在に迅速に気が付くことができ、適切な対処を行うことができる。
同様に、ウェアラブルカメラ10は、撮像された映像に含まれる人物の顔を検知し、この顔を含む矩形の画像(つまり、顔画像)を切り出したり、又は検知された人物の顔に関する情報としての顔特徴点情報を切り出したりする。ウェアラブルカメラ10は、切り出された顔画像(つまり、顔画像データ)又は顔特徴点情報(つまり、顔認識データ)を含む切出しデータを、無線LANを経由してバックエンドサーバ50に映像データとともに又は映像データとは別個に直接に送信可能である。なお、顔画像の切り出しは、矩形に限らず、円形、楕円形、他の多角形等の任意の形状で行われてもよい。また、顔特徴点情報の詳細については、図13を参照して後述する。
また、警察官3は、警察署4に戻り、集合充電台68にウェアラブルカメラ10を装着することで、集合充電台68は、ウェアラブルカメラ10を充電するとともに、USBケーブルを介してウェアラブルカメラ10に記録された切出しデータをバックエンドサーバ50に送信可能である。
バックエンドサーバ50は、車載カメラシステム30及びウェアラブルカメラ10から切出しデータを受信すると、顔認識機能を用いて切出しデータに含まれる顔画像から顔特徴点を認識して顔特徴点情報を取得したり、又は切出しデータに含まれる顔認識データにより顔特徴点情報を特定する。バックエンドサーバ50は、顔特徴点情報を用いて、予め登録された不審人物データベース58zに登録された人物と顔特徴点情報により特定される人物の顔との照合を行い、照合の結果を、車載カメラシステム30及びウェアラブルカメラ10に通知する。
また、警察官3がクライアントPC70を操作してバックエンドサーバ50に対し事件に関連する人物を探索する等の処理を要求すると、バックエンドサーバ50は、クライアントPC70からの要求に応じ、不審人物データベース58zに登録された人物の照会等を行う。
図2は、本実施形態のウェアラブルカメラ10を装着した警察官3の上半身の一例を示す図である。ウェアラブルカメラ10は、警察官3の前方を撮像可能なように、警察官3の制服の前部に置かれる。例えばウェアラブルカメラ10は、首から紐で吊り下げた状態で制服の前部に固定されてもよいし、ウェアラブルカメラ10の筐体10z(図3参照)の背面に取り付けられた取付具(例えば取付用クリップ)と制服の前部に取り付けられた被取付具とが係合することで制服の前部に固定されてもよい。
図3は、本実施形態のウェアラブルカメラ10の筐体10zの表側の面の一例を示す正面図である。筐体10zの表側の面には、録画スイッチSW1、スナップショットスイッチSW2及び撮像レンズ11zが配置される。録画スイッチSW1は、短押しされることで録画の開始を指示し、長押し(例えば3秒間の押し状態が継続された操作)されることで録画の停止を指示する。スナップショットスイッチSW2は、押下される度に、撮像部11により撮像される静止画の記録を指示する。撮像レンズ11zは、ウェアラブルカメラ10により撮像される被写体の光学像を撮像部11(図5参照)の撮像面に結像させる。
筐体10zの側面には、通信モードスイッチSW3及び属性情報付与スイッチSW4が配置される。筐体10zの上面には、3個のLED26a,26b,26cが配置される。LED26aは、ウェアラブルカメラ10の電源オン/オフの状態及びバッテリ25(図5参照)の状態を表示する。LED26bは、ウェアラブルカメラ10の撮像動作の状態を表示する。LED26cは、ウェアラブルカメラ10の通信モードの状態を表示する。
図4は、本実施形態のウェアラブルカメラ10の筐体10zの裏側の面の一例を示す背面図である。筐体10zの裏側の面には、LCD(液晶ディスプレイ)28が配置される。LCD28は、筐体10zの裏側の面の略中央部分から同図紙面の上方にシフトして、その上端から僅かな空白部分(つまり、隙間部分)が設けられた状態で配置される。これにより、例えば事件の現場に到着してパトロール中又は警察官3が具体的に怪しいと判断した人物と相対している時に警察官3が制服の前部に装着されたウェアラブルカメラ10を覗き込む場合、警察官3にとって、筐体10zの裏面に配置されたLCD28の画面が裏側の面の略中央部分に配置される場合に比べて見易くなり、怪しい人物であるか否かの瞬間的な確認がし易くなる。LCD28の画面には、怪しい人物の顔画像28z及び詳細情報28yが表示される。怪しい人物に関する情報がバックエンドサーバ50の不審人物データベース58zに登録されている場合、LCD28の画面に表示される、怪しい人物の顔画像28zは、バックエンドサーバ50に登録されている顔写真である。また、詳細情報28yは、氏名、指名手配及び犯罪歴の情報を含む。なお、怪しい人物に関する情報がバックエンドサーバ50の不審人物データベース58zに登録されている場合、LCD28の画面には、図4に示す怪しい人物の顔画像28zが表示されず、例えば怪しい人物である旨の情報が例えば文字、カラー点滅、カラー点灯のうちいずれか一つ又はそれらの組み合わせによって示されてもよい。これにより、警察官3は、自己の目の前にいる人物が怪しい人物であることを瞬間的に確認することができ、怪しい人物に対する警察官としての適切な対処の準備を行うことができる。
一方、怪しい人物に関する情報がバックエンドサーバ50の不審人物データベース58zに登録されていない場合、LCD28の画面に表示される人物の顔画像28zは、ウェアラブルカメラ10で撮像された撮像画像から切り出された顔画像である。つまり、切出しデータに含まれる顔画像である。この場合、詳細情報28yは非表示(つまり、空白)である。なお、ウェアラブルカメラ10からバックエンドサーバ50に向けて送信される切出しデータに顔画像データが含まれていない場合でも、ウェアラブルカメラ10で撮像された撮像画像から切り出された顔画像データがLCD28の画面に表示されてもよい。なお、怪しい人物に関する情報がバックエンドサーバ50の不審人物データベース58zに登録されていない場合、ウェアラブルカメラ10は、LCD28の画面に顔画像を表示しなくてもよい。この場合、警察官3は、LCD28の画面に顔画像が表示されていないことで、不審人物データベース58zに登録された人物ではないことを容易に確認できるので、お尋ね者や過去の犯罪者ではない人物に対して適した対応を採ることができる。また、LCD28は、筐体の裏側の面の上部に限らず、相手がLCD28の位置を察知しにくく、警察官が見やすい場所であれば、どこでもよく、例えば筐体の上端面に配置されてもよい。筐体の上端面にLCDが配置された場合、警察官は顔を僅かに下に向けるだけでLCD28の画面を見ることができ、警察官3の目の前にいる怪しい人物に不要な警戒をさせる頻度を低減できる。
図5は、本実施形態のウェアラブルカメラ10の内部構成の一例を示すブロック図である。ウェアラブルカメラ10は、撮像部11と、GPIO12(General Purpose Input/Output)と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14と、記憶部15と、を備える。ウェアラブルカメラ10は、EEPROM(Electrically Erasable Programmable ROM)16と、RTC(Real Time Clock)17と、GPS(Global Positioning System)受信部18と、を備える。ウェアラブルカメラ10は、MCU(Micro Controller Unit)19と、通信部21と、USB(Universal Serial Bus)インターフェース(I/F)22と、コンタクトターミナル23と、電源部24と、バッテリ25と、を備える。
ウェアラブルカメラ10は、録画スイッチSW1と、スナップショットスイッチSW2と、通信モードスイッチSW3及び属性情報付与スイッチSW4と、を備える。
ウェアラブルカメラ10は、3個のLED(Light Emitting Diode)26a,26b,26cと、バイブレータ27と、を備える。
撮像部11は、撮像レンズ11z(図3参照)と、CCD(Charge Coupled Device)型イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等による固体撮像素子と、を有する。撮像部11は、撮像により得られた被写体の画像データをMCU19に出力する。
GPIO12は、パラレルインターフェースである。GPIO12には、録画スイッチSW1、スナップショットスイッチSW2、通信モードスイッチSW3、属性情報付与スイッチSW4、LED26a〜26c、バイブレータ27、LCD28、音声出力端子の一例としてのイヤホン端子29C、スピーカ29B及びマイク29Aが接続される。GPIO12は、これらの電子部品とMCU19との間で信号を入出力する。例えばマイク29Aは、周囲の音声を収音し、収音された音声データを、GPIO12を介してMCU19に出力する。
RAM13は、例えばMCU19の動作において使用されるワークメモリである。ROM14は、例えばMCU19を制御するためのプログラム及びデータを予め記憶する。
記憶部15は、例えばメモリカード等の記憶媒体により構成され、自動又は手動の録画開始等の指示に従い、撮像部11で撮像される映像の記録を開始する。また、記憶部15は、解像度アップ情報等が設定された設定データファイル15zを有する。例えば記憶部15がメモリカードで構成される場合、ウェアラブルカメラ10の筐体10zに挿抜自在に装着される。
EEPROM16は、例えばウェアラブルカメラ10を識別する識別情報(例えばCamera IDとしてのシリアル番号)、及び各種設定情報を記憶する。RTC17は、現在の時刻情報をカウントしてMCU19に出力する。
位置情報取得部の一例としてのGPS受信部18は、現在のウェアラブルカメラ10(自装置)の位置情報及び時刻情報をGPS発信機(不図示)から受信し、MCU19に出力する。時刻情報は、ウェアラブルカメラ10のシステム時刻の補正のためにも使用される。システム時刻は、撮像された画像(静止画、動画を含む)の撮像時刻の記録等に利用される。
MCU19は、ウェアラブルカメラ10の制御部としての機能を有し、例えばウェアラブルカメラ10の各部の動作を全体的に統括するための制御処理、ウェアラブルカメラ10の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。MCU19は、ROM14に記憶されたプログラム及びデータに従って動作する。MCU19は、動作時、RAM13を使用し、RTC17より現在の時刻情報を得るとともに、GPS受信部18から現在の位置情報を得る。
顔切出部の一例としてのMCU19は、顔検知部の一例としての検知部19zを有し、この検知部19zを用いて、撮像部11によって撮像された画像に含まれる人物の顔を検知し、顔に関する情報として、この顔を含む矩形の画像(つまり、顔画像データ)を切り出す。
また、MCU19は、顔情報特定部の一例としての検知部19zにより、切り出された顔画像データを用いて、顔に関する情報として、顔画像データに現れる人物の顔の特徴点情報を特定して切り出す。言い換えると、MCU19は、顔画像を切り出し、さらに、顔画像データに含まれる人物の顔の特徴を示す情報(例えば目、鼻、口)を特定し、特定結果を顔特徴点情報として取得し、顔特徴点情報により構成される顔認識データを生成する。
送信部の一例としての通信部21は、例えばOSI(Open Systems Interconnection)参照モデルの第1層である物理層において、通信部21とMCU19との接続を規定する。通信部21は、この規定に従って、例えば無線LAN(W−LAN)による無線通信(例えばWi−fi(登録商標))を行う。なお、通信部21は、近距離無線通信(NFC:Near Field Communication)、Bluetooth(登録商標)等の無線通信を行ってもよい。
USBインターフェース22は、シリアルバスであり、例えば車載カメラシステム30、警察署内のクライアントPC70等との接続を可能とする。
コンタクトターミナル23は、クレードル(不図示)又は外付けアダプタ(不図示)等と電気的に接続するための端子であり、USBインターフェース22を介してMCU19に接続され、また、電源部24と接続される。コンタクトターミナル23は、コンタクトターミナル23を介して、バッテリ25を充電し、また、画像データ等を通信可能である。
コンタクトターミナル23には、例えば「充電端子V+」、「CON.DET端子」、「データ端子D−,D+」及び「グランド端子」(いずれも図示省略)が設けられる。CON.DET端子は、電圧及び電圧変化を検出するための端子である。データ端子D−,D+は、例えばUSBコネクタ端子を介して、外部PC等に対してウェアラブルカメラ10で撮像した画像等を転送するための端子である。
コンタクトターミナル23と、クレードル(不図示)又は外付けアダプタ(不図示)のコネクタとが接続されることにより、ウェアラブルカメラ10と外部機器との間でデータ通信が可能となる。
電源部24は、例えばコンタクトターミナル23を介してクレードル又は外付けアダプタより供給される電源電力をバッテリ25に給電して、バッテリ25を充電する。バッテリ25は、例えば充電可能な2次電池により構成され、ウェアラブルカメラ10の各部に電源電力を供給する。
録画スイッチSW1は、例えば警察官3の押下操作による録画(つまり、撮像された動画の記録)の開始/停止の操作指示を入力する押しボタンスイッチである。録画スイッチSW1は、例えば奇数回押下されることで録画(つまり、撮像された動画の記録)が開始され、偶数回押下されることで録画が終了する。
スナップショットスイッチSW2は、例えば警察官3の押下操作による静止画の撮像の操作指示を入力する押しボタンスイッチである。スナップショットスイッチSW2は、例えば押下される度に、押下時の静止画の撮像が実行される。
通信モードスイッチSW3は、例えばウェアラブルカメラ10と外部機器との間の通信モードを設定するための操作指示を入力するスライドスイッチである。通信モードは、例えばアクセスポイントモード、ステーションモード、OFFモードを含む。
アクセスポイントモードは、ウェアラブルカメラ10が無線LANのアクセスポイントとして動作し、例えば警察官3が所持するスマートフォン40と無線接続して、ウェアラブルカメラ10とスマートフォン40との間で通信を行うモードである。アクセスポイントモードにおいて、スマートフォン40は、ウェアラブルカメラ10と接続することにより、ウェアラブルカメラ10による現在のライブ画像の表示、録画された画像の再生、撮像された静止画の表示等を行うことができる。
ステーションモードは、無線LANを用いて外部機器と接続する場合に、外部機器をアクセスポイントとして通信するモードである。例えばスマートフォン40のテザリング機能を利用し、外部機器としてスマートフォン40を設定してもよい。ステーションモードにおいて、ウェアラブルカメラ10は、各種設定、ウェアラブルカメラ10が保持する録画された画像の転送(アップロード)等を、車載カメラシステム30や警察署4内のクライアントPC70やバックエンドサーバ50に対して行うことができる。
OFFモードは、無線LANの通信動作をオフし、無線LANを未使用とするモードである。
属性情報付与スイッチSW4は、映像データに属性情報を付与するために操作される押しボタンスイッチである。
LED26aは、例えばウェアラブルカメラ10の電源投入状態(オンオフ状態)及びバッテリ25の状態を示す表示部である。LED26bは、例えばウェアラブルカメラ10の撮像動作の状態(録画状態)を示す表示部である。LED26cは、例えばウェアラブルカメラ10の通信モードの状態を示す表示部である。また、3個のLED26a〜26cは、ウェアラブルカメラ10がバックエンドサーバ50から通知データを受信すると、MCU19からの指示に従い、点滅動作を行う。この時、MCU19は、通知データに含まれる人物に関する情報の重要度に応じて、MCU19は、LED26a〜26cの点滅パターンを可変させる。
MCU19は、録画スイッチSW1、スナップショットスイッチSW2、通信モードスイッチSW3及び属性情報付与スイッチSW4の各スイッチの入力検出を行い、操作があったスイッチ入力に対する処理を行う。
MCU19は、録画スイッチSW1の操作入力を検出した場合、撮像部11における撮像動作の開始又は停止を制御し、撮像部11から得られた画像を、動画像として記憶部15に保存する。
MCU19は、スナップショットスイッチSW2の操作入力を検出した場合、スナップショットスイッチSW2が操作されたときの撮像部11による画像を、静止画像として記憶部15に保存する。
MCU19は、通信モードスイッチSW3の状態を検出し、通信モードスイッチSW3の設定に応じた通信モードによって通信部21を動作させる。
MCU19は、属性情報付与スイッチSW4が押下された場合、撮像部11によって撮像された画像から切り出された顔画像を含む切出しデータに属性情報を付与する。
図6は、本実施形態の車載カメラシステム30の内部構成の一例を示すブロック図である。車載カメラシステム30は、車載カメラ31、車載レコーダ33、及び車載PC32を含む構成である。
車載レコーダ33は、CPU101、通信部102、フラッシュROM104、RAM105、マイコン106、GPS受信部107、GPIO108、ボタン109、LED110、及びストレージ111を含む構成である。
CPU101は、例えば車載レコーダ33の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。CPU101は、フラッシュROM104に記憶されたプログラム及びデータに従って動作する。
通信部102は、無線回線又は有線回線を介して外部装置と無線通信する。無線通信は、例えば無線LAN(Local Area Network)通信、近距離無線通信(NFC)、Bluetooth(登録商標)を含む。無線LAN通信は、例えばWifi(登録商標)のIEEE802.11n規格に従って通信する。CPU101と通信部102との間は、例えばPCI(Peripheral Component InterConnect)又はUSBインターフェースを介して接続される。有線通信は、例えば有線LAN通信を含む。
通信部102は、例えば車載カメラ31及び車載PC32との間で有線通信する。通信部102は、例えばウェアラブルカメラ10、警察署4のクライアントPC70やバックエンドサーバ50との間で無線通信する。図6では、車載レコーダ33は、通信部102を介して車載カメラ31及び車載PC32に有線接続され、ウェアラブルカメラ10に無線接続されることを例示しており、通信部102と警察署4のクライアントPC70やバックエンドサーバ50との間の無線接続の図示は省略されている。なお、ウェアラブルカメラ10により撮像された撮像画像から人物の顔の検知及び切り出し、さらに切り出し後の顔特徴点情報の特定及び顔認識データの生成の処理は車載レコーダ33のCPU101により実行されてもよく、この場合には、ウェアラブルカメラ10から送信された撮像画像のデータが車載レコーダ33において受信されていることが前提となる。この後、車載レコーダ33は、顔画像データ又は顔特徴点情報により構成される顔認識データを、切出しデータとして、バックエンドサーバ50に送信してもよい。つまり、切出しデータの送受信はウェアラブルカメラ10とバックエンドサーバ50との間の直接のルートに限定されず、車載レコーダ33を介して実行されてもよい。
フラッシュROM104は、例えばCPU101を制御するためのプログラム及びデータを記憶するメモリである。また、フラッシュROM104には、各種設定情報が保持される。
RAM105は、例えばCPU101の動作において使用されるワークメモリである。RAM105は、例えば複数設けられる。
マイコン106は、例えばマイクロコンピュータの一種であり、外部インターフェースに係る各部(例えばGPS受信部107、GPIO108、ボタン109、LED110)と接続され、外部インターフェースに関する制御を行う。マイコン106は、例えばUART(Universal Asynchronous Receiver Transmitter)を介して、CPU101に接続される。
GPS受信部107は、例えば現在の車載レコーダ33の位置情報及び時刻情報をGPS発信機(不図示)から受信して、CPU101に出力する。この時刻情報は、車載レコーダ33のシステム時刻の補正のために使用される。
GPIO108は、例えばパラレルインターフェースであり、GPIO108を介して接続される外部装置(不図示)とMCU19との間で、信号を入出力する。GPIO108には、例えば各種センサ(例えば速度センサ、加速度センサ、扉開閉センサ)が接続される。
ボタン109は、例えば車載カメラ31により撮像された画像の録画を開始又は停止するための録画ボタン、を含む。なお、ボタンの形態に限られず、スイッチ等でもよく、各種状態を切り替えられればよい。
LED110は、例えば車載レコーダ33の電源投入状態(オンオフ状態)、録画の実施状態、車載レコーダ33のLANへの接続状態、車載レコーダ33に接続されたLANの使用状態を、点灯、消灯、点滅等により表示する。
ストレージ111は、例えばSSDやHDD等の記憶装置であり、車載カメラ31により撮像され録画された画像を蓄積する。ストレージ111は、ウェアラブルカメラ10により撮像され録画された画像を蓄積してもよい。また、ストレージ111は、画像以外のデータ(例えば車載カメラ31により収音された音声データ)を蓄積してもよい。ストレージ111は、SATA(Serial ATA)を介して、CPU101に接続される。ストレージ111は、複数設けられてもよい。
車載PC32は、CPU201と、I/O(Input/Output)制御部202と、通信部203と、メモリ204と、入力部205と、表示部206と、スピーカ207と、HDD208と、を含む構成である。
車載PC32は、ウェアラブルカメラ10、車載レコーダ33とそれぞれ通信可能であり、署内システム8のバックエンドサーバ50やクライアントPC70とも通信可能である。
CPU201は、例えば車載PC32の各部の動作を全体的に統括するための制御処理、他の各部との間のデータのI/O制御部202を介した入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。CPU201は、メモリ204に記憶されたプログラム及びデータに従って動作する。
I/O制御部202は、CPU201と車載PC32の各部(例えば通信部203、入力部205、表示部206、スピーカ207、HDD208)との間でデータの入出力に関する制御を行い、CPU201からのデータ及びCPU201へのデータの中継を行う。なお、I/O制御部202は、CPU201と一体的に構成されてもよい。
通信部203は、例えば車載レコーダ33との間、警察官3が装着可能なウェアラブルカメラ10との間、又は署内システム8側との間で、有線又は無線による通信を行う。
メモリ204は、例えばRAM、ROM、不揮発性又は揮発性の半導体メモリを用いて構成され、CPU201の動作時のワークメモリとして機能し、CPU201を動作させるための所定のプログラム及びデータを保存している。
入力部205は、警察官3の入力操作を受け付け、I/O制御部202を介してCPU201に通知するためのUIであり、例えばマウス、キーボード等のポインティングデバイスである。入力部205は、例えば表示部206の画面に対応して配置され、警察官3の指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
表示部206は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、各種情報を表示する。また、表示部206は、例えば警察官3の入力操作に応じて、ウェアラブルカメラ10により撮像(録画)された画像が入力された場合には、CPU201の指示の下で、画像を画面に表示する。
スピーカ207は、例えば警察官3の入力操作に応じて、ウェアラブルカメラ10により撮像(録画)された音声を含むデータが入力された場合には、CPU201の指示の下で、このデータに含まれる音声を出力する。なお、表示部206及びスピーカ207は、車載PC32とは別々の構成としてもよい。
HDD208は、例えば各種データ、ソフトウェア(ソフトウェアプログラム)を記憶する。具体的には、HDD208は、例えば車載レコーダ33の制御や設定を行うためのソフトウェア、ウェアラブルカメラ10の制御や設定を行うためのソフトウェア、を保存する。また、HDD208は、例えばウェアラブルカメラ10から転送され、ウェアラブルカメラ10により撮像された画像を保存する。
図7は、本実施形態のバックエンドサーバ50の内部構成の一例を示すブロック図である。バックエンドサーバ50は、CPU51、I/O制御部52、通信部53、メモリ54、入力部55、表示部56、ストレージ制御部57、及びストレージ58を備える。
CPU51は、例えばバックエンドサーバ50の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。CPU51は、メモリ54に記憶されたプログラム及びデータに従って動作する。
CPU51は、認識部51zを有し、例えば画像認証及び画像照合(データベース照合、画像マッチングともいう)を行う。ウェアラブルカメラ10又は車載レコーダ33から送信された切出しデータに顔画像データが含まれていた場合、画像認証では、CPU51は、画像から認証対象となる特定の領域(例えば人物の顔を含む顔画像領域)を抽出して顔認識を行い、この領域の特徴(つまり、顔特徴点情報)を抽出する。さらに、画像照合では、照合部の一例としてのCPU51は、認識部51zにおいて、抽出された特徴(つまり、顔特徴点情報)により特定される人物の顔が予めストレージ58の不審人物データベース58zに登録された特徴(例えば不審人物等の顔画像)と一致するかを判定する。
また、CPU51は、ウェアラブルカメラ10又は車載レコーダ33から送信された切出しデータに顔認識データが含まれていた場合、照合部の一例としての認識部51zにより、顔認識データの顔特徴点情報により特定される人物の顔が予めストレージ58の不審人物データベース58zに登録された特徴(例えば不審人物等の顔画像)と一致するかを判定する。従って、ウェアラブルカメラ10又は車載レコーダ33から送信された切出しデータに顔認識データが含まれている場合の方が、顔画像データが含まれている場合に比べて、CPU51の処理負荷が軽減される。これにより、CPU51は、例えば後述するように応援者派遣を指令システム90に対してより迅速に要請することが可能となり、不審人物又は危険人物を目の当たりにしている現場の警察官に対して適切な対処の指示を早急に行うことができる。
I/O制御部52は、CPU51とバックエンドサーバ50の各部(例えば通信部53、入力部55、表示部56、ストレージ制御部57)との間でデータの入出力に関する制御を行い、CPU51からのデータ及びCPU51へのデータの中継を行う。なお、I/O制御部52は、CPU51と一体的に構成されてもよい。
通信部53は、例えば車載レコーダ33、車載PC32、若しくはスマートフォン40との間、警察官3が装着可能なウェアラブルカメラ10との間、又は、クライアントPC70との間で、有線又は無線による通信を行う。
メモリ54は、例えばRAM、ROM、不揮発性又は揮発性の半導体メモリを用いて構成され、CPU51の動作時のワークメモリとして機能し、CPU51を動作させるための所定のプログラム及びデータを保存している。
入力部55は、警察官3や警察署4内の担当者の入力操作を受け付け、I/O制御部52を介してCPU51に通知するためのUIであり、例えばマウス、キーボード等のポインティングデバイスである。入力部55は、例えば表示部56の画面に対応して配置され、警察官3又は担当者の指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
表示部56は、例えばLCD又は有機ELを用いて構成され、各種情報を表示する。表示部56は、例えば警察官3又は担当者の入力操作に応じて、ウェアラブルカメラ10により撮像(録画)された画像が入力された場合には、CPU51の指示の下で、この画像を画面に表示する。表示部56は、例えば警察官3又は担当者の入力操作に応じて、車載カメラ31により撮像(録画)された画像が入力された場合には、CPU51の指示の下で、この画像を画面に表示する。
ストレージ制御部57は、ストレージ58へのアクセス、読み出し、書き込み等の各種処理に関する制御を行う。
ストレージ58は、例えばSSD(Solid State Drive)やHDD等の記憶装置であり、ウェアラブルカメラ10や車載カメラ31により撮像され録画された画像を蓄積する。また、ストレージ58は、画像以外のデータ(例えばウェアラブルカメラ10や車載カメラ31により収音された音声データ)を蓄積してもよい。ストレージ58は、SATA(Serial ATA)を介して、CPU51に接続される。
また、ストレージ58は、ウェアラブルカメラシステム5によって撮像される監視対象を認証するための認証用データを保持するデータベースを保持する。ここでは、データベースとして、顔を認証する場合の不審人物データベース58zが含まれる。監視対象は、例えば過去の事件、事故、犯罪、違反等に関連した特定の人物である。蓄積部の一例としての不審人物データベース58zには、警察によって指名手配されている人物の顔画像及びこの人物に関する情報が登録されている。犯罪者DBは、犯罪者の顔画像、犯罪者の情報、及び過去に起こした事件に関する情報が登録されている。なお、ライセンスナンバーを認証する場合には、ナンバー認証用データベースが含まれる。
上記構成を有するウェアラブルカメラシステム5の動作を示す。
図8は、本実施形態のウェアラブルカメラシステム5の動作概要の一例を示す図である。ウェアラブルカメラ10は、車載カメラシステム30と近距離無線通信(NFC:Near Field Communication)等で接続される。ウェアラブルカメラ10により撮像された映像を構成する画像のフレームから切り出された切出しデータは、車載カメラシステム30を経由して、警察署4内のバックエンドサーバ50に送信される。切出しデータには、不審な又は怪しい人物の顔画像及びGPS位置情報が含まれる。また、切出しデータには、不審な又は怪しい人物の顔画像の顔画像データ(つまり、イメージ形式のデータ)ではなく、その人物の顔の特徴を示す顔特徴点情報(つまり、テキスト形式のデータ)により構成される顔認識データ及びGPS位置情報が含まれてもよい。車載カメラシステム30は、無線LANで無線LANアクセスポイント63に接続され、インターネット等のネットワークを経由してバックエンドサーバ50と接続される。車載カメラシステム30及びバックエンドサーバ50間の通信は、セキュアな通信路で行われる。
ここで、顔特徴点情報について、図13を参照して説明する。図13は、顔認識データの詳細の一例を示す説明図である。図13に示すように、人物の顔は、顔認識用アルゴリズムに依存するという側面を有するものの、主に目、鼻、口の形状及び顔輪郭線との最短距離に基づいて特定されることが多い。なお、説明の分かりやすさのため、図13に示す人物の左目と右目の大きさは同一としている。
具体的には、特徴点情報は、距離a,b,c,d,e,g,h,i,j,k,l,m,nの情報を有する。距離aは、右目と顔輪郭線との最短距離を示す。距離bは、右目と左目との距離を示す。距離cは、左目と顔輪郭線との最短距離を示す。距離dは、目の水平方向の長さを示す。距離eは、目の鉛直方向の長さを示す。距離gは、鼻右端部と顔輪郭線との最短距離を示す。距離hは、鼻左端部と顔輪郭線との最短距離を示す。距離iは、鼻の水平方向の長さを示す。距離jは、右唇端部と顔輪郭線との最短距離を示す。距離kは、左唇端部と顔輪郭線との最短距離を示す。距離lは、唇下端部と顔輪郭線又は顎との間の最短距離を示す。距離mは、唇の水平方向の長さを示す。距離nは、唇の鉛直方向の長さを示す。顔特徴点情報は、距離a,b,c,d,e,g,h,i,j,k,l,m,nの情報全てを有さなくてもよく、少なくとも目、鼻、口に関する情報が特定可能であれば距離a,b,c,d,e,g,h,i,j,k,l,m,nの情報の一部でもよい。
ウェアラブルカメラ10がバックエンドサーバ50と通信する場合、LTE(Long Term Evolution)等のモバイル通信を利用してバックエンドサーバ50にデータを直接送信してもよい。また、スマートフォン40のテザリング機能を利用する場合、ウェアラブルカメラ10は、無線LANアクセスポイントであるスマートフォン40と無線LANで接続され、スマートフォン40のモバイル通信を利用してバックエンドサーバ50にデータを送信してもよい。この場合、ウェアラブルカメラ10の通信モードは、ステーションモードに設定される。
バックエンドサーバ50は、ウェアラブルカメラ10から送信された切出しデータに含まれる顔画像データ又は顔認識データを元に、顔認識を行い、認識された顔と不審人物データベースに登録されている顔とを照合する。照合の結果、これらの顔が一致した場合、バックエンドサーバ50は、ウェアラブルカメラ10に該当する人物データを通知する。
ウェアラブルカメラ10は、人物データの通知を受けると、LCD28に不審人物データベース58zに登録されている顔画像及びその人物情報を表示して、警察官3に報知する。
図9は、本実施形態のウェアラブルカメラシステム5の具体的な動作手順の一例を示すシーケンス図である。ここで、図9の説明において、パトロール中の警察官3を警察官Aとし、派遣指令を受けて現場に駆け付けた警察官3を警察官Bとし、新たに派遣指令を受けた警察官3を警察官Cとして、それぞれの警察官を別人として区別する。
警察官Aがパトカーから下車して、周辺の地域をパトロール中、ウェアラブルカメラ10は周囲(例えば事件の現場)を撮像し続ける。ウェアラブルカメラ10内のMCU19は、撮像された画像に対して、人物の顔を検知するための顔検知処理を行い、人物の顔が検知された場合、画像中の顔を主体的に含む矩形の画像を顔画像として切り出し、切り出された顔画像データに属性情報を付加して切出しデータを生成する(T1)。
図10(A)は、切出しデータD1の構成例を示す図である。切出しデータD1は、検知データfd1及びメタデータmd1を含む。検知データfd1には、顔画像データ又は顔認識データが含まれる。なお、検知データfd1には、不審な人物の特定に繋がるような情報、例えばライセンスプレート(ナンバープレート)が含まれてもよい。メタデータmd1には、RTC17で計時された現在日時情報や、GPS受信部18で得られた位置情報(GPS情報)が含まれる。
MCU19は、通信部21を介して、顔画像データやGPS情報等を含む切出しデータをバックエンドサーバ50に送信する(T2)。
バックエンドサーバ50では、通信部53は、ウェアラブルカメラ10から送信される切出しデータを受信する。CPU51は、認識部51zにより切出しデータに含まれる顔画像データから顔を認識する(T3)。CPU51は、認識された顔を基に、ストレージ58に記憶された不審人物データベース58zを検索し、認識された顔が不審人物データベース58zに登録されている顔に該当するか否かを判別する(T4)。
認識された顔が不審人物データベース58zに登録されている顔に該当する場合、CPU51は、通知部の一例としての通信部53を介して、ウェアラブルカメラ10に顔が一致(ヒット)した旨を通知する(T5)。この通知には、人物の重要度、氏名、犯罪歴等のメタデータが含まれ、以下同様である。
ウェアラブルカメラ10は、通信部21を介して、バックエンドサーバ50からヒットした旨を含む通知を受信すると、MCU19は、通知後の処理として、LCD28の画面(図4参照)に、不審人物データベース58zに登録されている人物の顔画像28z及び詳細情報28yを表示する(T6)。
例えばLCD28の画面が赤色の背景で表示される場合、重要度の最も高い(最重要度の)人物であることを表す。黄色の背景で表示される場合、画面は重要度がやや高い人物であることを表す。緑色の背景で表示される場合、画面は、重要度の低い(安全な)人物であることを表す。また、LCD28の画面の右側には、人物の顔画像28zが表示される。LCD28の画面の左側には、氏名、指名手配中(WANTED)及び犯罪歴が表示される。
前述したように、LCD28は、ウェアラブルカメラ10の筐体10zの裏面の上部に配置されている。警察官3は、僅かに視線を下に向けるだけで、LCD28の画面を見ることができ、不審な人物の情報を大まかに知ることができる。これにより、警察官が不審な人物と対峙している場合でも、相手に隙を与えることなく、相手に関する情報を入手できる。従って、例えば相手が犯罪者であって急な攻撃をしかけられたとしても、警察官は咄嗟に対処可能である。
また、通知後の処理として、MCU19は、重要度に応じて、次のような動作を行う。図11は、重要度に対応するウェアラブルカメラ10の通知後の動作が登録されたテーブルTbの登録内容の一例を示す図である。テーブルTbには、重要度に対応する振動パターン及び点滅パターンが登録されている。振動パターンとして、振動周期、振動強度、これらの組み合わせ等を変更するパターンが挙げられる。また、点滅パターンとして、点滅周期、点滅強度、これらの組み合わせ等を変更するパターンが挙げられる。
ここでは、振動部の一例としてのバイブレータ27は、通知されたデータを基に、振動パターンとして、例えば重要度が低い場合、間欠的に振動する周期が長く、重要度が高い場合、周期が短くなるような振動パターンで振動する。また、光源部の一例としてのLED26a〜26cは、通知されたデータを基に、点滅パターンとして、例えば重要度が低い場合、点滅周期が長く、重要度が高い場合、点滅周期が短くなるような点滅パターンで、点滅動作を行う。
また、MCU19は、バックエンドサーバ50からの通知を受信すると、撮像部11によって撮像された映像の映像データを、ストリーミングプロキシサーバ65を介してバックエンドサーバ50に送信するストリーミング配信を開始する。バックエンドサーバ50は、ウェアラブルカメラ10で撮像される映像を表示部56の画面にリアルタイムに表示する。
手順T4において、認識された顔が不審人物データベース58zに登録されている顔に該当し、該当する人物の重要度が最重要度であり、更に、この人物が重犯罪人等である等、緊急性が高い場合、ウェアラブルカメラシステム5は、前述した手順T5、T6の動作を行う他、次のような動作を行う。
バックエンドサーバ50は、警察署4内の警察官3の指示に従い、応援者の派遣を決定する(T7)。バックエンドサーバ50は、ウェアラブルカメラ10から送られたメタデータに含まれる位置情報を基に、指令システム90に派遣を依頼する(T8)。指令システム90は、バックエンドサーバ50から派遣依頼を受けると、警察官Cに派遣を指示する。警察官Cは、この派遣指示を受けると、現場に急行する。
また、バックエンドサーバ50は、現場周辺の映像を取得するために、周囲にあるウェアラブルカメラ10の自動録画を決定し(T10)、現場に近くにいる警察官Bが所持するウェアラブルカメラ10に自動録画通知を行う(T11)。警察官Bの制服に装着されているウェアラブルカメラ10は、この通知を受けると、MCU19は、撮像部11で撮像される映像及びマイク29Aで収音される音声を記憶部15に記録する動作を開始する(T12)。図10(B)は、通知後の録画データD2の構成例を示す図である。報知後の録画データD2は、映像データfd2と、この映像データfd2に対応するメタデータmd2とを含む。メタデータmd2には、GPS位置情報、及び詳細情報28y(氏名、指名手配中、犯罪歴等)が含まれる。つまり、メタデータmd2は、メタデータmd1に詳細情報28yを付加したデータである。
また、録画は、通知データを受け取る所定時間(例えば10分)前から行われている。つまり、ウェアラブルカメラで撮像される映像は、所定時間分、RAM13のバッファメモリ(不図示)に繰り返し上書きされるように記録される。ウェアラブルカメラ10は、バックエンドサーバ50からの通知を受け取ると、上記バッファメモリに記憶されていた所定時間前からの映像データを、通知後の録画データの冒頭部分として使用する。これにより、ウェアラブルカメラ10は、不審な人物に係わる前後の映像を確実に記録することができ、証拠映像としての価値を高めることができる。なお、所定時間は、バッファメモリの容量に応じて、任意かつ予め設定される時間であるが、一度設定された後に変更されてもよい。
なお、バックエンドサーバ50は、警察官Aが所持するウェアラブルカメラ10にも自動録画通知を行い、自動録画の動作を開始させてもよく、警察官Aが録画スイッチSW1を押下し忘れた場合、或いは押下できなかった場合でも、現場に最も近くにあるウェアラブルカメラ10で撮像された映像をバックエンドサーバ50は記録することができる。
図12は、本実施形態のウェアラブルカメラシステムの具体的な動作手順の他の一例を示すシーケンス図である。ここで、図12の説明において、図9における各処理の説明と同一の内容については同一の手順番号を付与して説明を簡略化又は省略し、異なる内容について説明する。図12でも同様に、パトロール中の警察官3を警察官Aとし、派遣指令を受けて現場に駆け付けた警察官3を警察官Bとし、新たに派遣指令を受けた警察官3を警察官Cとして、それぞれの警察官を別人として区別する。
図12では、ウェアラブルカメラ10から送信される切出しデータには、図9に示す顔画像データとは異なり、ウェアラブルカメラ10により特定された顔特徴点情報により構成される顔認識データが含まれている。
図12において、ウェアラブルカメラ10内のMCU19は、撮像された画像に対して、人物の顔を検知するための顔検知処理を行い、人物の顔が検知された場合、その顔の特徴点情報を特定して切り出し、顔特徴点情報により構成される顔認識データを生成するとともに、顔認識データに属性情報を付加して切出しデータを生成する(T1)。
MCU19は、通信部21を介して、顔認識データやGPS情報等を含む切出しデータをバックエンドサーバ50に送信する(T2−1)。
バックエンドサーバ50では、通信部53は、ウェアラブルカメラ10から送信される切出しデータを受信する。CPU51は、認識部51zにより切出しデータに含まれる顔認識データから顔特徴点情報を取得して顔を認識する(T3−1)。CPU51は、認識された顔を基に、ストレージ58に記憶された不審人物データベース58zを検索し、認識された顔が不審人物データベース58zに登録されている顔に該当するか否かを判別する(T4)。図12における手順T4以降の処理は図9における手順T4以降の処理と同一であるため、説明を省略する。
以上により、本実施形態のウェアラブルカメラシステム5では、ウェアラブルカメラ10は、撮像部11により撮像された画像に含まれる顔を検知し、検知された人物の顔に関する情報として、画像から顔を含む矩形の画像(顔画像)を切り出したり、又は検知された人物の顔の顔特徴点情報を特定して顔特徴点情報により構成される顔認識データを切り出したりする。ウェアラブルカメラ10は、顔画像データ又は顔認識データを含む切出しデータをバックエンドサーバ50に送信する。バックエンドサーバ50は、ウェアラブルカメラ10から切出しデータを受信し、受信した切出しデータに含まれる顔画像データ又は顔認識データにより特定される人物の顔と、不審人物データベース58zに登録された顔画像とを照合する。バックエンドサーバ50は、照合の結果、受信した顔画像データ又は顔認識データにより特定される人物の顔と登録された顔画像とが一致する場合、登録された顔画像に対応する人物に関する情報をウェアラブルカメラ10に通知する。ウェアラブルカメラ10は、通知された人物に関する情報を警察官3に報知する。これにより、ウェアラブルカメラシステム5は、周囲に怪しい人物がいることを警察官に速やかに知らせることができるので、警察官3の業務を効果的に支援することができる。従って、警察官3は、怪しい人物に対し、身を守る等の適切に対応することができる。
また、ウェアラブルカメラ10は、GPS受信部18により位置情報を取得し、切り出した顔画像に位置情報を付加した切出しデータを、バックエンドサーバ50に送信する。これにより、バックエンドサーバ50側では、警察官3の居場所が分かり、ウェアラブルカメラ10による録画や他の警察官の応援に役立てることができる。
また、ウェアラブルカメラ10は、通知された人物に関する情報に応じて、バイブレータ27の振動パターンを変更する。これにより、警察官3は、感知した振動の振動パターンから、人物に関する情報をその人物に気付かれることなく大まかに知ることができる。従って、警察官3は、どのようにその人物と対峙したらよいかをすぐさま決めることができる。
また、ウェアラブルカメラ10は、通知された人物に関する情報に応じて、LED26a〜26cの点滅パターンを変更する。これにより、警察官3は、LEDの点滅パターンから人物に関する情報をその人物に気付かれることなく大まかに知ることができる。従って、警察官3は、どのようにその人物と対峙したらよいかをすぐさま決めることができる。
また、ウェアラブルカメラ10は、通知された人物に関する情報の重要度に応じて、表示部の一例としてのLCD28の画面の背景色(例えば表示態様)を変更する。これにより、警察官3は、文字で表現される人物に関する情報を読まなくても、重要度をすぐさま理解し、それに応じて対処できる。
また、ウェアラブルカメラ10は、通知された人物に関する情報を読み上げて音声としてイヤホン端子29Cから出力する。警察官3は、イヤホン端子29Cに接続された音声出力機器の一例としてのイヤホンを耳に装着しておくことで、警察官は、人物に関する情報をその人物に気付かれることなく、音声で知ることができる。従って、人物に関する情報を詳細に得ることができる。
また、ウェアラブルカメラ10は、人物に関する情報が通知されたことに応じて、撮像部11で撮像される映像をバックエンドサーバ50に送信するストリーミング配信を開始する。従って、バックエンドサーバ50は、ウェアラブルカメラ10で撮像される映像を表示することができ、映像に映っている人物に対し適切な措置をウェアラブルカメラ10に対して指示することができる。
また、ウェアラブルカメラ10は、人物に関する情報が通知されたことに応じて、撮像部11で撮像される映像の録画を開始する。これにより、ウェアラブルカメラ10は、事件が発生した場合に、例えば事件に関する被疑者に関する証拠映像を容易かつ確実に得ることができる。
また、ウェアラブルカメラ10は、顔に関する情報として、検知された人物の顔の顔特徴点情報を導出して取得する。これにより、ウェアラブルカメラ10は、例えばバックエンドサーバ50との間の通信の伝送路状態が良好ではない場合、イメージ形式のファイルである顔画像データを含む切出しデータをバックエンドサーバ50に送信する場合に比べて、テキスト形式のファイルである顔認識データを含む切出しデータをバックエンドサーバ50に対してスピーディに送信することができる。言い換えると、ウェアラブルカメラ10からバックエンドサーバ50への情報伝送量を減らせることが可能となる。さらに、ウェアラブルカメラ10から顔認識データが送信されると、バックエンドサーバ50においても、顔画像データから人物の顔認識の際に行うべき顔認識処理(例えば顔特徴点情報の抽出処理)を不要にできるので、バックエンドサーバ50における処理負荷の軽減も可能となる。
また、ウェアラブルカメラ10は、顔に関する情報として、撮像された被写体の撮像画像から、検知された人物の顔画像を切り出して取得する。これにより、ウェアラブルカメラ10は、バックエンドサーバ50との間の通信の伝送路状態が良好であれば、イメージ形式の顔画像データを含む切出しデータをバックエンドサーバ50に対して迅速に送信することができる。
以上、図面を参照しながら実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば上記実施形態では、不審な人物の顔画像を切り出し、不審人物データベースを用いてその人物に関する情報をウェアラブルカメラに通知していたが、顔画像に限らず、不審人物の特定に繋がるような画像、例えばライセンスプレートの画像を切り出し、同様の処理を行ってもよい。これにより、不審な人物や盗難車を発見する機会が増え、犯罪防止に繋がる。
また、現場でネットワーク接続環境が無い場合、警察官は、警察署に戻ってからウェアラブルカメラをネットワークに接続してもよく、この場合、バックエンドサーバは、ウェアラブルカメラで撮像された映像を事後認識する。
また、上記した本実施形態では、指令システムが派遣する警察官(応援者)を判断し、応援を依頼していたが、バックエンドサーバは、警察官の位置情報(GPSを用いた位置情報)を基に、応援者を特定し派遣を依頼してもよい。GPSによる位置情報が分からない場合、バックエンドサーバは、行き先情報から応援者を特定してもよい。
また、上記した本実施形態では、バックエンドサーバから不審な人物に関する情報が通知されると、ウェアラブルカメラは、ストリーミング配信を開始するとともに、録画を自動で開始していたが、更に、ウェアラブルカメラの設定データファイル15zに記憶された設定情報として解像度をアップさせるように変更してもよい。これにより、ウェアラブルカメラで撮像される映像をより鮮明にすることができる。
本発明は、ウェアラブルカメラで映像を撮像する際、周囲に怪しい人物がいることを警察官に速やかに知らせ、警察官の業務を効果的に支援するウェアラブルカメラシステム及び人物報知方法として有用である。
3 警察官
4 警察署
5 ウェアラブルカメラシステム
8 署内システム
10 ウェアラブルカメラ
10z 筐体
11 撮像部
11z 撮像レンズ
12 GPIO
13 RAM
14 ROM
15 記憶部
15z 設定データファイル
16 EEPROM
17 RTC
18 GPS受信部
19 MCU
19z 検知部
21 通信部
22 USBインターフェース
23 コンタクトターミナル
24 電源部
25 バッテリ
26a,26b,26c LED
27 バイブレータ
28 LCD
28y 詳細情報
28z 顔画像
29A マイク
29B スピーカ
29C イヤホン端子
30 車載カメラシステム
31 車載カメラ
32 車載PC
33 車載レコーダ
40 スマートフォン
50 バックエンドサーバ
51 CPU
51z 認識部
52 I/O制御部
53 通信部
54 メモリ
55 入力部
56 表示部
57 ストレージ制御部
58 ストレージ
58z 不審人物データベース
65 ストリーミングプロキシサーバ
68 集合充電台
70 クライアントPC
90 指令システム
101 CPU
102 通信部
104 フラッシュROM
105 RAM
106 マイコン
107 GPS受信部
108 GPIO
109 ボタン
110 LED
111 ストレージ
201 CPU
202 I/O制御部
203 通信部
204 メモリ
205 入力部
206 表示部
207 スピーカ
208 HDD
D1 切出しデータ
D2 通知後の録画データ
fd1 検知データ
fd2 映像データ
md1,md2 メタデータ
SW1 録画スイッチ
SW2 スナップショットスイッチ
SW3 通信モードスイッチ
SW4 属性情報付与スイッチ
Tb テーブル
本発明は、ユーザが所持するウェアラブルカメラと、パトカー等に設置され、前記ウェアラブルカメラと通信可能な車載カメラシステムと、前記ウェアラブルカメラ及び前記車載カメラシステムと通信可能なサーバと、を備えるウェアラブルカメラシステムであって、前記車載カメラシステムは、被写体を撮像、撮像された前記被写体の撮像画像に含まれる人物の顔を検知し、検知された前記顔に関する情報を前記サーバに送信、前記サーバは、送信された前記顔に関する情報を受信予め登録された事件に関する人物の顔に関する情報と、受信された前記顔に関する情報とを照合、照合の結果、受信された前記顔に関する情報が登録された前記事件に関する人物の顔に関する情報に一致する場合に、前記事件に関する人物情報を前記ウェアラブルカメラに通知、前記ウェアラブルカメラは、通知された前記人物情報を前記ユーザに報知する、ウェアラブルカメラシステムを提供する。
また、本発明は、ユーザが所持するウェアラブルカメラと、パトカー等に設置され、前記ウェアラブルカメラと通信可能な車載カメラシステムと、前記ウェアブルカメラ及び前記車載カメラシステムと通信可能なサーバとを備えるウェアラブルカメラシステムにおける人物報知方法であって、前記車載カメラシステムは、被写体を撮像し、撮像された前記被写体の撮像画像に含まれる人物の顔を検知し、検知された前記顔に関する情報を前記サーバに送信し、前記サーバは、送信された前記顔に関する情報を受信し、予め登録された事件に関する人物の顔に関する情報と、受信された前記顔に関する情報とを照合し、照合の結果、受信された前記顔に関する情報が登録された前記事件に関する人物の顔に関する情報に一致する場合に、前記事件に関する人物情報を前記ウェアラブルカメラに通知し、前記ウェアラブルカメラは、通知された前記人物情報を前記ユーザに報知する、人物報知方法を提供する。

Claims (11)

  1. 警察官の装着又は所持が可能なウェアラブルカメラと、サーバと、を備えるウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、
    被写体を撮像する撮像部と、
    撮像された前記被写体の撮像画像に含まれる人物の顔を検知する顔検知部と、
    前記顔検知部により検知された前記顔に関する情報を特定する顔情報特定部と、
    前記顔情報特定部により特定された前記顔に関する情報を前記サーバに送信する送信部と、を備え、
    前記サーバは、
    事件に関する人物の顔画像とこの人物に関する情報とが対応付けて登録された蓄積部と、
    前記送信部から送信された前記顔に関する情報を受信する受信部と、
    前記受信部により受信された前記顔に関する情報と前記蓄積部に登録された顔画像とを照合する照合部と、
    照合の結果、受信された前記顔に関する情報により特定される人物の顔が登録された前記顔画像とが一致する場合に、登録された前記顔画像に対応する前記人物に関する情報を前記ウェアラブルカメラに通知する通知部と、を備え、
    前記ウェアラブルカメラは、前記通知部から通知された前記人物に関する情報を前記警察官に報知する、
    ウェアラブルカメラシステム。
  2. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、自装置の位置情報を取得する位置情報取得部、を更に備え、
    前記送信部は、前記位置情報を付加して、前記顔情報特定部により特定された前記顔に関する情報を前記サーバに送信する、
    ウェアラブルカメラシステム。
  3. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、振動する振動部、を更に備え、報知された前記人物に関する情報に応じて、前記振動部の振動パターンを変更する、
    ウェアラブルカメラシステム。
  4. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、点滅する光源部、を更に備え、通知された前記人物に関する情報に応じて、前記光源部の点滅パターンを変更する、
    ウェアラブルカメラシステム。
  5. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、通知された前記人物に関する情報を表示する表示部、を更に備え、通知された前記人物に関する情報の重要度に応じて、前記人物に関する情報が表示される前記表示部の表示態様を変更する、
    ウェアラブルカメラシステム。
  6. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、音声を音声出力機器に出力する音声出力端子、を更に備え、通知された前記人物に関する情報に対応する音声を前記音声出力端子から出力する、
    ウェアラブルカメラシステム。
  7. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、前記サーバからの前記人物に関する情報の通知に応じて、前記撮像部により撮像された撮像画像に基づく映像の前記サーバへのストリーミング配信を開始する、
    ウェアラブルカメラシステム。
  8. 請求項1に記載のウェアラブルカメラシステムであって、
    前記ウェアラブルカメラは、前記サーバからの前記人物に関する情報の通知に応じて、前記撮像部により撮像された撮像画像の録画を開始する、
    ウェアラブルカメラシステム。
  9. 請求項1に記載のウェアラブルカメラシステムであって、
    前記顔情報特定部は、前記顔に関する情報として、前記顔検知部により検知された前記顔の特徴点情報を導出して取得する、
    ウェアラブルカメラシステム。
  10. 請求項1に記載のウェアラブルカメラシステムであって、
    前記顔情報特定部は、前記顔に関する情報として、前記撮像部により撮像された前記被写体の撮像画像から、前記顔検知部により検知された前記人物の顔画像を切り出して取得する、
    ウェアラブルカメラシステム。
  11. 警察官の装着又は所持が可能なウェアラブルカメラとサーバとを備えるウェアラブルカメラシステムにおける人物報知方法であって、
    前記ウェアラブルカメラは、
    被写体を撮像し、
    撮像された前記被写体の撮像画像に含まれる人物の顔を検知し、
    検知された前記顔に関する情報を特定し、
    特定された前記顔に関する情報を前記サーバに送信し、
    前記サーバは、
    事件に関する人物の顔画像とこの人物に関する情報とを対応付けて蓄積部に登録し、
    送信された前記顔に関する情報を受信し、
    受信された前記顔に関する情報と前記蓄積部に登録された顔画像とを照合し、
    照合の結果、受信された前記顔に関する情報により特定される人物の顔が登録された前記顔画像とが一致する場合に、登録された前記顔画像に対応する前記人物に関する情報を前記ウェアラブルカメラに通知し、
    前記ウェアラブルカメラは、通知された前記人物に関する情報を前記警察官に報知する、
    人物報知方法。
JP2016011788A 2015-09-14 2016-01-25 ウェアラブルカメラシステム及び人物報知方法 Expired - Fee Related JP6011833B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/261,232 US20170076140A1 (en) 2015-09-14 2016-09-09 Wearable camera system and method of notifying person

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015181128 2015-09-14
JP2015181128 2015-09-14

Publications (2)

Publication Number Publication Date
JP6011833B1 JP6011833B1 (ja) 2016-10-19
JP2017060148A true JP2017060148A (ja) 2017-03-23

Family

ID=57140238

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016011788A Expired - Fee Related JP6011833B1 (ja) 2015-09-14 2016-01-25 ウェアラブルカメラシステム及び人物報知方法
JP2016170164A Active JP6738692B2 (ja) 2015-09-14 2016-08-31 ウェアラブルカメラシステム及び人物報知方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016170164A Active JP6738692B2 (ja) 2015-09-14 2016-08-31 ウェアラブルカメラシステム及び人物報知方法

Country Status (2)

Country Link
US (1) US20170076140A1 (ja)
JP (2) JP6011833B1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3131076B1 (en) * 2014-04-09 2018-12-19 Technomirai Co., Ltd Digital loss/accident defense system, method, and program
KR101709521B1 (ko) * 2015-07-30 2017-03-09 주식회사 한글과컴퓨터 무인 스마트카를 이용한 공익서비스 시스템 및 방법
CN106412692A (zh) * 2016-10-18 2017-02-15 京东方科技集团股份有限公司 智能播放系统以及智能播放方法
JP6713905B2 (ja) * 2016-10-20 2020-06-24 株式会社日立国際電気 映像監視システム
AU2017415611B2 (en) 2017-05-26 2021-03-04 Motorola Solutions, Inc. Method to identify watchers of objects
US9953210B1 (en) * 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems
CN107420844B (zh) * 2017-06-06 2019-03-15 余姚市恒正金属制品有限公司 基于面部检测的灯泡型警灯
JP6943187B2 (ja) * 2017-07-11 2021-09-29 日本電信電話株式会社 センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム
WO2019078041A1 (ja) * 2017-10-17 2019-04-25 パナソニックIpマネジメント株式会社 情報処理装置
US11538257B2 (en) 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
CN108875516B (zh) * 2017-12-12 2021-04-27 北京旷视科技有限公司 人脸识别方法、装置、系统、存储介质和电子设备
JP6500139B1 (ja) * 2018-03-01 2019-04-10 和夫 金子 視覚支援装置
JPWO2019186977A1 (ja) * 2018-03-29 2021-03-18 サン電子株式会社 情報管理システム
JP7250440B2 (ja) * 2018-05-31 2023-04-03 キヤノン株式会社 撮影装置、情報処理装置、情報処理方法、およびプログラム
US11036997B2 (en) 2018-06-04 2021-06-15 Genetec Inc. Automated association of media with occurrence records
CN110175254B (zh) * 2018-09-30 2022-11-25 广东小天才科技有限公司 一种照片的分类存储方法及可穿戴设备
GB2577689B (en) 2018-10-01 2023-03-22 Digital Barriers Services Ltd Video surveillance and object recognition
EP3915124A2 (en) * 2018-12-13 2021-12-01 Orcam Technologies Ltd. Wearable apparatus and methods
US11144749B1 (en) * 2019-01-09 2021-10-12 Idemia Identity & Security USA LLC Classifying camera images to generate alerts
JP7272626B2 (ja) * 2019-01-09 2023-05-12 i-PRO株式会社 照合システム、照合方法およびカメラ装置
US20220012469A1 (en) * 2019-03-29 2022-01-13 Wojciech Kucharski Method for sharing information for identifying a person or object
JP6986531B2 (ja) * 2019-06-21 2021-12-22 ビッグローブ株式会社 捜査支援システム及び捜査支援方法
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
JP7327792B2 (ja) * 2019-08-30 2023-08-16 i-PRO株式会社 画像合成システムおよび画像合成方法
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
JP7409638B2 (ja) 2019-12-23 2024-01-09 i-PRO株式会社 捜査支援システムおよび捜査支援方法
JP7409635B2 (ja) 2019-11-18 2024-01-09 i-PRO株式会社 捜査支援システムおよび人物画像登録方法
US11443510B2 (en) * 2020-08-03 2022-09-13 Motorola Solutions, Inc. Method, system and computer program product that provides virtual assistance in facilitating visual comparison
US11747859B2 (en) * 2021-03-16 2023-09-05 Shailesh Nirgudkar Personal safety headband
JP7479069B2 (ja) 2022-09-12 2024-05-08 株式会社アイフォーカス ウェアラブルカメラ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184366A (ja) * 1998-12-18 2000-06-30 Sony Corp 監視装置及びその方法
JP2001326926A (ja) * 2000-05-16 2001-11-22 Mitsubishi Electric Corp データ配信方式及びデータ配信方法
JP2005167382A (ja) * 2003-11-28 2005-06-23 Nec Corp 遠隔カメラ監視システムおよび遠隔カメラ監視方法
JP2006186506A (ja) * 2004-12-27 2006-07-13 Tasutekku:Kk 監視システム
JP2007133595A (ja) * 2005-11-09 2007-05-31 Omron Corp 照会システム
JP2007219713A (ja) * 2006-02-15 2007-08-30 Sony Corp 照会システム、撮像装置、照会装置、情報処理方法、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650425B2 (en) * 1999-03-18 2010-01-19 Sipco, Llc System and method for controlling communication between a host computer and communication devices associated with remote devices in an automated monitoring system
US7642899B2 (en) * 2006-03-17 2010-01-05 Julio Alvarado Vehicle observation apparatus
JP5227911B2 (ja) * 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
US8417090B2 (en) * 2010-06-04 2013-04-09 Matthew Joseph FLEMING System and method for management of surveillance devices and surveillance footage
US8730872B2 (en) * 2011-02-01 2014-05-20 David R. Elmaleh System and method for identification of mobile device users in an area of a wireless access point
JP5349656B1 (ja) * 2012-06-29 2013-11-20 株式会社東芝 映像処理装置及びその制御方法
US9769538B2 (en) * 2012-12-17 2017-09-19 Cox Communications, Inc. Systems and methods for content delivery
US9159371B2 (en) * 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
US20150268338A1 (en) * 2014-03-22 2015-09-24 Ford Global Technologies, Llc Tracking from a vehicle
US9225527B1 (en) * 2014-08-29 2015-12-29 Coban Technologies, Inc. Hidden plug-in storage drive for data integrity
KR102320895B1 (ko) * 2015-04-01 2021-11-03 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184366A (ja) * 1998-12-18 2000-06-30 Sony Corp 監視装置及びその方法
JP2001326926A (ja) * 2000-05-16 2001-11-22 Mitsubishi Electric Corp データ配信方式及びデータ配信方法
JP2005167382A (ja) * 2003-11-28 2005-06-23 Nec Corp 遠隔カメラ監視システムおよび遠隔カメラ監視方法
JP2006186506A (ja) * 2004-12-27 2006-07-13 Tasutekku:Kk 監視システム
JP2007133595A (ja) * 2005-11-09 2007-05-31 Omron Corp 照会システム
JP2007219713A (ja) * 2006-02-15 2007-08-30 Sony Corp 照会システム、撮像装置、照会装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
US20170076140A1 (en) 2017-03-16
JP2017060158A (ja) 2017-03-23
JP6738692B2 (ja) 2020-08-12
JP6011833B1 (ja) 2016-10-19

Similar Documents

Publication Publication Date Title
JP6011833B1 (ja) ウェアラブルカメラシステム及び人物報知方法
US10939066B2 (en) Wearable camera system and recording control method
US10554935B2 (en) Wearable camera system, and video recording control method for wearable camera system
US11588966B2 (en) Wearable camera, in-vehicle communication device, charging device, and communication system
US9912919B2 (en) Wearable camera system and recording control method
US9602711B2 (en) Wearable camera system and recording control method
US20180063421A1 (en) Wearable camera, wearable camera system, and recording control method
JP6115874B2 (ja) ウェアラブルカメラシステム及び録画制御方法
JP5810332B1 (ja) ウェアラブルカメラ
JP6145780B2 (ja) ウェアラブルカメラシステム及び映像データ転送方法
JP2018037963A (ja) ウェアラブルカメラシステム及び録画制御方法
JP2021027408A (ja) ウェアラブルカメラシステムおよび映像記録方法
JP5861075B1 (ja) ウェアラブルカメラ
JP5856701B1 (ja) ウェアラブルカメラシステム及び録画制御方法
JP5856702B1 (ja) ウェアラブルカメラシステム及び属性情報付与方法
WO2021039978A1 (ja) 画像合成システムおよび画像合成方法
WO2016121314A1 (ja) ウェアラブルカメラシステム及び録画制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160906

R151 Written notification of patent or utility model registration

Ref document number: 6011833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees