JP2016152443A - ウェアラブルカメラシステムおよび映像データ同期再生方法 - Google Patents

ウェアラブルカメラシステムおよび映像データ同期再生方法 Download PDF

Info

Publication number
JP2016152443A
JP2016152443A JP2015027608A JP2015027608A JP2016152443A JP 2016152443 A JP2016152443 A JP 2016152443A JP 2015027608 A JP2015027608 A JP 2015027608A JP 2015027608 A JP2015027608 A JP 2015027608A JP 2016152443 A JP2016152443 A JP 2016152443A
Authority
JP
Japan
Prior art keywords
video data
wearable camera
vehicle
camera
wearable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015027608A
Other languages
English (en)
Other versions
JP6115873B2 (ja
Inventor
稔 萩尾
Minoru Hagio
稔 萩尾
康志 横光
Kouji Yokomitsu
康志 横光
和彦 山口
Kazuhiko Yamaguchi
和彦 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015027608A priority Critical patent/JP6115873B2/ja
Priority to PCT/JP2016/000333 priority patent/WO2016132678A1/ja
Publication of JP2016152443A publication Critical patent/JP2016152443A/ja
Application granted granted Critical
Publication of JP6115873B2 publication Critical patent/JP6115873B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】同一の事件を撮像した複数の映像データを再生する場合に、それぞれの映像データの再生時刻を同期して現場の状況を容易に把握させる。
【解決手段】サーバは、第1のウェアラブルカメラにより撮像された第1の映像データと外部装置により撮像された第2の映像データとを受信する通信部と、通信部により受信された第1の映像データおよび第2の映像データを対応付けて記憶する記憶部と、記憶部に記憶された第1の映像データおよび第2の映像データを再生する再生部と、を備える。第1の映像データは、第1のウェアラブルカメラにより撮像された第1の録画時刻情報を有し、第2の映像データは、外部装置により撮像された第2の録画時刻情報を有する。再生部は、第1の録画時刻情報および第2の録画時刻情報を用いて、第1の映像データおよび第2の映像データを同期して再生する。
【選択図】図13

Description

本発明は、例えば人の身体、衣服または帽子等に装着可能なウェアラブルカメラを含むウェアラブルカメラシステムと、ウェアラブルカメラにより撮像された映像データを再生する映像データ同期再生方法に関する。
近年、例えば警察官または警備員の業務を支援するために、警察官または警備員に装着されて使用されるウェアラブルカメラの導入が検討されている。
ここで、ウェアラブルカメラを用いた先行技術として、例えば特許文献1に記載されたウェアラブル監視カメラシステムがある。特許文献1に示すウェアラブル監視カメラシステムは、身体に装着するCCDカメラ手段およびマイク手段からの映像信号および音声信号、並びに内蔵のクロック手段からの日時情報信号を、身体に装着するポーチ手段に収納するエンコードバックエンドサーバー手段によりエンコードし、更に、文字情報に変換した日時情報を撮像した映像にスーパーインポーズして記録する。
特開2006−148842号公報
警察官がウェアラブルカメラを装着しパトカーで指定の現場に急行した場合、現場の状況の映像を記録するために、例えば警察官がウェアラブルカメラを操作して現場の状況を撮像して録画するだけでなく、パトカー内に搭載された車載カメラを操作しウェアラブルカメラと異なるアングルの映像を撮像することがある。ウェアラブルカメラ、車載カメラの撮像により得られたそれぞれの映像データは警察署内のバックエンドサーバに転送され、その後、警察署内の担当者がそれぞれの映像データを見比べできるように再生して現場の状況を観察する。
ここで、同一の事件を撮像した複数の映像データ(例えば、上記したウェアラブルカメラ、車載カメラが撮像したそれぞれの映像データの場合に限らず、複数のウェアラブルカメラが撮像したそれぞれの映像データの場合も含まれる。)がある場合に、バックエンドサーバにより再生された複数の映像の再生時刻が同期していないと、時系列的な前後関係の判別ができず、現場の状況の把握が困難になるという課題があった。
例えば、同一の事件でも対象人物(つまり、ウェアラブルカメラや車載カメラの被写体)が異なる場合、バックエンドサーバにより再生された複数の映像の再生時刻が同期していないと、これらの映像から現場における時系列的な前後関係の状況の把握が困難になる。同一の事件でも対象人物が同一であれば、それぞれの映像データが再生された場合に警察署内の担当者がその対象人物を追跡すれば時系列的な前後関係を確認できるが、確認作業に手間がかかる。このため、それぞれの映像データの再生時刻が同期していないと、現場の状況の把握が困難になるという課題は未解決である。
上記した特許文献1では、映像を撮像した日時情報は映像データにインポーズされるが、上記した警察署内のバックエンドサーバで複数のカメラにより撮像された映像データを再生するときの同期については言及がなされていない。
本発明は、上述した課題を解決するために、同一の事件を撮像した複数の映像データを再生する場合に、それぞれの映像データの再生時刻を同期して現場の状況を容易に把握させるウェアラブルカメラシステムおよび映像データ同期再生方法を提供することを目的とする。
本発明は、ユーザが装着可能な第1のウェアラブルカメラと、バックエンドサーバとを少なくとも含むウェアラブルカメラシステムであって、前記バックエンドサーバは、前記第1のウェアラブルカメラにより撮像された第1の映像データと外部装置により撮像された第2の映像データとを受信する通信部と、前記通信部により受信された前記第1の映像データおよび前記第2の映像データを対応付けて記憶する記憶部と、前記記憶部に記憶された前記第1の映像データおよび前記第2の映像データを再生する再生部と、を備え、前記第1の映像データは、前記第1のウェアラブルカメラにより撮像された第1の録画時刻情報を有し、前記第2の映像データは、前記外部装置により撮像された第2の録画時刻情報を有し、前記再生部は、前記第1の録画時刻情報および前記第2の録画時刻情報を用いて、前記第1の映像データおよび前記第2の映像データを同期して再生する、ウェアラブルカメラシステムである。
また、本発明は、ユーザが装着可能な第1のウェアラブルカメラとバックエンドサーバとを少なくとも含むウェアラブルカメラシステムにおける映像データ同期再生方法であって、前記第1のウェアラブルカメラにより映像を撮像し、外部装置により前記映像を撮像し、前記第1のウェアラブルカメラにより撮像された第1の映像データと前記外部装置により撮像された第2の映像データとを受信し、前記第1のウェアラブルカメラにより撮像された第1の録画時刻情報を有する前記第1の映像データ、および前記外部装置により撮像された第2の録画時刻情報を有する前記第2の映像データを対応付けて記憶部に記憶し、前記第1の録画時刻情報および前記第2の録画時刻情報を用いて、前記記憶部に記憶された前記第1の映像データおよび前記第2の映像データを同期して再生する、映像データ同期再生方法である。
本発明によれば、同一の事件を撮像した複数の映像データを再生する場合に、それぞれの映像データの再生時刻を同期して現場の状況を容易に把握させることができる。
本実施形態のウェアラブルカメラシステムの概要とウェアラブルカメラにより撮像された映像データの使用に関する説明図 本実施形態の車載カメラシステムおよび車載PCの内部構成の一例を示すブロック図 本実施形態のウェアラブルカメラの内部構成の一例を示すブロック図 本実施形態のバックエンドサーバの内部構成の一例を示すブロック図 本実施形態のウェアラブルカメラをユーザが装着した状態を示す図 本実施形態のウェアラブルカメラの外観の一例を示す正面図 車載カメラにより撮像された録画データのデータ構造の一例を示す図 ウェアラブルカメラにより撮像された録画データのデータ構造の一例を示す図 映像データ内のフレームパラメータ情報のデータ構造の一例を示す図 車載カメラにより撮像された録画データの映像データ内のフレームパラメータ情報のデータ構造の一例を示す図 ウェアラブルカメラにより撮像された録画データの映像データ内のフレームパラメータ情報のデータ構造の一例を示す図 本実施形態のウェアラブルカメラが車載カメラシステムとの間で時刻を同期する動作手順の一例を説明するフローチャート 本実施形態のバックエンドサーバがウェアラブルカメラ、車載カメラそれぞれにより撮像された録画データの映像データを再生する動作手順の一例を説明するフローチャート
以下、本発明に係るウェアラブルカメラシステムおよび映像データ同期再生方法を具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して詳細に説明する。
本実施形態では、ユーザ(例えば警察官(Officer)7。以下同様。)が装着可能なウェアラブルカメラ(BWC:Body Worn Camera)とバックエンドサーバとを少なくとも含むウェアラブルカメラシステムにおいて、ウェアラブルカメラにより映像が撮像され、外部装置(例えば車載カメラまたは別のウェアラブルカメラ)により映像が撮像される。ウェアラブルカメラにより撮像された映像データと外部装置により撮像された映像データとはバックエンドサーバにおいて受信される。バックエンドサーバは、ウェアラブルカメラにより撮像された第1の録画時刻情報を有する第1の映像データ、および外部装置により撮像された第2の録画時刻情報を有する第2の映像データを対応付けて記憶部に記憶する。さらに、バックエンドサーバは、第1の録画時刻情報および第2の録画時刻情報を用いて、記憶部に記憶された第1の映像データおよび第2の映像データを同期して再生する。
図1は、本実施形態のウェアラブルカメラシステム100の概要とウェアラブルカメラ10により撮像した映像データの使用に関する説明図である。本実施形態のウェアラブルカメラ10は、ユーザ(例えば警察官7)が身体、衣服、帽子等に装着可能な撮像装置である。ウェアラブルカメラ10は、車(例えば警察官が乗車するパトカー)に搭載された車載システム60、または警察官7が所属する警察署内のバックエンドサーバ(つまり、バックエンドサーバSV)等との間で通信(例えば無線通信)を行う通信機能を有する。
図1に示すウェアラブルカメラシステム100において、ウェアラブルカメラ10、車載システム60がフロントエンドシステム100Aを構成し、ネットワーク上の管理ソフトウェア70、バックエンドサーバSV、警察署内のPCである署内PC71がバックエンドシステム100Bを構成する。管理ソフトウェア70は、例えば署内PC71またはバックエンドサーバSVにより実行される。
以下、本実施形態では、例えばウェアラブルカメラシステム100が警察署5において使用される場合を想定して説明する。警察官7は、ウェアラブルカメラ10を操作して現場の状況または特定の被写体(例えば事件の被害者、容疑者、現場周囲にいる見学者)の撮像を行う。ウェアラブルカメラ10は、ユーザの操作に応じて、例えば警察署5内のバックエンドシステム100Bに、撮像により得られた映像データを転送する。なお、ウェアラブルカメラ10は、ユーザが警察官に限定されず、その他様々な事業所(例えば、警備会社)において使用されてもよい。本実施形態では、ユーザとして警察官を主に例示する。
フロントエンドシステム100Aは、現場の最前線に出動する警察官7が装着可能なウェアラブルカメラ10と、警察官が保持または警察官が乗用するパトカー内に配置された携帯端末(例えばスマートフォンであるが図示を省略)と、パトカー6内に設置された車載システム60とを含む構成である。車載システム60は、車載カメラ61、車載レコーダ62、車載PC63、通信ユニット等を有し、車載カメラシステム、映像管理システム等を構成する。
車載カメラ61は、パトカー6の所定位置に設置され、パトカー6の周囲(例えばパトカーの前方又はパトカー内のバックシート)を常時または所定のタイミング毎に映像を撮像する。つまり、車載カメラ61は、例えばパトカー6の前方を撮像するためのフロント用カメラ(不図示)、パトカー6内のバックシート(例えば容疑者を座らせているシート)を撮像するためのバックシート用カメラ(不図示)と、を含む構成である。車載カメラ61により撮像された映像データは、例えば録画動作の実行によって車載レコーダ62に蓄積される。なお、車載カメラ61は、複数台設けられてもよい。
また、車載カメラ61は、フロント用カメラやバックシート用カメラとして、パトカー6の車内外の音を収音するマイク(不図示)を有してもよい。この場合、パトカー6内の警察官7または容疑者の発する音声も収音(録音)可能である。
車載レコーダ62は、車載カメラ61により撮像された映像データを蓄積する。車載レコーダ62は、ウェアラブルカメラ10により撮像された映像データを取得し、蓄積可能である。また、車載レコーダ62は、映像データに対して付与される属性情報などのメタ情報を管理してもよい。
車載PC63は、パトカー6内に固定的に搭載されるPCでもよいし、パトカー6外で使用される携帯可能なPC、スマートフォン、携帯電話機、タブレット端末、PDA(Personal Digital Assistant)等の無線通信装置でもよい。
車載PC63は、図示しない管理ソフトウェアを実行することで、車載システム60とウェアラブルカメラ10との連携(具体的には、車載システム60とウェアラブルカメラ10との間の通信)を可能にする。また、車載PC63のUI(User Interface)(例えば、操作デバイス、表示デバイス、音声出力デバイス)は、車載レコーダ62を操作するためのUIとしても用いられる。
警察官7は、所定の用件(例えばパトロール)で警察署5から出動する際、例えばウェアラブルカメラ10を装着し、車載システム60を搭載したパトカー6に乗車して現場に向かう。フロントエンドシステム100Aにおいて、例えばパトカー6が到着した現場の映像を車載システム60の車載カメラ61により撮像し、警察官7がパトカー6から降車して現場のより身近で詳細な映像をウェアラブルカメラ10により撮像する。
ウェアラブルカメラ10が撮像した動画または静止画の映像データは、例えばウェアラブルカメラ10のメモリ等による記憶デバイスに保存される。ウェアラブルカメラ10は、ウェアラブルカメラ10の記憶デバイスから、ウェアラブルカメラ10により撮像された映像データを含む各種データを、バックエンドシステム100Bに転送(アップロード)する。なお、ウェアラブルカメラ10により撮像された映像データを含む各種データは、ウェアラブルカメラ10からバックエンドシステム100Bに直接に転送されてもよいし、車載システム60を介してバックエンドシステム100Bに転送されてもよい。
車載カメラ61が撮像した動画または静止画の映像データは、例えば車載システム60の車載レコーダ62が備えるハードディスク(HDD(Hard Disk Drive))、SSD(Solid State Drive)等によるストレージに保存される。車載システム60(例えば車載レコーダ62)は、車載システム60のストレージから、車載カメラ61により撮像された映像データを含む各種データを、バックエンドシステム100Bに転送(アップロード)する。
バックエンドシステム100Bへのデータ転送は、例えば現場から無線通信により接続して行うか、或いは、パトロールが終了して警察署5に戻った際に、無線通信、有線通信、または手動(例えば記憶媒体の持ち運び)により行う。
本実施形態では、ウェアラブルカメラ10により撮像した映像データを、車載システム60経由でバックエンドシステム100Bに転送(アップロード)する動作を主に説明する。この場合、ウェアラブルカメラ10により撮像した動画または静止画の映像データを、ウェアラブルカメラ10から車載システム60の車載レコーダ62に転送して保存する。そして、ウェアラブルカメラ10または車載カメラ61により撮像され、車載レコーダ62に保存された動画または静止画の映像データを、車載レコーダ62からバックエンドシステム100Bに転送(アップロード)する。
なお、ウェアラブルカメラ10により撮像した映像データを、車載PC63のストレージ等に保存し、車載PC63からバックエンドシステム100Bに転送(アップロード)することも可能である。
バックエンドシステム100Bは、警察署5内または他の場所に設置されたバックエンドサーバSVと、フロントエンドシステム100Aとの間で通信するための管理ソフトウェア70と、署内PC71とを含む構成である。
バックエンドサーバSVは、内部(図4参照)または外部にHDD、SSD等を用いて構成されるストレージ308を備える。バックエンドシステム100Bにおいて、バックエンドサーバSVは、フロントエンドシステム100Aから転送された映像データおよび他のデータを、ストレージ308に蓄積し、警察署内の各部署において使用されるデータベースを構築する。バックエンドサーバSVは、例えばウェアラブルカメラ10または車載システム60(例えば車載レコーダ62)から転送された映像データを受信し、ストレージ308に保存する。
バックエンドシステム100Bに蓄積された映像データは、例えば警察署5内の関係部署の担当者により事件の操作・検証等に利用され、必要に応じて、所定の記憶媒体(例えばDVD:Digital Versatile Disk)に映像データがコピーされて、所定のシーン(例えば裁判)において証拠品として提出される。本実施形態では、警察官7が装着したウェアラブルカメラ10を用いて、現場の証拠映像をより的確に取得および保存することが可能である。
警察官7が警察署5から現場へ出動し、ウェアラブルカメラ10を用いる際には、警察官7の識別情報(例えばオフィサID(Officer ID))、警察官が使用するウェアラブルカメラ10の識別情報(例えばカメラID(Camera ID)、警察官7が使用するパトカー6の識別情報(例えばカーID(Car ID)等を、署内PC71等を用いて設定登録する。これにより、バックエンドサーバSVに蓄積された映像データについて、いつ、どの警察官がどのカメラを用いて撮像した映像であるかを明確に区別できる。
警察官7やウェアラブルカメラ10の設定登録は、例えば警察署5内の担当者や出動する警察官7が署内PC71の操作デバイス(不図示)を操作し、署内PC71が管理ソフトウェア70を実行することで行われる。この設定登録では、上記Officer ID、Camera ID、Car ID以外の情報が署内PC71の操作デバイスを介して入力されてもよい。
つまり、管理ソフトウェア70は、例えば警察官7の人員を管理するためのアプリケーション、パトカー6等の配車を管理するためのアプリケーション、ウェアラブルカメラ10の持ち出しを管理するためのアプリケーションを含む。また、管理ソフトウェア70は、例えばバックエンドサーバSVに蓄積された複数の映像データから、属性情報に基づいて特定の映像データを検索し、抽出するためのアプリケーションを含む。
図2は、車載カメラシステム65および車載PC63の内部構成の一例を示すブロック図である。図2に示す車載システム60において、車載カメラ61、車載レコーダ62が車載カメラシステム(ICV:In Car Video System)65を構成する。
車載カメラ61は、所定のフレームレートで映像を撮像し、撮像により得られた映像データのフレーム毎に、フレームの情報を示すフレームパラメータ情報(図9参照)を生成する。車載カメラ61は、フレーム毎のフレームパラメータ情報を映像データに付加して映像データを生成する(図7参照)。フレームパラメータ情報については、図9を参照して後述する。
車載レコーダ62は、CPU(Central Processing Unit)101、通信部102、フラッシュROM(Read Only Memory)104、RAM(Random Access Memory)105、マイコン(μCON、マイクロコントローラとも称されることがある。)106、GPS(Global Positioning System)107、GPIO(General Purpose Input/Output)108、スイッチ109、LED(Light Emitting Diode)110、およびストレージ111を含む構成である。
CPU101は、例えば車載レコーダ62の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。
通信部102は、無線回線または有線回線を介して外部装置(例えばウェアラブルカメラ10,10A、車載PC63)との間で通信を行う。無線通信は、例えば無線LAN(W−LAN(Local Area Network))通信、近距離無線通信(NFC:Near Field Communication)、Bluetooth(登録商標)を含む。無線LAN通信は、例えばWi−fi(登録商標)のIEEE802.11n規格に従って通信する。有線通信は、例えば有線LAN通信、USB(Universal Serial Bus)通信を含む。CPU101と通信部102との間は、例えばPCI(Peripheral Component InterConnect)またはUSBを介して接続される。
通信部102は、例えば車載カメラ61、車載PC63、ウェアラブルカメラ10、警察署5の署内PC71やバックエンドサーバSVとの間で無線通信または有線通信を行う。通信部102は、ウェアラブルカメラ10,10Aとの間で無線接続し、ウェアラブルカメラ10,10Aから送信された映像データを含む各種データを受信する。
フラッシュROM104は、例えばCPU101を制御するためのプログラムおよびデータを記憶するメモリであり、各種設定情報を保持する。RAM105は、例えばCPU101の動作において使用されるワークメモリであり、1つまたは複数のいずれか設けられる。
マイコン106は、例えばマイクロコンピュータの一種であり、外部インタフェースに係る各部(例えばGPS107、GPIO108、スイッチ109、LED110)と接続され、外部インタフェースに関する制御を行う。マイコン106は、例えばUART(Universal Asynchronous Receiver Transmitter)を介して、CPU101に接続される。
GPS107は、例えば現在の車載レコーダ62の位置情報および時刻情報をGPS発信機(不図示)から受信して、CPU101に出力する。この時刻情報は、車載レコーダ62のシステム時刻の補正のために使用される。また、車載カメラ61は、車載レコーダ62に対して定期的にアクセスし、車載カメラ61のシステム時刻と車載レコーダ62のシステム時刻とが同期(一致)するように時刻を調整する。従って、車載レコーダ62におけるシステム時刻の補正により、図2に示す車載カメラシステム65におけるシステム時刻(言い換えると、車載カメラ61、車載レコーダ62のそれぞれのシステム時刻)は同期している(つまり、一致している)とする。
なお、車載カメラシステム65における車載カメラ61および車載レコーダ62のそれぞれのシステム時刻を一致させるために、上記したGPS107の出力を用いて車載レコーダ62のシステム時刻を補正して車載カメラ61が定期的に車載レコーダ62にアクセスする方法に限定されない。例えば車載レコーダ62にNTP(Network Time Protocol)サーバが設けられ、車載カメラ61が定期的にNTPサーバとしての車載レコーダ62にアクセスする方法が用いられてもよい。さらに、詳細は図12を参照して後述するが、本実施形態では、ウェアラブルカメラ10,10Aが定期的に車載レコーダ62にアクセスすることにより、車載レコーダ62(つまり、車載カメラシステム65)とウェアラブルカメラ10,10Aとはシステム時刻が同期する。
GPIO108は、例えばパラレルインタフェースであり、GPIO108を介して接続される外部装置(不図示)とCPU101との間で、信号を入出力する。GPIO108には、例えば各種センサ(例えば速度センサ、加速度センサ、扉開閉センサ)が接続される。
スイッチ109は、ユーザが車載レコーダ62の操作入力を行うための入力デバイスとして設けられるボタン等のスイッチである。スイッチ109は、例えば車載カメラ61により撮像された映像データの録画を開始または停止するための録画ボタン、車載カメラ61により撮像された映像データに対して属性情報やメタ情報を付与するための付与ボタンを含む。
LED110は、車載レコーダ62の動作状態を示す表示デバイスとして設けられる。LED110は、例えば車載レコーダ62の電源投入状態(オンオフ状態)、録画の実施状態、車載レコーダ62のLANへの接続状態、車載レコーダ62に接続されたLANの使用状態を、点灯、消灯、点滅等により表示する。
ストレージ111は、例えばSSDまたはHDD等により構成され、車載カメラ61により撮像され録画された映像データを記憶して蓄積する。また、ストレージ111は、ウェアラブルカメラ10,10Aから映像データが転送される場合、ウェアラブルカメラ10,10Aにより撮像され録画された映像データを記憶して蓄積する。また、ストレージ111は、映像データ以外のデータを蓄積してもよい。ストレージ111は、例えばSATA(Serial ATA)を介して、CPU101に接続される。ストレージ111は、複数設けられてもよい。
車載PC63は、CPU201、I/O(Input/Output)制御部202、通信部203、メモリ204、入力部205、表示部206およびスピーカ207を含む構成である。車載PC63は、車載レコーダ62と通信可能であり、バックエンドシステム100BのバックエンドサーバSV、署内PC71とも通信可能である。
CPU201は、例えば表示部206に表示された車載システム60へのログイン画面(不図示)に対する警察官7の入力操作により、警察官7の車載システム60へのログインの可否を認証する。警察官7の入力操作は、例えばオフィサIDとパスワード等を入力する操作である。ログインが許可される対象となる警察官7に関する各種情報は、例えばメモリ204にあらかじめ保存されており、CPU201は、メモリ204にあらかじめ保存されているログインの許可対象の情報を用いて、警察官7の車載システム60へのログインの可否を判定する。なお、ログインは、車載PC63を介した車載システム60へのログインでもよいし、車載PC63に搭載された車載システム60を操作するアプリケーションへのログインでもよい。
I/O制御部202は、CPU201と車載PC63の各部(例えば通信部203、入力部205、表示部206、スピーカ207)との間でデータの入出力に関する制御を行い、CPU201からのデータおよびCPU201へのデータの中継を行う。なお、I/O制御部202は、CPU201と一体的に構成されてもよい。
通信部203は、例えば車載レコーダ62との間、またはバックエンドシステム100B側との間で、有線または無線による通信を行う。通信部203は、警察官7が車載システム60にログイン中である場合、メモリ204に保存されるログイン情報をウェアラブルカメラ10に転送してコピーさせ、一方、警察官7が車載システム60にログインしていない場合、ログイン情報をウェアラブルカメラ10に転送しない。ログイン情報は、例えば、オフィサID、カメラID、カーIDを含む。
メモリ204は、例えばRAM、ROM、不揮発性または揮発性の半導体メモリを用いて構成され、CPU201の動作時のワークメモリとして機能し、CPU201を動作させるための所定のプログラムおよびデータを保存している。メモリ204は、例えば車載システム60へのログインが許可される警察官7に関するログイン情報を保存する。
入力部205は、警察官7の入力操作を受け付け、I/O制御部202を介してCPU201に通知するためのUIであり、例えばマウス、キーボード等のポインティングデバイスである。入力部205は、例えば表示部206の画面に対応して配置され、警察官7の指またはスタイラスペンによって操作が可能なタッチパネルまたはタッチパッドを用いて構成されてもよい。
表示部206は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)を用いて構成される表示デバイスであり、各種情報を表示する。また、表示部206は、例えば警察官7の入力操作に応じて、ウェアラブルカメラ10,10Aにより撮像(録画)された映像データが入力された場合には、CPU201の指示の下で、映像データに含まれる映像を画面に表示する。
スピーカ207は、例えば警察官7の入力操作に応じて、ウェアラブルカメラ10,10Aにより撮像(録画)された音声を含む映像データが入力された場合には、CPU201の指示の下で、映像データに含まれる音声を出力する。なお、表示部206およびスピーカ207は、車載PC63とは別々の構成としてもよい。
図3は、ウェアラブルカメラ10,10Aの内部構成の一例を示すブロック図である。図3に示すウェアラブルカメラ10は、撮像部11と、GPIO12と、RAM13と、ROM14と、記憶部15とを備える。ウェアラブルカメラ10は、EEPROM(Electrically Erasable Programmable ROM)16と、RTC(Real Time Clock)17と、GPS18とを備える。ウェアラブルカメラ10は、MCU(Micro Controller Unit)19と、通信部21と、USB22と、コンタクトターミナル23と、電源部24と、バッテリ25とを備える。
ウェアラブルカメラ10は、操作入力部の一例として、録画スイッチSW1と、スナップショットスイッチSW2と、属性情報付与スイッチSW3と、を備える。ウェアラブルカメラ10は、状態表示部の一例として、LED26a,26b,26cと、バイブレータ27と、を備える。
撮像部11は、例えば撮像レンズ11a(図6参照)と、CCD(Charge Coupled Device)型イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等による固体撮像素子と、固体撮像素子からの出力を人が判別可能な既定形式のフレームを有する映像データに変換するための信号処理部とを有する。撮像部11は、所定のフレームレートで映像を撮像し、撮像により得られた被写体の映像データをMCU19に出力する。
GPIO12は、例えばパラレルインタフェースであり、録画スイッチSW1、スナップショットスイッチSW2、属性情報付与スイッチSW3、LED26a〜26cおよびバイブレータ27と、MCU19との間で信号を入出力する。また、GPIO12には、例えば、各種センサ(例えば加速度センサ)が接続される。
RAM13は、例えばMCU19の動作において使用されるワークメモリである。ROM14は、例えばMCU19を制御するためのプログラムおよびデータをあらかじめ記憶するメモリである。記憶部15は、例えばSDメモリ等の記憶媒体により構成され、撮像部11にて撮像して得られた映像データを記憶する。記憶部15としてSDメモリを用いる場合、ウェアラブルカメラ10,10Aの筐体本体に対して取付けおよび取外しが可能である。
EEPROM16は、例えばウェアラブルカメラ10,10Aをそれぞれ識別する識別情報(例えばカメラIDとしてのシリアル番号)、および他の設定情報を記憶する。他の設定情報は、例えば、署内PC71での設定登録や車載レコーダ62へログインすることにより得られるログイン情報(例えばカーID、オフィサID)、を含む。RTC17は、現在の時刻情報をカウントしてMCU19に出力する。GPS18は、現在のウェアラブルカメラ10,10Aの位置情報および時刻情報をGPS発信機(不図示)から受信して、MCU19に出力する。この時刻情報は、ウェアラブルカメラ10,10Aのシステム時刻の補正のために使用される。
MCU19は、制御部としての機能を有し、例えば、ウェアラブルカメラ10,10Aの各部の動作を全体的に統括するための制御処理、ウェアラブルカメラ10,10Aの各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行い、ROM14に記憶されたプログラムおよびデータに従って動作する。MCU19は、動作時には、例えばRAM13を使用し、RTC17より現在の時刻情報を得て、GPS18より現在の位置情報を得る。
通信部21は、例えばOSI(Open Systems Interconnection)参照モデルの第1層である物理層において、通信部21とMCU19との間の接続を規定し、この規定に従って、例えば無線LAN(W−LAN)による無線通信(例えばWi−fi(登録商標))を行う。通信部21は、近距離無線通信(NFC)、Bluetooth(登録商標)等の無線通信を行ってもよい。USB22は、シリアルバスであり、例えばウェアラブルカメラ10と、車載システム60または警察署5内の署内PC71との接続を可能とする。
コンタクトターミナル23は、クレードル(不図示)または外付けアダプタ(不図示)等と電気的に接続するための端子であり、USB22を介してMCU19に接続され、電源部24と接続される。コンタクトターミナル23を介して、ウェアラブルカメラ10の充電、および映像データを含むデータの通信が可能となっている。コンタクトターミナル23には、例えば「充電端子V+」、「CON.DET端子」、「データ端子D−,D+」および「グランド端子」(いずれも図示省略)が設けられる。CON.DET端子は、電圧および電圧変化を検出するための端子である。データ端子D−,D+は、例えばUSBコネクタ端子を介して、外部PC等に対してウェアラブルカメラ10で撮像した映像データ等を転送するための端子である。コンタクトターミナル23とクレードル(不図示)または外付けアダプタ(不図示)のコネクタとが接続されることにより、ウェアラブルカメラ10と外部機器との間でデータ通信が可能となる。
電源部24は、例えばコンタクトターミナル23を介してクレードルまたは外付けアダプタより供給される電源電力をバッテリ25に給電して、バッテリ25を充電する。バッテリ25は、例えば充電可能な2次電池により構成され、ウェアラブルカメラ10の各部に電源電力を供給する。
録画スイッチSW1は、例えばユーザの押下操作による録画(動画の撮像)の開始/停止の操作指示を入力する押しボタンスイッチである。スナップショットスイッチSW2は、例えばユーザの押下操作による静止画の撮像の操作指示を入力する押しボタンスイッチである。属性情報付与スイッチSW3は、例えばユーザの押下操作による、映像データに属性情報を付与するための操作指示を入力する押しボタンスイッチである。録画スイッチSW1、スナップショットスイッチSW2、属性情報付与スイッチSW3は、例えば緊急時においても警察官7が容易に操作可能な位置に配置される(例えば図6参照)。なお、各スイッチSW1〜SW3は、上記の形態に限定されず、ユーザによる操作指示の入力が可能な他の形態の操作入力デバイスでもよい。
LED26aは、例えばウェアラブルカメラ10の電源投入状態(オンオフ状態)およびバッテリ25の状態を示す表示部である。LED26bは、例えばウェアラブルカメラ10の撮像動作の状態(録画状態)を示す表示部である。LED26cは、例えばウェアラブルカメラ10の通信モードの状態を示す表示部である。
MCU19は、録画スイッチSW1、スナップショットスイッチSW2、属性情報付与スイッチSW3の各スイッチの入力検出を行い、操作があったスイッチ入力に対する処理を行う。MCU19は、録画スイッチSW1の操作入力を検出した場合、撮像部11における撮像動作の開始または停止を制御し、撮像部11から得られた映像データを、動画像の映像データとして記憶部15に保存する。MCU19は、スナップショットスイッチSW2の操作入力を検出した場合、スナップショットスイッチSW2が操作されたときの撮像部11による映像データを、静止画の映像データとして記憶部15に保存する。
MCU19は、属性情報付与スイッチSW3の操作入力を検出した場合、あらかじめ設定された属性情報を映像データに付与し、映像データと対応付けて記憶部15に保存する。この際、MCU19は、例えば映像データに対応付ける属性を選択するための属性選択スイッチ(不図示)の状態を検出し、設定に応じた属性情報を付与する。また、MCU19は、あらかじめ設定された通信モードによって通信部21を動作させる。MCU19は、録画動作を開始した場合、あらかじめ設定された報知モードに従ってLED26a〜26c、バイブレータ27を駆動し、LED表示および/またはバイブレータ振動によって録画動作の状態を外部に示す報知を行う。
MCU19は、撮像部11から出力された映像データのフレーム毎に、例えばRTC17やGPS18のそれぞれの出力を用いて、映像データにおけるフレームの各種情報を示すフレームパラメータ情報(図9参照)を生成する。または、MCU19は、ウェアラブルカメラ10,10Aのシステム時刻を保持するシステム時刻計数部19Aを有し、RTC17の出力を用いてシステム時刻を補正してもよいし、車載カメラシステム65のシステム時刻と同期するために、RTC17の出力を用いずに定期的に車載カメラシステム65(例えばNTPサーバとしての車載レコーダ62)にアクセスすることでシステム時刻を補正してもよい。
MCU19は、システム時刻計数部19Aの出力(つまり、ウェアラブルカメラ10,10Aのシステム時刻)を用いて、上記フレームパラメータ情報を生成し、さらにフレームパラメータ情報を映像データストリームに付加して映像データを生成する(図8参照))。フレームパラメータ情報については、図9を参照して後述する。
図4は、本実施形態のバックエンドサーバSVの内部構成の一例を示すブロック図である。図4に示すバックエンドサーバSVは、CPU301、メモリ302、I/O制御部303、通信部304、入力部305、出力部306、ストレージ制御部307、およびストレージ308を含む構成である。
CPU301は、例えばバックエンドサーバSVの各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。
再生部の一例としてのCPU301は、ストレージ308に記憶された2つの録画データRCD1,RCD2(例えば、車載カメラシステム65により撮像され録画された録画データRCD1,ウェアラブルカメラ10により撮像され録画された録画データRCD2)の出力部306への再生をI/O制御部303に指示する。これにより、車載カメラシステム65により撮像され録画された録画データRCD1,ウェアラブルカメラ10により撮像され録画された録画データRCD2は、それぞれ出力部306において再生される。本実施形態では、CPU301は、2つの録画データRCD1,RCD2を再生する際、出力部306(例えばディスプレイ)のうち2つの画面(ウインドウ)を対比的に並べて、かつ録画された時刻が同期するように再生する。2つの録画データRCD1,RCD2の録画された時刻が同期するように再生する方法については、図13を参照して後述する。これにより、バックエンドシステム100Bを管轄する警察署内の担当者は、現場の状況を広範かつ鮮明に把握可能になる。
メモリ302は、例えばRAM、ROM、不揮発性または揮発性の半導体メモリを用いて構成され、CPU301の動作時のワークメモリとして機能し、CPU301を動作させるための所定のプログラムおよびデータを保存している。メモリ302は、例えばCPU301がストレージ308から読み出した2つの録画データRCD1,RCD2(図7,図8参照)の再生(出力)をI/O制御部303に指示する際に、録画データRCD1,RCD2を一時的に記憶する。
I/O制御部303は、CPU301とバックエンドサーバSVの各部(例えば通信部304、入力部305、出力部306)との間でデータの入出力に関する制御を行い、CPU301からのデータおよびCPU301へのデータの中継を行う。なお、I/O制御部303は、CPU301と一体的に構成されてもよい。
通信部304は、管理ソフトウェア70を介して、フロントエンドシステム100Aの車載カメラシステム65またはウェアラブルカメラ10,10Aとの間で、有線または無線による通信を行う。受信部の一例としての通信部304は、車載カメラシステム65から送信された録画データRCD1,RCD2を受信する。また、通信部304は、ウェアラブルカメラ10,10Aから直接送信された録画データRCD2を受信してもよい。
入力部305は、バックエンドシステム100Bを管轄する警察署5内の担当者の入力操作を受け付け、I/O制御部303を介してCPU301に通知するためのUIであり、例えばマウス、キーボード等のポインティングデバイスである。入力部305は、例えば出力部306において出力される画面に対応して配置され、上記担当者の指またはスタイラスペンによって操作が可能なタッチパネルまたはタッチパッドを用いて構成されてもよい。
出力部306は、例えばLCDまたは有機ELを用いて構成される表示デバイスと音声を出力するスピーカの両方またはその一方を含む構成であり、各種データを画面に表示したり音声を出力したりする。出力部306は、例えばバックエンドシステム100Bを管轄する警察署5内の担当者の入力操作に応じて、ウェアラブルカメラ10により撮像(録画)された録画データRCD1および車載カメラシステム65により撮像(録画)された録画データRCD2が入力された場合には、CPU301の指示の下で、それぞれの録画データ内の映像データに含まれる映像を異なる画面に表示する。
ストレージ制御部307は、CPU301またはI/O制御部303の指示に応じて、ストレージ308に記憶された各種データの読み出し、またはストレージ308への各種データの書き込みを行う。
ストレージ308は、例えばSSDまたはHDD等により構成され、車載カメラシステム65(の車載カメラ61)により撮像され録画された録画データRCD1、およびウェアラブルカメラ10により撮像され録画された録画データRCD2を記憶して蓄積する。また、ストレージ308は、ウェアラブルカメラ10,10Aから録画データが直接転送された場合には、ウェアラブルカメラ10,10Aにより撮像され録画された録画データを記憶して蓄積する。また、ストレージ308は、録画データ以外の各種データを蓄積してもよい。なお、ストレージ308は、複数設けられてもよい。
図5は、ウェアラブルカメラ10を警察官7が装着した状態を示す模式図である。図6は、ウェアラブルカメラ10の外観の一例を示す正面図である。図5に示すように、ウェアラブルカメラ10は、例えば警察官7の胸部など、警察官7の視点に近い位置からの視野の映像を撮像するように、警察官7が着用した衣服または身体に装着して使用され、またはクリップなどの留め具を介して帽子に取り付けられてもよい。警察官7は、ウェアラブルカメラ10を装着した状態で、録画スイッチSW1を操作して周囲の被写体の撮像を行う。
図6に示すように、ウェアラブルカメラ10は、例えば略直方体状の筐体10Kの正面に、撮像部11の撮像レンズ11a、録画スイッチSW1、スナップショットスイッチSW2が設けられる。録画スイッチSW1は、例えば奇数回押下されることで録画(動画の撮像)が開始され、偶数回押下されることで録画が終了する。スナップショットスイッチSW2は、例えば押下される度に、押下時の静止画の撮像が実行される。
ウェアラブルカメラ10の筐体10Kの正面から見て左側面には、属性情報付与スイッチSW3が設けられる。警察官7が属性情報付与スイッチSW3を押下操作することにより、現在録画中の映像データまたは直前に録画した映像データに対して、設定状態に応じた属性情報(例えば窃盗、飲酒運転、駐車違反など)が付与される。属性情報は、映像データの種別を識別するための分類情報である。属性情報は、あらかじめ設定した属性情報の設定内容に基づき、ユーザによるウェアラブルカメラ10の属性情報付与スイッチSW3の操作、または車載レコーダ62のスイッチ109の操作、或いは車載PC63の操作に従って付与する。属性情報としては、例えば窃盗、飲酒運転、駐車違反など、現場で発生した事件に関する属性が用いられる。
LED26a〜26cは、図6に示すように、ウェアラブルカメラ10の筐体10Kの正面から見て上面に配置されている。これにより、警察官7がウェアラブルカメラ10を装着した状態でLED26a〜26cを容易に視認できる。なお、警察官7本人以外からはLED26a〜26cが見えないようにしてもよい。また、図示しないが、ウェアラブルカメラ10の筐体10Kの正面から見て下面には、コンタクトターミナル23が設けられる。
図7は、車載カメラ61により撮像された録画データRCD1のデータ構造の一例を示す図である。図8は、ウェアラブルカメラ10により撮像された録画データRCD2のデータ構造の一例を示す図である。図9は、映像データVDO1,VDO2内のフレームパラメータ情報FPM1,FPM2のデータ構造の一例を示す図である。図10は、車載カメラ61により撮像された録画データRCD1の映像データVDO1内のフレームパラメータ情報FPM1のデータ構造の一例を示す図である。図11は、ウェアラブルカメラ10により撮像された録画データRCD2の映像データVDO2内のフレームパラメータ情報FPM2のデータ構造の一例を示す図である。
本実施形態のウェアラブルカメラ10や車載カメラ61では、映像を撮像して録画を行う場合、図7および図8に示すように、撮像した映像データVDO1,VDO2とともに、この映像データに関連する属性情報を含むメタ情報MTD1,MTD2を生成し、両者のデータを関連付けた録画データRCD1,RCD2として各装置内のメモリに保存する。言い換えると、ウェアラブルカメラ10のメモリ(例えば記憶部15)に保存された録画データRCD2には、映像データVDO2とメタ情報MTD2とが含まれる。同様に、車載カメラ61により撮像されて録画された録画データRCD1には、映像データVDO1とメタ情報MTD1とが含まれる。録画データRCD1は、車載レコーダ62内のストレージ111に保存される。なお、録画データRCD1,RCD2は、通信環境(例えば回線速度)の点において、車載レコーダ62経由でバックエンドサーバSVに転送して蓄積されることが好ましい。言い換えると、ウェアラブルカメラ10により撮像され録画された録画データRCD2は、ウェアラブルカメラ10から直接転送されてもよいが、転送時間を短縮するためには、車載レコーダ62がバックエンドサーバSVへ映像データ等を転送していない期間(例えばパトロールのシフト勤務時間が終わり、警察署に戻るまでの移動時間)にウェアラブルカメラ10から車載レコーダ62へ映像データを転送しておき、その後車載レコーダ62からバックエンドサーバSVに転送される方が好ましい。
図9に示すように、フレームパラメータ情報FPM1,FPM2は、車載カメラ61,ウェアラブルカメラ10により撮像された映像のフレーム毎に生成され、フレームの各種情報(例えばフレームの記録時刻(秒)、フレームの記録時刻時間(ミリ秒)、映像データ内のフレーム番号)を示す。図9に示すフレームパラメータ情報FPM1,FPM2では、「Record time (sec)」、「Record time (msec)」、「Frame count」が示されている。「Record time (sec)」は、4バイトのサイズを有し、フレームの記録時刻(秒単位)を示し、具体的には所定の基準日からの通算秒である。所定の基準日は、特に限定されないが、例えば1970年1月1日でもよいし、当該年の元日(例えば2015年1月1日)でもよい。「Record time (msec)」は、2バイトのサイズを有し、フレームの記録時刻(ミリ秒単位)を示す。従って、「Record time (sec)」と「Record time (msec)」との和が実際の映像データVDO1,VDO2の該当フレームが記録された時刻(録画時刻)となる。また、「Frame count」は、4バイトのサイズを有し、映像データVDO1,VDO2内のフレーム番号を示す。
図10および図11に具体例を用いてより詳細に説明する。
図10に示すフレームパラメータ情報FPM1では、所定の基準日から「1002231+0.743」秒が経過した時点に、該当フレーム(フレーム番号「1」)の映像データVDO1が車載カメラ61により撮像され録画されたことになる。言い換えると、所定の基準日から「1002231+0.743」秒が経過した時刻が、映像データVDO1の録画開始時刻となる。同様に、図11に示すフレームパラメータ情報FPM2では、所定の基準日から「1002372+0.057」秒が経過した時点に、該当フレーム(フレーム番号「1」)の映像データが車載カメラ61により撮像され録画されたことになる。言い換えると、所定の基準日から「1002372+0.057」秒が経過した時刻が、映像データVDO2の録画開始時刻となる。
つまり、図10および図11に示すフレームパラメータ情報FPM1,FPM2によれば、車載カメラ61とウェアラブルカメラ10とでは、同一の事件の現場を撮像した映像であるが、録画した時刻が異なっており同期しておらず、ウェアラブルカメラ10より車載カメラ61が先に録画を開始したことになる。本実施形態では、バックエンドサーバSVは、各録画データRCD1,RCD2の映像データVDO1,VDO2内の先頭フレームに関するフレームパラメータ情報FPM1,FPM2を用いて、映像データVDO1,VDO2が同期するように再生を開始する。
次に、車載カメラシステム65とウェアラブルカメラ10とにおけるシステム時刻の同期の動作手順について、図12を参照して説明する。図12は、本実施形態のウェアラブルカメラ10が車載カメラシステム65との間で時刻を同期する動作手順の一例を説明するフローチャートである。図12の説明の前提として、車載カメラシステム65における車載カメラ61と車載レコーダ62とはシステム時刻が同期(つまり、一致)している。
図12において、ウェアラブルカメラ10は、ウェアラブルカメラ10本体の初期処理を実行する(S1)。初期処理とは、例えばウェアラブルカメラ10のメモリ(例えば記憶部15)に各種処理用の初期設定値を読み込んだり、ウェアラブルカメラ10のOS(Operating System)をブートしてウェアラブルカメラ10の各部が設定値をそれぞれ読み込んで動作可能な状態にしたりすることである。
ウェアラブルカメラ10は、ステップS1の初期処理を終了すると、車載カメラシステム(ICV)65の通信圏(通信エリア)内にいるか否かを判断する(S2)。ウェアラブルカメラ10が車載カメラシステム65の通信圏内にいないと判断された場合には(S2、NO)、ウェアラブルカメラ10の動作はステップS5に進む。一方、ウェアラブルカメラ10は、車載カメラシステム65の通信圏内にいると判断した場合には(S2、YES)、車載カメラシステム65との間で通信のリンクを確立する(S3)。
ステップS3の後、ウェアラブルカメラ10は、車載カメラシステム65にアクセスし、車載カメラシステム65との間でシステム時刻が一致する(つまり、同期する)ように、ウェアラブルカメラ10のシステム時刻計数部19Aの出力(システム時刻)を調整する。なお、システム時刻を同期させるための時刻調整については、例えば車載カメラシステム65(車載カメラ61または車載レコーダ62のいずれか)にNTPサーバが設けられ、ウェアラブルカメラ10がこのNTPサーバにアクセスしてシステム時刻を取得することで調整可能である。または、ウェアラブルカメラ10と車載カメラシステム65との間でシステム時刻を調整するための独自のプロトコルを用いてもよい。なお、図12では車載カメラシステム65とウェアラブルカメラ10との間でシステム時刻を同期することについて説明しているが、図12の説明はウェアラブルカメラ10とウェアラブルカメラ10Aとの間でシステム時刻を同期する場合についても同様に適用可能である。
ステップS4の後、ウェアラブルカメラ10は、録画開始のトリガ待ちとなる(S5)。つまり、録画が開始されるためのトリガ操作(例えば録画スイッチSW1の押下、所定の条件を満たした場合の自動録画開始)が行われるまで、ウェアラブルカメラ10は待機する。
なお、図12に示すステップS2〜S4の処理(点線参照)は、ウェアラブルカメラ10により定期的に繰り返される。これは、ステップS2においてウェアラブルカメラ10が車載カメラシステム65の通信圏内にいないと判断された場合でも、バックエンドサーバSVに録画データが送信される場合にはウェアラブルカメラ10と車載カメラシステム65とはシステム時刻が同期している必要がある(言い換えると、ステップS4の処理が実行される必要がある)ためである。従って、図12に示すステップS2〜S4の処理は、一度だけではなく、例えばウェアラブルカメラ10を装着した警察官7が移動することも勘案し、定期的に繰り返される必要がある。これにより、ウェアラブルカメラ10を装着した警察官7が移動した場合など、ウェアラブルカメラ10が車載カメラシステム65の通信圏内に入ったことにより、ウェアラブルカメラ10と車載カメラシステム65とはシステム時刻を同期可能である。
なお、図12ではウェアラブルカメラ10と車載カメラシステム65との間の時刻の同期に関する動作手順が説明されているが、ウェアラブルカメラ10は、例えば録画データRCD2をバックエンドサーバSVに転送(アップロード)する間またはその前に、同図に示すステップS2〜ステップS4と同様の処理を用いて、バックエンドシステム100BのバックエンドサーバSVとの間でシステム時刻を同期してもよい。さらに、車載カメラシステム65の車載レコーダ62は、例えば録画データRCD1をバックエンドサーバSVに転送(アップロード)する間またはその前に、バックエンドシステム100BのバックエンドサーバSVとの間でシステム時刻を同期してもよい。この場合、バックエンドシステム100BはNTPサーバ(不図示)を保持しており、バックエンドサーバSVは、このNTPサーバに定期的にアクセスすることで、システム時刻を調整している。
次に、本実施形態のバックエンドサーバSVがウェアラブルカメラ10および車載カメラ61それぞれにより撮像された録画データRCD1,RCD2の映像データVDO1,VDO2を再生する動作手順について、図13を参照して説明する。図13は、本実施形態のバックエンドサーバSVがウェアラブルカメラ10、車載カメラ61それぞれにより撮像された録画データRCD1,RCD2の映像データVDO1,VDO2を再生する動作手順の一例を説明するフローチャートである。図13の説明の前提として、ウェアラブルカメラ10により撮像された録画データRCD1,車載カメラ61により撮像された録画データRCD2は、バックエンドサーバSVのストレージ308に記憶されており、ウェアラブルカメラ10と車載カメラシステム65とは図12に示す方法に従ってそれぞれのシステム時刻が同期している。
図13において、バックエンドサーバSVは、ストレージ308から車載カメラ61により撮像された録画データRCD1をメモリ302に読み込み、録画開始時刻情報を取得する(S11)。つまり、バックエンドサーバSVは、録画データRCD1内の映像データVDO1内に含まれるフレームパラメータ情報FPM1を基に、映像データVDO1の先頭フレームが車載カメラ61によりいつ録画開始されたかを示す情報を取得する(S11)。
同様に、バックエンドサーバSVは、ストレージ308からウェアラブルカメラ10により撮像された録画データRCD2をメモリ302に読み込み、録画開始時刻情報を取得する(S12)。つまり、バックエンドサーバSVは、録画データRCD2内の映像データVDO2内に含まれるフレームパラメータ情報FPM2を基に、映像データVDO2の先頭フレームがウェアラブルカメラ10によりいつ録画開始されたかを示す情報を取得する(S12)。
バックエンドサーバSVは、録画データRCD1の映像データVDO1の録画開始時刻が録画データRCD2の映像データVDO2の録画開始時刻より先であるか否かを判断する(S13)。バックエンドサーバSVは、録画データRCD1の映像データVDO1の録画開始時刻が録画データRCD2の映像データVDO2の録画開始時刻より先であると判断した場合には(S13、YES)、車載カメラシステム65により撮像され録画された録画データRCD1の映像データVDO1の再生を開始して画面に映像を出力する(S14)。
バックエンドサーバSVは、映像データVDO1の再生を開始した後、ウェアラブルカメラ10により撮像された録画データRCD2の映像データVDO2の録画開始時刻に達したとき(S15、YES)、つまり、映像データVDO1の再生開始から、映像データVDO2の先頭フレームに関するフレームパラメータ情報FPM2の「Record time (sec)」+「Record time (msec)」と映像データVDO1の先頭フレームに関するフレームパラメータ情報FPM1の「Record time (sec)」+「Record time (msec)」との差分に対応する時間が経過したとき、映像データVDO1の再生画面とは別の再生画面に、映像データVDO2の再生を開始して映像を出力する(S16)。
ここで、映像データVDO1,VDO2が終了した場合、またはバックエンドシステム100Bを管轄する警察署5内の担当者の操作によって映像データVDO1,VDO2の再生の停止操作が行われた場合には、バックエンドサーバSVは、映像データVDO1,VDO2の再生を終了する。
一方、バックエンドサーバSVは、録画データRCD1の映像データVDO1の録画開始時刻が録画データRCD2の映像データVDO2の録画開始時刻より先でないと判断した場合には(S13、NO)、ウェアラブルカメラ10により撮像され録画された録画データRCD2の映像データVDO2の再生を開始して画面に映像を出力する(S18)。
バックエンドサーバSVは、映像データVDO2の再生を開始した後、車載カメラシステム65により撮像された録画データRCD1の映像データVDO1の録画開始時刻に達したとき(S19、YES)、つまり、映像データVDO2の再生開始から、映像データVDO1の先頭フレームに関するフレームパラメータ情報FPM1の「Record time (sec)」+「Record time (msec)」と映像データVDO2の先頭フレームに関するフレームパラメータ情報FPM2の「Record time (sec)」+「Record time (msec)」との差分に対応する時間が経過したとき、映像データVDO2の再生画面とは別の再生画面に、映像データVDO1の再生を開始して映像を出力する(S20)。
ここで、映像データVDO1,VDO2が終了した場合、またはバックエンドシステム100Bを管轄する警察署5内の担当者の操作によって映像データVDO1,VDO2の再生の停止操作が行われた場合には、バックエンドサーバSVは、映像データVDO1,VDO2の再生を終了する。
以上により、本実施形態のウェアラブルカメラシステム100では、ウェアラブルカメラ10は、警察官7が急行した現場の状況の映像を撮像し、警察官7が乗車するパトカー内に設置された車載カメラシステム65(具体的には、車載カメラ61)は、同じ現場の状況の映像を撮像する。バックエンドサーバSVは、映像データVDO2を有する録画データRCD2と映像データVDO1を有する録画データRCD1とを受信し、録画データRCD1および録画データRCD2を対応付けてストレージ308に保存する。バックエンドサーバSVは、例えば共通の事件番号を付与することによって録画データRCD1と録画データRCD2とを対応付けできる。また、バックエンドサーバSVは、映像データVDO1の先頭フレームに関するフレームパラメータ情報と映像データVDO2の先頭フレームに関するフレームパラメータ情報とを用いて、映像データVDO1および映像データVDO2を同期して再生する。
これにより、ウェアラブルカメラシステム100は、同一の事件を撮像した複数の映像データVDO1,VDO2をバックエンドサーバSVにおいて再生する場合に、それぞれ異なるアングルで撮像された映像データVDO1,VDO2の再生時刻を同期できるので、警察官7が急行した現場の状況を広範かつ鮮明に、容易に把握させることができる。例えば、一方のカメラ(例えば車載カメラ61)では撮像し切れていない現場の状況がその時点では他方のカメラ(例えばウェアラブルカメラ10)で撮像できている場合には、ウェアラブルカメラシステム100は、現場の状況(例えば、同一の事件における時系列的な前後関係、被害者、容疑者、周囲の見学者)を的確に把握させることができる。車載カメラ61はパトカー内に設置されているので、例えば警察官や障害物などに遮られて、車載カメラ61が撮像して録画した映像データVDO1では十分な範囲が撮像できていない場合でも、映像データVDO,VDO2の再生時刻が同期しているので、バックエンドシステム100Bを管轄する警察署5内の担当者は、ウェアラブルカメラ10が撮像して録画した映像データVDO2では遮られた部分の映像を把握可能となる。
また、本実施形態では、映像データVDO1は、車載カメラ61により撮像され録画された映像データとして説明したが、図2に示すウェアラブルカメラ10Aにより撮像され録画された映像データでもよい。これにより、複数のウェアラブルカメラ10,10Aにより撮像され録画された映像データの再生時刻が同期して再生されると、バックエンドサーバSVは、撮像時点(録画時点)における現場の状況をより広範に把握させることが可能となる。
また、本実施形態のウェアラブルカメラ10は、車載カメラ61の通信圏内にいる場合に、車載カメラ61のシステム時刻(言い換えると、車載カメラシステム65のシステム時刻)と同期する。これにより、ウェアラブルカメラ10は、ウェアラブルカメラ10を装着する警察官7が移動したことで車載カメラ61の通信圏内に入った場合に、車載カメラ61のシステム時刻(言い換えると、車載カメラシステム65のシステム時刻)と一致するようにウェアラブルカメラ10自身のシステム時刻を調整できる。
また、本実施形態のウェアラブルカメラ10は、車載カメラ61の通信圏内にいるか否かを定期的に判断する。これにより、ウェアラブルカメラ10は、一度車載カメラ61の通信圏内にいないと判断した場合でも、例えばウェアラブルカメラ10を装着する警察官7が移動したことで車載カメラ61の通信圏内に入った場合に、車載カメラ61のシステム時刻と一致するようにウェアラブルカメラ10自身のシステム時刻を調整できる。
また、本実施形態のバックエンドサーバSVは、映像データVDO1,VDO2のフレームパラメータ情報FPM1,FPM2が示すそれぞれの録画時刻のうち一方が先行する場合に、先行する録画時刻に対応する映像データの再生を先に開始し、他方の録画時刻が一方の録画時刻に一致したときに、他方の録画時刻に対応する映像データの再生を開始する。これにより、バックエンドサーバSVは、ウェアラブルカメラ10,車載カメラ61により撮像され録画された時刻が異なっていた場合でも、映像データVDO1,VDO2に含まれる各フレームパラメータFPM1,FPM2の各録画時刻情報を簡易に求めることができ、この録画時刻情報を用いることで、映像データVDO1,VDO2の録画時刻を一致させるように再生でき、現場の状況を的確に出力できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、本発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
例えばバックエンドサーバSVのCPU301の性能が十分に優れていない場合には、映像データVDO1,VDO2の再生時刻がずれてくる可能性がある。そのため、バックエンドサーバSVは、ステップS16またはステップS20の後に、定期的に映像データVDO1,VDO2の再生時刻のずれがあるか否かを判断し、ずれがあると判断した場合にはずれを調整してもよい。つまり、バックエンドサーバSVは、いずれか一方または両方の映像データの再生スピードを遅め、2画面(2ウインドウ)において出力された映像データVDO1,VDO2の再生時刻にずれが生じないように制御することが好ましい。
本発明は、同一の事件を撮像した複数の映像データを再生する場合に、それぞれの映像データの再生時刻を同期して現場の状況を容易に把握させるウェアラブルカメラシステム及び映像データ再生同期方法として有用である。
5 警察署
6 パトカー
7 警察官
10、10A ウェアラブルカメラ
11 撮像部
12、108 GPIO
13、105 RAM
14 ROM
15 記憶部
16 EEPROM
17 RTC
18、107 GPS
19 MCU
19A システム時刻計数部
21、102、203、304 通信部
22 USB
23 コンタクトターミナル
24 電源部
25 バッテリ
26a,26b,26c LED
27 バイブレータ
60 車載システム
61 車載カメラ
62 車載レコーダ
63 車載PC
65 車載カメラシステム
70 管理ソフトウェア
71 署内PC
100 ウェアラブルカメラシステム
100A フロントエンドシステム
100B バックエンドシステム
101、201、301 CPU
104 フラッシュROM
106 マイコン
109 スイッチ
110 LED
111 ストレージ
202、303 I/O制御部
204、302 メモリ
205、305 入力部
206 表示部
207 スピーカ
SV バックエンドサーバ
306 出力部
307 ストレージ制御部
308 ストレージ

Claims (7)

  1. ユーザが装着可能な第1のウェアラブルカメラと、サーバとを少なくとも含むウェアラブルカメラシステムであって、
    前記サーバは、
    前記第1のウェアラブルカメラにより撮像された第1の映像データと外部装置により撮像された第2の映像データとを受信する通信部と、
    前記通信部により受信された前記第1の映像データおよび前記第2の映像データを対応付けて記憶する記憶部と、
    前記記憶部に記憶された前記第1の映像データおよび前記第2の映像データを再生する再生部と、を備え、
    前記第1の映像データは、前記第1のウェアラブルカメラにより撮像された第1の録画時刻情報を有し、
    前記第2の映像データは、前記外部装置により撮像された第2の録画時刻情報を有し、
    前記再生部は、前記第1の録画時刻情報および前記第2の録画時刻情報を用いて、前記第1の映像データおよび前記第2の映像データを同期して再生する、
    ウェアラブルカメラシステム。
  2. 請求項1に記載のウェアラブルカメラシステムであって、
    前記外部装置は、前記ユーザが乗車する車両に搭載された車載カメラである、
    ウェアラブルカメラシステム。
  3. 請求項1に記載のウェアラブルカメラシステムであって、
    前記外部装置は、前記第1のウェアラブルカメラとは異なる第2のウェアラブルカメラである、
    ウェアラブルカメラシステム。
  4. 請求項1に記載のウェアラブルカメラシステムであって、
    前記第1のウェアラブルカメラは、前記外部装置の通信圏内にいる場合に、前記外部装置の時刻と同期する、
    ウェアラブルカメラシステム。
  5. 請求項4に記載のウェアラブルカメラシステムであって、
    前記第1のウェアラブルカメラは、前記外部装置の通信圏内にいるか否かを定期的に判断する、
    ウェアラブルカメラシステム。
  6. 請求項1に記載のウェアラブルカメラシステムであって、
    前記再生部は、前記第1の録画時刻情報および前記第2の録画時刻情報のうち一方の録画時刻が先行する場合に、前記一方の録画時刻に対応する映像データの再生を開始し、他方の録画時刻が前記一方の録画時刻に一致したときに、前記他方の録画時刻に対応する映像データの再生を開始する、
    ウェアラブルカメラシステム。
  7. ユーザが装着可能な第1のウェアラブルカメラとサーバとを少なくとも含むウェアラブルカメラシステムにおける映像データ同期再生方法であって、
    前記第1のウェアラブルカメラにより映像を撮像し、
    外部装置により前記映像を撮像し、
    前記第1のウェアラブルカメラにより撮像された第1の映像データと前記外部装置により撮像された第2の映像データとを受信し、
    前記第1のウェアラブルカメラにより撮像された第1の録画時刻情報を有する前記第1の映像データ、および前記外部装置により撮像された第2の録画時刻情報を有する前記第2の映像データを対応付けて前記サーバに記憶し、
    前記第1の録画時刻情報および前記第2の録画時刻情報を用いて、前記サーバに記憶された前記第1の映像データおよび前記第2の映像データを同期して再生する、
    映像データ同期再生方法。
JP2015027608A 2015-02-16 2015-02-16 ウェアラブルカメラシステムおよび映像データ同期再生方法 Expired - Fee Related JP6115873B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015027608A JP6115873B2 (ja) 2015-02-16 2015-02-16 ウェアラブルカメラシステムおよび映像データ同期再生方法
PCT/JP2016/000333 WO2016132678A1 (ja) 2015-02-16 2016-01-25 ウェアラブルカメラシステムおよび映像データ同期再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015027608A JP6115873B2 (ja) 2015-02-16 2015-02-16 ウェアラブルカメラシステムおよび映像データ同期再生方法

Publications (2)

Publication Number Publication Date
JP2016152443A true JP2016152443A (ja) 2016-08-22
JP6115873B2 JP6115873B2 (ja) 2017-04-19

Family

ID=56688934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015027608A Expired - Fee Related JP6115873B2 (ja) 2015-02-16 2015-02-16 ウェアラブルカメラシステムおよび映像データ同期再生方法

Country Status (2)

Country Link
JP (1) JP6115873B2 (ja)
WO (1) WO2016132678A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553659B (en) 2017-07-21 2018-08-29 Weheartdigital Ltd A System for creating an audio-visual recording of an event
JP6341526B1 (ja) * 2018-01-16 2018-06-13 新生環境株式会社 自己行動記録カメラ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333160A (ja) * 1999-05-19 2000-11-30 Nippon Dry Chem Co Ltd 火災現場の状況把握装置
JP2003284049A (ja) * 2002-03-26 2003-10-03 Kubota Corp 監視システム
JP2003283900A (ja) * 2002-03-22 2003-10-03 Sanyo Electric Co Ltd デジタルカメラ
JP2005217609A (ja) * 2004-01-28 2005-08-11 Victor Co Of Japan Ltd 映像情報再生装置
JP2005328128A (ja) * 2004-05-12 2005-11-24 Matsushita Electric Ind Co Ltd 同期再生装置
JP2009267600A (ja) * 2008-04-23 2009-11-12 Canon Inc 画像処理装置及びその制御方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333160A (ja) * 1999-05-19 2000-11-30 Nippon Dry Chem Co Ltd 火災現場の状況把握装置
JP2003283900A (ja) * 2002-03-22 2003-10-03 Sanyo Electric Co Ltd デジタルカメラ
JP2003284049A (ja) * 2002-03-26 2003-10-03 Kubota Corp 監視システム
JP2005217609A (ja) * 2004-01-28 2005-08-11 Victor Co Of Japan Ltd 映像情報再生装置
JP2005328128A (ja) * 2004-05-12 2005-11-24 Matsushita Electric Ind Co Ltd 同期再生装置
JP2009267600A (ja) * 2008-04-23 2009-11-12 Canon Inc 画像処理装置及びその制御方法、並びにプログラム

Also Published As

Publication number Publication date
WO2016132678A1 (ja) 2016-08-25
JP6115873B2 (ja) 2017-04-19

Similar Documents

Publication Publication Date Title
US10554935B2 (en) Wearable camera system, and video recording control method for wearable camera system
US10715766B2 (en) Wearable camera system and recording control method
JP2019021996A (ja) ウェアラブルカメラ、ウェアラブルカメラシステム及び情報記録方法
JP2017005436A (ja) ウェアラブルカメラシステム及び録画制御方法
JP6799779B2 (ja) 監視映像解析システム及び監視映像解析方法
JP5842103B1 (ja) 車載カメラシステムへのログイン認証装置、及びログイン認証方法
WO2016151994A1 (ja) ウェアラブルカメラ及びウェアラブルカメラシステム
JP6115874B2 (ja) ウェアラブルカメラシステム及び録画制御方法
JP5861073B1 (ja) ウェアラブルカメラ
JP5856700B1 (ja) ウェアラブルカメラシステム及び録画制御方法
JP6115873B2 (ja) ウェアラブルカメラシステムおよび映像データ同期再生方法
JP6145780B2 (ja) ウェアラブルカメラシステム及び映像データ転送方法
JP2018037964A (ja) ウェアラブルカメラシステム及び通信制御方法
JP5856701B1 (ja) ウェアラブルカメラシステム及び録画制御方法
JP5856702B1 (ja) ウェアラブルカメラシステム及び属性情報付与方法
JP2021027408A (ja) ウェアラブルカメラシステムおよび映像記録方法
JP5861075B1 (ja) ウェアラブルカメラ
JP7327792B2 (ja) 画像合成システムおよび画像合成方法
JP7420375B2 (ja) ユーザ認証システムおよびユーザ認証方法
JP7294654B2 (ja) ウェアラブルカメラシステム
JP5861074B1 (ja) ウェアラブルカメラ
JP2018037965A (ja) ウェアラブルカメラシステム及び通信制御方法
WO2016121314A1 (ja) ウェアラブルカメラシステム及び録画制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170310

R151 Written notification of patent or utility model registration

Ref document number: 6115873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees