JP2023099952A - 監視システム及び監視方法 - Google Patents
監視システム及び監視方法 Download PDFInfo
- Publication number
- JP2023099952A JP2023099952A JP2022000244A JP2022000244A JP2023099952A JP 2023099952 A JP2023099952 A JP 2023099952A JP 2022000244 A JP2022000244 A JP 2022000244A JP 2022000244 A JP2022000244 A JP 2022000244A JP 2023099952 A JP2023099952 A JP 2023099952A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- image
- monitoring system
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012800 visualization Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 abstract description 18
- 238000012545 processing Methods 0.000 description 86
- 238000003384 imaging method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002427 irreversible effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008867 communication pathway Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】秘匿性及び有用性を高めて監視情報を伝送可能な監視システム及び監視方法を提供することを目的とする。【解決手段】映像から監視対象を検知する検知部と、前記検知した対象に関する情報を取得しコード化するコード化部と、前記コード化した情報を映像上に不可視のパターンとして重畳する重畳部と、前記重畳部で重畳した映像を送信する送信部と、を備える。さらに、前記送信部で送信した映像を受信する受信部と、前記受信部で受信した映像に重畳しているコードを取得するコード取得部と、前記コード取得部で取得したコードから前記検知した対象に関する情報を取得する情報取得部と、を備える。【選択図】図2
Description
本発明は、監視システム及び監視方法に関し、特に、監視情報を伝送する構成を含む監視システム及び監視方法に関する。
監視システムでは映像以外に、センサや映像解析によって取得した監視情報を伝送している。従来技術で監視情報を伝送するには、映像とは別の通信を確立するか、映像上に検知情報を視覚的に重畳する手法が用いられてきた。検知情報を視覚的に重畳する手法としては、例えば、検知した人物を四角で囲む等である。
一方、特許文献1には、顔照合システムにおける個人情報の流出を防止するために、登録済みの人物の顔画像の特徴を表す特徴量であって顔画像の復元が不可能な不可逆特徴量を記憶する不可逆特徴量データベースを有し、照合装置が撮像装置による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出不可逆特徴量データベースに登録されている不可逆特徴量と比較することで、撮像映像に含まれる人物がデータベースに登録済みか否かの判定を行うことが開示されている。
しかしながら、監視情報をネットワークカメラ側で映像上に視覚的に重畳して伝送する場合、受信側で取得可能なのは重畳後の映像のみである。この監視情報を重畳した映像は、保存した映像を1コマずつ確認する場合等において、重畳した情報が邪魔な場合が多い。それにも関わらず、重畳した情報を後から消去することは不可能であった。また、第三者に映像が流出した場合に、どのようなものを監視対象としているかが容易に判別できてしまし、セキュリティ性が低いことも課題となる。
一方、監視情報を映像とは別の通信で伝送する場合、映像と検知情報を正確に同期させることが必要となる。特に録画を含むシステムでは、映像と監視情報を別のファイルとして管理する必要があり、データ管理が煩雑になるという課題が生じる。また、監視情報と合わせて映像を再生する場合は、そのためのシステムや処理能力が求められる。
また、特許文献1では、照合処理された顔照合の結果は、表示装置に出力する構成であるが、上記の課題は同様に存在する。
本発明は、上記課題に鑑みて、秘匿性及び有用性を高めて監視情報を伝送可能な監視システム及び監視方法を提供することを目的とする。
上記目的を達成するため、代表的な本発明の監視システムの一つは、映像から監視対象を検知する検知部と、前記検知した対象に関する情報を取得しコード化するコード化部と、前記コード化した情報を映像上に不可視のパターンとして重畳する重畳部と、前記重畳部で重畳した映像を送信する送信部と、を備えることを特徴とする。
さらに本発明の監視方法の一つは、映像から監視対象を検知する検知ステップと、前記検知した対象に関する情報を取得しコード化するコード化ステップと、前記コード化した情報を映像上に不可視のパターンとして重畳する重畳ステップと、前記重畳ステップで重畳した映像を送信する送信ステップと、を有することを特徴とする。
本発明によれば、監視システム及び監視方法において、秘匿性及び有用性を高めて監視情報を伝送できる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。
本発明を実施するための形態を説明する。
<実施形態による態様を実施するためのコンピュータシステム>
図1は、本開示の実施形態による態様を実施するためのコンピュータシステム300のブロック図である。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム300の主要コンポーネントは、1つ以上のプロセッサ302、メモリ304、端末インターフェース312、ストレージインターフェース314、I/O(入出力)デバイスインターフェース316、及びネットワークインターフェース318を含む。これらのコンポーネントは、メモリバス306、I/Oバス308、バスインターフェースユニット309、及びI/Oバスインターフェースユニット310を介して、相互的に接続されてもよい。
図1は、本開示の実施形態による態様を実施するためのコンピュータシステム300のブロック図である。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム300の主要コンポーネントは、1つ以上のプロセッサ302、メモリ304、端末インターフェース312、ストレージインターフェース314、I/O(入出力)デバイスインターフェース316、及びネットワークインターフェース318を含む。これらのコンポーネントは、メモリバス306、I/Oバス308、バスインターフェースユニット309、及びI/Oバスインターフェースユニット310を介して、相互的に接続されてもよい。
コンピュータシステム300は、プロセッサ302と総称される1つ又は複数の処理装置302A及び302Bを含んでもよい。各プロセッサ302は、メモリ304に格納された命令を実行し、オンボードキャッシュを含んでもよい。ある実施形態では、コンピュータシステム300は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム300は単一の処理装置によるシステムであってもよい。処理装置としては、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processong Unit)、DSP(Digital Signal Processor)等を適用できる。
ある実施形態では、メモリ304は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体(揮発性又は不揮発性のいずれか)を含んでもよい。ある実施形態では、メモリ304は、コンピュータシステム300の仮想メモリ全体を表しており、ネットワークを介してコンピュータシステム300に接続された他のコンピュータシステムの仮想メモリを含んでもよい。メモリ304は、概念的には単一のものとみなされてもよいが、他の実施形態では、このメモリ304は、キャッシュおよび他のメモリデバイスの階層など、より複雑な構成となる場合がある。例えば、メモリは複数のレベルのキャッシュとして存在し、これらのキャッシュは機能毎に分割されてもよい。その結果、1つのキャッシュは命令を保持し、他のキャッシュはプロセッサによって使用される非命令データを保持する構成であってもよい。メモリは、いわゆるNUMA(Non-Uniform Memory Access)コンピュータアーキテクチャのように、分散され、種々の異なる処理装置に関連付けられてもよい。
メモリ304は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ304は、潜在因子特定アプリケーション350を格納していてもよい。ある実施形態では、潜在因子特定アプリケーション350は、後述する機能をプロセッサ302上で実行する命令又は記述を含んでもよく、あるいは別の命令又は記述によって解釈される命令又は記述を含んでもよい。ある実施形態では、潜在因子特定アプリケーション350は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、潜在因子特定アプリケーション350は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス(図示せず)が、バスインターフェースユニット309、プロセッサ302、またはコンピュータシステム300の他のハードウェアと直接通信するように提供されてもよい。このような構成では、プロセッサ302がメモリ304及び潜在因子識別アプリケーションにアクセスする必要性が低減する可能性がある。
コンピュータシステム300は、プロセッサ302、メモリ304、表示システム324、及びI/Oバスインターフェースユニット310間の通信を行うバスインターフェースユニット309を含んでもよい。I/Oバスインターフェースユニット310は、様々なI/Oユニットとの間でデータを転送するためのI/Oバス308と連結していてもよい。I/Oバスインターフェースユニット310は、I/Oバス308を介して、I/Oプロセッサ(IOP)又はI/Oアダプタ(IOA)としても知られる複数のI/Oインターフェースユニット312、314、316、及び318と通信してもよい。表示システム324は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置326に提供することができる。また、コンピュータシステム300は、データを収集し、プロセッサ302に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。例えば、コンピュータシステム300は、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示メモリは、ビデオデータをバッファするための専用メモリであってもよい。表示システム324は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置326に接続されてもよい。ある実施形態では、表示装置326は、オーディオをレンダリングするためスピーカを含んでもよい。あるいは、オーディオをレンダリングするためのスピーカは、I/Oインターフェースユニットと接続されてもよい。他の実施形態では、表示システム324が提供する機能は、プロセッサ302を含む集積回路によって実現されてもよい。同様に、バスインターフェースユニット309が提供する機能は、プロセッサ302を含む集積回路によって実現されてもよい。
I/Oインターフェースユニットは、様々なストレージ又はI/Oデバイスと通信する機能を備える。例えば、端末インターフェースユニット312は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザI/Oデバイス320の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザI/Oデバイス320及びコンピュータシステム300に対して入力データや指示を入力し、コンピュータシステム300からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザI/Oデバイス320を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
ストレージインターフェース314は、1つ又は複数のディスクドライブや直接アクセスストレージ装置322(通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい)の取り付けが可能である。ある実施形態では、ストレージ装置322は、任意の二次記憶装置として実装されてもよい。メモリ304の内容は、ストレージ装置322に記憶され、必要に応じてストレージ装置322から読み出されてもよい。ネットワークインターフェース318は、コンピュータシステム300と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク330であってもよい。
図1に示されるコンピュータシステム300は、プロセッサ302、メモリ304、バスインタフェース309、表示システム324、及びI/Oバスインターフェースユニット310の間の直接通信経路を提供するバス構造を備えているが、他の実施形態では、コンピュータシステム300は、階層構成、スター構成、又はウェブ構成のポイントツーポイントリンク、複数の階層バス、平行又は冗長の通信経路を含んでもよい。さらに、I/Oバスインターフェースユニット310及びI/Oバス308が単一のユニットとして示されているが、実際には、コンピュータシステム300は複数のI/Oバスインターフェースユニット310又は複数のI/Oバス308を備えてもよい。また、I/Oバス308を様々なI/Oデバイスに繋がる各種通信経路から分離するための複数のI/Oインターフェースユニットが示されているが、他の実施形態では、I/Oデバイスの一部または全部が、1つのシステムI/Oバスに直接接続されてもよい。
ある実施形態では、コンピュータシステム300は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム(クライアント)からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム300は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
<ブロック図>
図2は、本発明の監視システムの一実施形態を示すブロック図である。図2で示す監視システムは、撮像装置10、送信側処理装置20、記憶装置30、受信側処理装置40、記憶装置50、表示装置60、警報装置70を備えている。また、送信側処理装置20と受信側処理装置40はネットワーク80を介して情報の伝送が可能となっている。
図2は、本発明の監視システムの一実施形態を示すブロック図である。図2で示す監視システムは、撮像装置10、送信側処理装置20、記憶装置30、受信側処理装置40、記憶装置50、表示装置60、警報装置70を備えている。また、送信側処理装置20と受信側処理装置40はネットワーク80を介して情報の伝送が可能となっている。
撮像装置10と送信側処理装置20と記憶装置30は、送信側として情報のやりとりができるようにして別体に構成してもよいし、一体の装置として構成してもよい。受信側処理装置40、記憶装置50、表示装置60、警報装置70は、受信側として情報のやりとりができるようにして別体に構成してもよいし、一体の装置として構成してもよい。これらは、図1で示したコンピュータシステム300の構成を用いることができる。この場合、送信側と受信側でそれぞれコンピュータシステム300を適用できる。送信側と受信側は複数設けてもよい。
撮像装置10は、カメラの構成を備えており、様々な場所に配置可能である。例えば、監視カメラとして監視箇所に配置する等である。撮像装置10は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等があげられる。撮像装置10は、映像として、例えば、1秒間に3フレーム(3fps)以上等で撮影して、その情報は、送信側処理装置20へ送られる。撮像装置10は、状況に応じて複数設置可能である。
送信側処理装置20は、撮像装置10から映像を入力して処理を行う。送信側処理装置20は、例えば、CPU、FPGA、GPU、DSP等、必要に応じて適した方式の処理装置を用いることができる。送信側処理装置20は、物体検知部21、コード化部22、重畳部23、送信部24の各機能を備えている。なお、物体は検知対象であることを示し、人も含む概念である。
物体検知部21は、撮像装置10からの映像に基づき特定の物体を検知する。検知は監視対象を検知するためにあらかじめ用意された学習モデルを用いることができる。映像を画像解析することにより、検知対象の有無及び検知対象の座標を取得する。物体検知部21の処理は後述する図3のS102で具体例を示す。
コード化部22は、検知物体に関する情報を取得し、バーコードやQRコード等の特定の二次元のパターン(模様)としてコード化する。ここで、検知物体に関する情報は、名称、重要度、表示方法等であり、記憶装置30のテーブル31から取得する。コード化部22の処理は後述する図3のS105で具体例を示す。
重畳部23は、コード化部22でコード化がされたパターンの情報を撮像装置10からの映像の画像に重畳する。このパターンは電子透かしのように、撮像装置10からの映像の画像に重畳される。重畳の際は、コード化されたパターンを不可視の状態で映像上に重畳する。これは、例えば、人の目に見えない程の画素値の違いにして画像上に重畳する。重畳部23の処理は後述する図3のS106で具体例を示す。
送信部24は、重畳部23でコードが重畳された映像を、ネットワーク80を介して受信側処理装置40へ送信する。ここでの処理は後述する図3のS107が対応する。
記憶装置30は、送信側処理装置20の処理で必要な情報を記録する装置である。ここでは、テーブル31の情報が格納されている。また、撮像装置10で撮影した映像を記録してもよい。記憶装置30は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、DDS(Digital Data Storage)等、必要に応じて適した方式を適用できる。テーブル31は、あらかじめ監視対象を検知する学習モデル及び、監視対象の名称、重要度、表示方法等を列記したテーブルである。
受信側処理装置40は、送信側処理装置20から送られた情報に対しての処理を行う。受信側処理装置40は、例えば、CPU、FPGA、GPU、DSP等、必要に応じて適した方式の処理装置を用いることができる。受信側処理装置40は、受信部41、コード取得部42、情報取得部43、可視化部44、発報部45の各機能を備えている。
受信部41は、送信側処理装置20の送信部24から送信された映像を受信する。ここでの処理は後述する図4のS151が対応する。
コード取得部42は、受信部41で受信したコードが重畳された映像から、コードを取得する。コード取得部42の処理は後述する図4のS152で具体例を示す。
情報取得部43は、取得したコードからの検知物体に関する情報を取得する。必要に応じて暗号化された情報の復号処理を行ってもよい。情報取得部43の処理は後述する図4のS153で具体例を示す。
可視化部44は、監視対象の情報が取得された場合、検知された物体を特定しやすいように、枠等の追加情報を生成して映像に重畳する。このとき、設定情報51の設定内容に基づき、追加情報を重畳するか否かを選択できる。追加情報は、図や文字などを適用でき、例えば、検知物体を囲う四角枠等により映像上で視覚化する。また、設定情報51に基づき映像に追加情報を重畳するか否かを判定する。可視化部44の処理は後述する図4のS155~S157で具体例を示す。
発報部45は、警報装置70での発報を行うための信号を送信する。信号の送信は情報取得部43で取得した検知物体に関する情報に基づいて行うことができる。
記憶装置50は、受信側処理装置40の処理で必要な情報を記録する装置である。ここでは、設定情報51の情報が格納されている。また、受信側処理装置40で出力した情報を記録してもよい。記憶装置50は、例えば、HDD、SSD、DDS等、必要に応じて適した方式を適用できる。設定情報51は、可視化部44において、枠等の追加情報を映像に重畳するか否かの情報が格納されている。この設定情報51は、ユーザ等の操作によりあらかじめ設定しておくことができる。
表示装置60は、受信側処理装置40で出力した映像等の内容を表示できる装置である。例えば、液晶ディスプレイ(LCD)、有機EL(OEL)ディスプレイ、タッチパネル等の構成により表示させる。また、表示装置60は、操作ボタンを付属していてもよく、受信側処理装置40や設定情報51の設定を入力できるようにしてもよい。
警報装置70は、受信側処理装置40の処理の結果に基づき表示装置60とは別に映像以外の情報を発報する装置である。警報装置70は、ブザー、スピーカ等の音による発報装置やLED等の発光による発報装置等を適用できる。これらは、重要度に応じて発報方法を変更してもよい。例えば、重要度が高くなると、音を大きくしていく、警告音の種類を変える、光の強さを強くしていく、光を点滅させる、光を点滅の度合いを短くしていく、発光色を変える等である。ここで重要度は監視対象の危険度を含む概念とすることができる。
ネットワーク80は、各装置を結ぶデータ通信可能な回線である。専用線、イントラネット、インターネット等のIPネットワーク等、回線の種類は問わず適用可能である。
<フローチャート>
図3は、本発明の監視システムの送信側の処理の一例を示すフローチャートである。
ここでは、図3のフローチャートを参照して、送信側処理装置20での処理について説明する。
図3は、本発明の監視システムの送信側の処理の一例を示すフローチャートである。
ここでは、図3のフローチャートを参照して、送信側処理装置20での処理について説明する。
まずS101では、撮像装置10であるカメラにおいて、電源ONなどの開始操作を行って被写体を撮像する。撮像された映像は、撮像装置10から送信側処理装置20へ送られ送信側処理装置20が取得する。
次にS102では、画像処理による物体検知の処理が行われる。ここで物体検知とは、撮像された映像における画像中に何かしらの物や人などを検知することを示している。物体検知の際に検知された物体に関する座標も取得する。
物体検知は、予め登録されている対象を特定すればよい。例えば、人であることを特定して、その人の特徴を特定する。また、その人の行動や、特定の物(例えばナイフ等)を所持している人を特定してもよい。また、物であれば、物の特徴を特定することも可能である。また1つのフレームだけでなく、複数のフレームを参照して物体検知を行ってもよい。
物体検知方法としては、各種方法を適用できる。例えばAI(人工知能)を用いて物体検知を特定してもよい。AIの場合の一例をあげれば、例えば、ニューラルネットワークやディープラーニング等を用いて特徴量を抽出する処理等である。学習済みモデルを用いることで、人や物を特定できる。また、あらかじめ定めたパターンに沿って検知する等、AIを用いない方法でも適用できる。
次にS103では、物体検知の処理により、物体が検知されたか否かが判定される。ここで、物体が検知された場合(Yesの場合)は、S104へ進む。一方、物体が検知されない場合(Noの場合)は、S107へ進み、特に情報を重畳することなく映像が送信される。
S104では、検知された物体が定義されているか否かが判定される。ここでは、予め登録されている特定の物や人等の監視対象であるか否かを判定する。これにより検知された物体が監視対象であるか否かを判定できる。検知された物体が定義されている場合(Yesの場合)はS105へ進む。検知された物体が定義されていない場合(Noの場合)はS107に進み、特に情報を重畳することなくそのまま映像が配信される。
検知された物体が定義されているか否かは、検知対象の重要度等を定義するテーブル110を用いる。ここでのテーブル110は、図2のテーブル31が対応している。テーブル110では、検知対象の特徴の情報が記録されており、S102で検知された物体の特徴と一致するか否かを特定することができる。例えば、一致度が所定以上なら、検知された物体が定義されていると判定できる。さらに、テーブル110には、その物体に対する、名称、重要度、表示方法等の情報も格納されている。これにより、検知された物体が定義されていることが判明した場合は、その物体の名称や重要度、表示方法が同時に情報として取得できる。
S105では、検知された物体に関する情報を二次元上にコード化する。二次元上のコード化とは、特定の規則に従って二次元上に表すことができるパターンに変換することを意味する。ここでは、例えば、バーコード(一次元コードまたは二次元コード)やQRコード(二次元コード)等のコードを用いることができる。これらのコードは、検知された物体に関する情報を数値化するなどして、コード内の情報として格納可能である。コード化されたパターンは、例えば、白や黒の2種類の情報の組み合わせの模様として適用することができる。
検知された物体に関する情報は、その物体の名称、重要度、表示方法等である。この情報は、上述したテーブル110に格納されている。名称は、物体が人であれば、その人の属性や名前、行動の状態、物体が物であれば、その物の種類や名称等である。重要度は、その物体の重要度であり、数段階(例えば2段階以上、3段階以上、4段階以上等)に分けて重要度を定義してもよい。表示方法は、その物体に対して受信側処理装置40で表示処理を行う場合の表示方法である。例えば、特定された物体に対して、四角で表示する場合は、物体近傍の4点の座標による四角の枠で覆うことの情報等である。この場合の座標は、S102で取得する。また、表示方法は、重要度に応じて、枠の太さを変更する、枠の色を変更する、枠の点滅の有無や点滅の間隔を変更する等してもよい。
また、検知された物体に関する情報を二次元上にコード化する際に、暗号化を行って、秘匿性を高めてもよい。この場合、コード化する前の情報(数値情報等)に対して暗号化を行う。例えば、送信側処理装置20と受信側処理装置40で同じ鍵を持っておき、乱数にしか見えないような数値に暗号化を行う。この暗号化の際にパスワードなどを設定して第三者が簡単に復号できないようにする。
次に、S106では、二次元上にコード化されたパターンを映像に重畳する。二次元上にコード化されたパターンはS105で作成され、映像はS101で受信した映像である。ここでの重畳は、通常は目視では確認できないが、受信側処理装置40の特定の処理によりコード化されたパターンを取得できる表示方法である。すなわち、映像内の画像の画素の中に不可視な程度の画素値の傾きをかけて、重畳を行う。例えば、コード化されたパターンの色をどんどん薄くしていき、人の目に見えない程度の画素値の差にして、画像上に情報をのせる。ここで、コード化されたパターンは、画像の一部でも可能であるが、画像全体に重畳するとよりよい。このことで、画像数が多くなるため、多くの情報をのせることができる。
次に、S107では、コード化されたパターンを重畳した映像を送信側処理装置20から受信側処理装置40へ送信する。なお、S103で物体を検知していないと判定された場合及びS104で検知された物体が定義されていないと判定された場合は、S101で取得した撮像装置10で撮影されたそのままの映像となる。コード化されたパターンを重畳した映像は、映像内の各画像に情報が入っているため、重畳した情報がない場合と比べて、情報量に変化がほとんど生じない。
図4は、本発明の監視システムの受信側の処理の一例を示すフローチャートである。ここでは、図4のフローチャートを参照して、受信側処理装置40での処理について説明する。
まずS151では、受信側処理装置40の電源ONなどの開始操作が行われた後、送信側処理装置20側から送信された映像は受信側処理装置40で受信する。ここでの映像は、図3のS107で出力された映像である。
次にS152では、S151で受信した映像から二次元上にコード化されたパターンを識別し、コードを抽出する。コード化されたパターンが重畳している場合は、特徴的な色の勾配を備えているため、受信側処理装置40でそれを識別することができる。例えば、送信側処理装置20でどのようなパターンでコード化しているかという情報を受信側処理装置40も保持しておくことで、コード化されたパターンをより的確に抽出することが可能となる。
次にS153では、抽出したコードを復号化し、監視対象である検知物体に関する情報を取得する。ここでのコードは、バーコードやQRコード等のコードであるので、このパターンの情報から数値等の情報を取得できる。さらに、取得した情報が図3のS105で暗号化されている場合は、受信側処理装置40に保存しているパスワードを入力などすることにより復号を行える。復号化された情報は、検知物体に関する情報となる。この数値等の情報の法則をあらかじめ定めておくことで検知物体に関する情報として取得可能とある。ここでの情報は、その物体の名称、重要度、表示方法等である。
S153で検知物体に関する情報を取得した場合は、S154へ行き、サイレン、警告灯等、映像表示以外の方法で警報する機器へのアラート発報を行うことができる。ここでの発報は、受信側処理装置40からの情報に基づき図2で示した警報装置70で行うことができる。
S153の次はS155へ進む。S155では、表示設定情報160を取込み、表示設定情報に基づいて映像表示する際、映像に枠等の重畳表示が許可されているか否かを判定する。表示設定情報160は、受信側処理装置40側に記録されており、図2の記録装置
50の設定情報51が対応している。表示設定情報160は、映像に枠等の追加情報の重畳表示を行ってよいかの情報を保持している。映像に重畳表示が許可されている場合(Yesの場合)は、S156へ進む。映像に重畳表示が許可されていない場合(Noの場合)は、S158に進み、S151で受信したそのままの映像を出力する。
50の設定情報51が対応している。表示設定情報160は、映像に枠等の追加情報の重畳表示を行ってよいかの情報を保持している。映像に重畳表示が許可されている場合(Yesの場合)は、S156へ進む。映像に重畳表示が許可されていない場合(Noの場合)は、S158に進み、S151で受信したそのままの映像を出力する。
S156では、座標や重要度等の情報に基づき検知物体を囲む枠等の追加情報を生成する。ここでの情報は、S153で取得した検知物体に関する情報に基づく。このとき、重要度に応じて、線の太さや色、点滅するか否かを変えるなどして、枠の表示を変更してもよい。例えば、重要度が高い場合は、線の太さを太くする、もしくは、他の色から赤い色に変更する、点滅させる、点滅の間隔を短くする等である。
次にS157では、S156で生成した枠等の追加情報を、映像内の対応する各画像に重畳する。ここでの映像は、S156で受信した映像である。枠は、検知物体に対して覆うことで、ユーザが検知物体を視覚的に識別しやすくする。なお、対象となる検知物体が存在しない画像に対しては、枠は重畳されない。
次にS158では、映像を出力する。ここでの映像は、S157で枠等の追加情報が重畳している場合は、それらが重畳された映像が出力される。S155で映像に重畳表示が許可されていない場合はS156で受信した映像が出力される。出力先は、図2で示した表示装置60等であり、この表示装置で映像の内容を確認できる。
<具体例>
図5は、本発明の監視システムの送信側の処理の具体例を説明する図である。
図5は、本発明の監視システムの送信側の処理の具体例を説明する図である。
図5の(a)は、図3のS101の例で、取得した撮像装置10で撮影された映像内の1つの画像例である画像201を表している。この画像に対して図3のS102の物体検知の処理を行う。ここでの物体検知は、人を特定する検知である例を示している。この物体検知により人物210と人物211の二人の人物が検知される。
図5の(b)は、図3のS104の例で、物体が定義されているか否かが判定される。ここでは、図3のテーブル110を参照して、例えば特徴量等を用いて、この二人の人物210と人物211が定義されているか否かの判定を行う。図5の(b)では、人物210は定義されて、人物211は定義されていなかった場合の例を示している。テーブル110の情報から人物210は、名称が「xx」、重要度が「B」となる。また、座標は、画像内の位置から特定する。図5の(b)では、「(x1,y1),(x1,y2),(x2,y1),(x2,y2)」の例を示している。座標は、人物210の顔の周りを取り囲む座標であり、これは枠の表示方法であることも示している。これらの情報は、検知物体に関する情報230となる。
図5の(c)は、図3のS105の例で、検知物体に関する情報230を二次元上にコード化する。ここでのコードはバーコード240の例を示している。検知物体に関する情報230を数値化するなどして、バーコード240に変換する。このとき、いったん暗号化した数値を用いてバーコード240に変換してもよい。
図5の(d)は、図3のS106の例で、コード化されたパターンを映像に重畳した画像202を示している。具体的には、バーコード240を画像201に重畳する。重畳は、画像201全体にバーコード240をのせるとよい。バーコード240を重畳するとき、人の目には見えないような画素値の傾きをかける。例えば、バーコード240の黒に相当する部分に、256階調であれば、5以内、さらには3以内、さらには1の画素値を追加する等である。このようにして重畳した画像202は、わずかな画素値の違いのため、人の目では識別することができない。
図6は、本発明の監視システムの受信側の処理の具体例を説明する図である。
図6の(a)は、図4のS151の例で、送信側処理装置20側から送信され受信側処理装置40で受信した映像の画像例である画像202を表している。図5の(a)の画像201と比較をすると見た目は同じであるが、コード化されたパターンの情報であるバーコード240の情報が重畳されている。
図6の(b)は、図4のS152の例で、画像202からバーコード240のパターンを識別し、バーコード240を抽出する。
図6の(c)は、図4のS153の例で、バーコード240を復号化して検知物体に関する情報を取得する。バーコード240を識別すると数値等の情報を取得でき、これから検知物体に関する情報に変換される。なお、数値等の情報から検知物体に関する情報への変換は、あらかじめ法則を定めておくとよい。さらに、バーコード240から読み取られた数値等の情報が暗号化されている場合は、パスワードを入力などすることにより復号を行える。
図6の(d)は、図4のS156の例で、監視情報として人物210の顔の周りに枠250を重畳された例を示している。この枠は座標(x1,y1),(x1,y2),(x2,y1),(x2,y2)の情報に基づき形成される。また、重要度がBであることから、この重要度に応じた枠の表示(色や太さ)などで行われる。
以上のように、映像のみの情報で監視情報を伝送できるため、新たな情報を伝送するためのシステムを追加する必要がなく、既存のシステムの流用性が高いものとなる。例えば既存の録画装置をそのまま用いることができる。このとき、受信側処理装置40に送られてきた映像をそのまま録画しても、監視情報は映像上に保持されたままとなり、監視情報を付加するための装置は必要とならない。
さらに、監視情報の秘匿性を高くして送信側処理装置20から映像を伝送することが可能である。このとき、映像上に不可視で重畳していることにより、映像を第三者が取得しても情報の有無を簡単には判別できない。また監視情報を重畳しても映像のデータ量は増加しないため、監視情報が重畳している映像であることがデータ量からも判別することができない。このため、不正アクセスにおけるパケット解析のターゲットとされる可能性が低く、不正アクセスにおいても情報が流出しづらい。
さらに、監視情報を受信側処理装置40側で表示とするか非表示とするかの選択が可能であるため、監視システムの有用性が向上する。例えば、重畳した枠等が監視の確認上邪魔になる場合は、その情報は表示させないようにすることができる。
以上の様に、本発明の実施形態について説明してきたが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
例えば、撮像装置10は、カメラによる構成例を示したが、カメラ以外のセンサによる情報でも適用可能である。
また、図6の(d)では、追加情報として四角の枠による重畳の例を示したが、これ以外に、丸や楕円、多角形、直線、曲線など、監視情報として分かる情報であれば、様々な形状であってよい。また、何等かの形状の枠で重畳する場合、枠内は透明(色なし)でも半透明でも色付きにしてもよい。また、例えば、検知物体を表示したくない場合は、枠内全体を覆うように構成してもよい。このほか文字情報を付加してもよい。
10…撮像装置、20…送信側処理装置、21…物体検知部、22…コード化部、23…重畳部、24…送信部、30…記憶装置、31…テーブル、40…受信側処理装置、41…受信部、42…コード取得部、43…情報取得部、44…可視化部、45…発報部、50…記憶装置、51…設定情報、60…表示装置、70…警報装置、80…ネットワーク、110…テーブル、160…表示設定情報、201、202…画像、210、211…人物、230…検知物体に関する情報、240…バーコード、250…枠、300…コンピュータシステム、302…プロセッサ、302A…処理装置、304…メモリ、306…メモリバス、308…I/Oバス、309…バスインターフェースユニット、310…I/Oバスインターフェースユニット、312…端末インターフェースユニット、314…ストレージインターフェース、316…I/Oデバイスインターフェース、318…ネットワークインターフェース、320…ユーザI/Oデバイス、324…表示システム、326…表示装置、330…ネットワーク、350…潜在因子特定アプリケーション
Claims (8)
- 映像から監視対象を検知する検知部と、
前記検知した対象に関する情報を取得しコード化するコード化部と、
前記コード化した情報を映像上に不可視のパターンとして重畳する重畳部と、
前記重畳部で重畳した映像を送信する送信部と、を備えることを特徴とする監視システム。 - 請求項1に記載の監視システムにおいて、
前記送信部で送信した映像を受信する受信部と、
前記受信部で受信した映像に重畳しているコードを取得するコード取得部と、
前記コード取得部で取得したコードから前記検知した対象に関する情報を取得する情報取得部と、を備えることを特徴とする監視システム。 - 請求項2に記載の監視システムにおいて、
前記情報取得部で取得した情報に基づき前記受信部で受信した映像上に図または文字を含む追加情報を重畳する可視化部を備えることを特徴とする監視システム。 - 請求項3に記載の監視システムにおいて、
前記可視化部は、表示設定情報を取得し、前記表示設定情報の情報に基づき前記追加情報を重畳するか否かを決定することを特徴とする監視システム。 - 請求項2から請求項4のいずれか一項に記載の監視システムにおいて、
前記情報取得部で取得した情報に基づき警報を行う警報装置に情報を発信する発報部を備えることを特徴とする監視システム。 - 請求項1から請求項5のいずれか一項に記載の監視システムにおいて、
前記検知した対象に関する情報は、前記監視対象の重要度の情報を含むことを特徴とする監視システム。 - 映像から監視対象を検知する検知ステップと、
前記検知した対象に関する情報を取得しコード化するコード化ステップと、
前記コード化した情報を映像上に不可視のパターンとして重畳する重畳ステップと、
前記重畳ステップで重畳した映像を送信する送信ステップと、を有することを特徴とする監視方法。 - 請求項7に記載の監視方法において、
前記送信ステップで送信した映像を受信する受信ステップと、
前記受信ステップで受信した映像に重畳しているコードを取得するコード取得ステップと、
前記コード取得ステップで取得したコードから前記検知した対象に関する情報を取得する情報取得ステップと、を有することを特徴とする監視方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022000244A JP2023099952A (ja) | 2022-01-04 | 2022-01-04 | 監視システム及び監視方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022000244A JP2023099952A (ja) | 2022-01-04 | 2022-01-04 | 監視システム及び監視方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023099952A true JP2023099952A (ja) | 2023-07-14 |
Family
ID=87114039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022000244A Pending JP2023099952A (ja) | 2022-01-04 | 2022-01-04 | 監視システム及び監視方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023099952A (ja) |
-
2022
- 2022-01-04 JP JP2022000244A patent/JP2023099952A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Khan et al. | SMSH: Secure surveillance mechanism on smart healthcare IoT system with probabilistic image encryption | |
Padilla-López et al. | Visual privacy protection methods: A survey | |
Baluja | Hiding images within images | |
Templeman et al. | PlaceRaider: Virtual theft in physical spaces with smartphones | |
Yahya | Steganography techniques for digital images | |
CN102859565B (zh) | 用于安全系统恶意干扰检测的方法与系统 | |
Siddiqui et al. | A dynamic three-bit image steganography algorithm for medical and e-healthcare systems | |
US11153624B2 (en) | Method for reading a video stream | |
KR20130126800A (ko) | 캡춰 영상의 프라이버시 보호를 위한 이미지 처리 방법 및 이미지 처리 장치 | |
Ghosal et al. | Application of Lah transform for security and privacy of data through information hiding in telecommunication | |
RU2003118753A (ru) | Системы и способы для защиты выходного сигнала видеоплаты | |
WO2011021113A1 (en) | Electronic book security features | |
Winkler et al. | User-centric privacy awareness in video surveillance | |
KR20050117552A (ko) | 원격 메시지 합성을 인에이블링하는 방법 및 시스템 | |
Abdul-Kareem et al. | Image encryption algorithm based on Arnold transform and chaos theory in the multi-wavelet domain | |
KR20130114037A (ko) | 프라이버시 영역의 마스킹 및 복원 방법 | |
Wang et al. | {CamShield}: Securing Smart Cameras through Physical Replication and Isolation | |
Chen et al. | MobiWear: a plausibly deniable encryption system for wearable mobile devices | |
TW201421279A (zh) | 防止電腦裝置螢幕鍵盤被側錄之方法及裝置 | |
JP3221969U (ja) | 暗号化ギャラリー管理システム | |
JP2023099952A (ja) | 監視システム及び監視方法 | |
CN116756750A (zh) | 医疗敏感数据采集脱敏方法 | |
TWM573474U (zh) | Identification mechanism electronic device | |
Guzman et al. | Privacy and security issues and solutions for mixed reality Applications | |
US11463240B2 (en) | Methods and image processing devices for encoding and decoding private data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240306 |