JP2021177597A - 撮像装置及び撮像システム - Google Patents
撮像装置及び撮像システム Download PDFInfo
- Publication number
- JP2021177597A JP2021177597A JP2020082334A JP2020082334A JP2021177597A JP 2021177597 A JP2021177597 A JP 2021177597A JP 2020082334 A JP2020082334 A JP 2020082334A JP 2020082334 A JP2020082334 A JP 2020082334A JP 2021177597 A JP2021177597 A JP 2021177597A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing unit
- image processing
- personal information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 196
- 238000012805 post-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000005429 filling process Methods 0.000 claims 1
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 8
- 238000001454 recorded image Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】ドローンや車両などの移動体に搭載された撮像装置で撮影した画像の個人情報保護が適切に行えるようにする。【解決手段】移動体に搭載又は内蔵される撮像装置であって、移動体の周囲を撮影するカメラと、カメラが撮影した画像を処理する画像処理部と、画像処理部が処理した画像を伝送又は記録する後処理部とを備え、画像処理部は、カメラが撮影した画像に含まれる個人情報を検出し、個人情報を判別不能にするモザイク処理などの画像処理を施すものである。【選択図】図5
Description
本発明は、撮像装置及び撮像システムに関する。
近年、ドローンと称される飛行体にカメラを搭載して、上空から撮影を行うことが行われている。ドローンの飛行は、現時点では多くの国で何らかの規制がある。例えば日本では、航空法により人家の密集地帯での飛行が禁止されている。しかしながら、今後ドローンの飛行の安全性が確保されれば、規制が緩和され、人家の密集地帯でのドローンの飛行が認められる可能性が高い。
ところで、ドローンに搭載されたカメラは上空から撮像を行うため、地上から撮影した場合には写らない個人情報が撮影画像に含まれる可能性がある。したがって、ドローンに搭載されたカメラで撮影された画像の場合、一般的なカメラとは異なる個人情報の保護機能が必要である。例えば、塀で道路側から隠れた家屋のベランダや、2階以上の階の窓などは、本来は地上からは見えない箇所であり、それらの箇所が撮影されることは好ましくない。
また、ドローンのような飛行体とは別に、撮影画像のプライバシーが問題になる例として、道路を走行する自動車に搭載されるドライブレコーダがある。ドライブレコーダの場合にも、撮影された画像に含まれる個人情報の保護が問題になっている。すなわち、ドライブレコーダで撮影された画像には、人物の顔や、建物の表札などの個人情報が含まれるケースが多々あり、撮影された画像が公開された場合に問題になることがある。
従来、ドローンやドライブレコーダで撮影された画像をネットや放送などで公開する際には、画像中の個人情報が含まれる箇所にモザイクをかける等の編集作業を行った上で、公開するようにしていた。
特許文献1には、飛行船で撮影した監視映像を、飛行船からセンタ装置に無線伝送し、センタ装置に設置された画像処理装置において、プライバシーを保つように低解像度の画像などに変換する技術が記載されている。
特許文献1に記載されるように、プライバシー保護のために、飛行体が撮影した画像に処理を施すことは従来から知られている。しかしながら、上述したドローンにこの技術をそのまま適用したとしても、個人情報の保護が適正に行えない可能性がある。すなわち、通常、ドローンに搭載されたカメラが撮影した画像は、そのドローンを操縦するコントローラに無線伝送され、コントローラ内のメモリなどに記録される。
ここで、特許文献1に記載された画像処理装置をコントローラに内蔵させることで、プライバシー保護がなされた記録画像になる筈である。
ここで、特許文献1に記載された画像処理装置をコントローラに内蔵させることで、プライバシー保護がなされた記録画像になる筈である。
ところが、ドローンから無線伝送される画像信号が不正に別の機器で受信された場合には、その画像信号についてはプライバシー保護のための画像処理が施されていない。このため、結果的に個人情報が保護されていない画像が流出してしまうおそれがある。
もちろん、ドローンからコントローラへの無線伝送時に、画像信号を暗号化して不正受信を防止することは可能であるが、暗号化が破られることは希ではない。
もちろん、ドローンからコントローラへの無線伝送時に、画像信号を暗号化して不正受信を防止することは可能であるが、暗号化が破られることは希ではない。
また、ドローンで撮影した画像は、ドローンの飛行を操縦するために操作者がコントローラ側でリアルタイムにモニタする必要がある。したがって、ドローンで撮影した画像は、暗号化や復号化にそれほど時間を要しないようにする必要があり、あまり強力な暗号化をするのは好ましくない。
自動車用のドライブレコーダの場合にも、ドライブレコーダで記録した画像を利用する際に、プライバシー保護のための画像処理を行うのが一般的であるため、通常はドライブレコーダに画像を記録する際には、プライバシー保護は考慮されていない。
本発明は、これらの点に鑑み、撮影した画像の個人情報保護が適切に行える撮像装置及び撮像システムを提供することを目的とする。
本発明の撮像装置は、移動体に搭載又は内蔵される撮像装置であって、移動体の周囲を撮影するカメラと、カメラが撮影した画像を処理する画像処理部と、画像処理部が処理した画像を伝送又は記録する後処理部とを備え、画像処理部は、カメラが撮影した画像に含まれる個人情報を検出し、個人情報を判別不能にする画像処理を施すものである。
また、本発明の撮像システムは、撮像装置を内蔵した移動体と、撮像装置から伝送される画像信号を受信するコントローラとを備える撮像システムである。
ここで、撮像装置は、移動体の周囲を撮影するカメラと、カメラが撮影した画像に含まれる個人情報を検出し、個人情報を判別不能にする画像処理を施す画像処理部と、画像処理部が処理した画像をコントローラに伝送する伝送処理部と、を備える。
コントローラは、伝送処理部が伝送した画像を受信して表示する表示部と、移動体の移動を操作する操作部と、を備える。
ここで、撮像装置は、移動体の周囲を撮影するカメラと、カメラが撮影した画像に含まれる個人情報を検出し、個人情報を判別不能にする画像処理を施す画像処理部と、画像処理部が処理した画像をコントローラに伝送する伝送処理部と、を備える。
コントローラは、伝送処理部が伝送した画像を受信して表示する表示部と、移動体の移動を操作する操作部と、を備える。
本発明によれば、移動体に内蔵又は搭載されたカメラで撮影した画像が、撮像装置内で個人情報を判別不能にする画像処理が施された上で、伝送又は記録されるため、個人情報の保護を適切に行うことができる。
例えば、記録された画像信号には、既に個人情報が判別できないように画像処理が施されているため、記録された画像信号が公開されても、画像信号に含まれる個人情報は、適切に保護される。また、撮像装置で撮影した画像信号を受信した側では、その受信した画像信号には、既に個人情報が判別できないように画像処理が施されているため、個人情報を適切に保護することができる。
例えば、記録された画像信号には、既に個人情報が判別できないように画像処理が施されているため、記録された画像信号が公開されても、画像信号に含まれる個人情報は、適切に保護される。また、撮像装置で撮影した画像信号を受信した側では、その受信した画像信号には、既に個人情報が判別できないように画像処理が施されているため、個人情報を適切に保護することができる。
以下、本発明の一実施の形態例(以下、「本例」と称する)を、図面を参照して説明する。
[システム構成]
図1は、本例の撮像システムの構成例を示す。
本例の撮像システムは、ドローン100とコントローラ200とで構成される。
ドローン100は、コントローラ200からの指示で飛行する飛行体である。ドローン100は、カメラ101(図2)などで構成された撮像装置を内蔵して、飛行中の周囲を撮影することができる。
コントローラ200は、ドローン100と無線通信を行う端末であり、ドローン100に対して飛行する方向や高度を指示することができる。また、コントローラ200は、ドローン100で撮影した画像信号を受信して、表示を行うことができる。
図1は、本例の撮像システムの構成例を示す。
本例の撮像システムは、ドローン100とコントローラ200とで構成される。
ドローン100は、コントローラ200からの指示で飛行する飛行体である。ドローン100は、カメラ101(図2)などで構成された撮像装置を内蔵して、飛行中の周囲を撮影することができる。
コントローラ200は、ドローン100と無線通信を行う端末であり、ドローン100に対して飛行する方向や高度を指示することができる。また、コントローラ200は、ドローン100で撮影した画像信号を受信して、表示を行うことができる。
[装置の内部構成]
図2は、ドローン100とコントローラ200の内部構成の例を示すブロック図である。
ドローン100は、カメラ101、プロペラ102、無線LANモジュール103、バッテリ104、及びセンサ105を備える。
また、ドローン100は、撮影制御モジュール111、画像処理制御モジュール112、飛行制御モジュール113、データ送受信モジュール114、電源制御モジュール115、第1画像認識処理部121、及び第2画像認識処理部122を備える。
但し、画像認識処理部121,122は、図2では2つの例を示すが、この画像認識処理部の数は一例であり、2つに限定されない。
図2は、ドローン100とコントローラ200の内部構成の例を示すブロック図である。
ドローン100は、カメラ101、プロペラ102、無線LANモジュール103、バッテリ104、及びセンサ105を備える。
また、ドローン100は、撮影制御モジュール111、画像処理制御モジュール112、飛行制御モジュール113、データ送受信モジュール114、電源制御モジュール115、第1画像認識処理部121、及び第2画像認識処理部122を備える。
但し、画像認識処理部121,122は、図2では2つの例を示すが、この画像認識処理部の数は一例であり、2つに限定されない。
カメラ101は、ドローン100の周囲を一定のフレーム周期で撮影する。カメラ101での撮影は、撮影制御モジュール111からの指示に基づいて行われる。
プロペラ102は、飛行制御モジュール113からの指示に基づいて回転し、ドローン100を指示された高度及び方向に飛行させることができる。
プロペラ102は、飛行制御モジュール113からの指示に基づいて回転し、ドローン100を指示された高度及び方向に飛行させることができる。
無線LANモジュール103は、データ送受信モジュール114の制御に基づいて、コントローラ200と無線通信を行う。無線LANモジュール103による無線通信でカメラ101が撮影した画像信号は、コントローラ200に無線伝送される。
また、無線LANモジュール103は、飛行する高度や方向などの飛行についての指示をコントローラ200から受信し、受信した飛行についての指示を、飛行制御モジュール113に供給する。
また、撮影についての指示をコントローラ200から無線LANモジュール103が受信した場合には、無線LANモジュール103は、受信した撮影についての指示を、撮影制御モジュール111に供給する。
また、無線LANモジュール103は、飛行する高度や方向などの飛行についての指示をコントローラ200から受信し、受信した飛行についての指示を、飛行制御モジュール113に供給する。
また、撮影についての指示をコントローラ200から無線LANモジュール103が受信した場合には、無線LANモジュール103は、受信した撮影についての指示を、撮影制御モジュール111に供給する。
バッテリ104は、ドローン100内の各部を作動させるのに必要な電源を供給する。バッテリ104による電源供給やバッテリ残量の管理は、電源制御モジュール115により行われる。
センサ105は、ドローン100の飛行状態を検出し、検出した飛行状態のデータを飛行制御モジュール113に供給する。例えば、センサ105は、ドローン100の地上からの飛行高度を検出する機能を備える。また、センサ105は、GPS(Global Positioning System)などを利用した測位部を備えて、ドローン100の飛行位置を検出する機能を備えてもよい。測位部を備える場合には、センサ105は、測位によって得られた高度(標高)を飛行高度としてもよい。
センサ105は、ドローン100の飛行状態を検出し、検出した飛行状態のデータを飛行制御モジュール113に供給する。例えば、センサ105は、ドローン100の地上からの飛行高度を検出する機能を備える。また、センサ105は、GPS(Global Positioning System)などを利用した測位部を備えて、ドローン100の飛行位置を検出する機能を備えてもよい。測位部を備える場合には、センサ105は、測位によって得られた高度(標高)を飛行高度としてもよい。
撮影制御モジュール111は、コントローラ200から無線伝送で受信した指示に基づいて、カメラ101での撮影を実行させる。例えば、撮影アングルやズーム倍率などの指示を受信したとき、撮影制御モジュール111は、それらの指示に基づいた撮影状態となるようにカメラ101でも撮影を制御する。
なお、コントローラ200側では、ドローン100が飛行中には、カメラ101が撮影した画像をモニタして飛行方向などを指示する必要がある。このため、カメラ101は、ドローン100が飛行中には、常時画像を撮影する。
なお、コントローラ200側では、ドローン100が飛行中には、カメラ101が撮影した画像をモニタして飛行方向などを指示する必要がある。このため、カメラ101は、ドローン100が飛行中には、常時画像を撮影する。
画像処理制御モジュール112は、カメラ101が撮影して取得した画像信号についての処理(画像処理)を実行する画像処理部である。
画像処理制御モジュール112は、画像処理を実行する際には、第1画像認識処理部121や第2画像認識処理部122を使用して、画像内の各領域に含まれる物体や人物を認識する。そして、画像処理制御モジュール112は、認識した結果に基づいて、画像内の一部の領域の個人情報が判別できないように画像処理を実行する。
各画像認識処理部121及び122は、人物や物体を認識する際には、例えば機械学習処理によって認識を行う。また、各画像認識処理部121,122は、飛行制御モジュール113やカメラ101から飛行位置(マップ上の絶対位置)、飛行高度、カメラの向きを取得して、これらのデータを参照して認識するようにしてもよい。各画像認識処理部121、122を使って行われる画像処理の詳細については後述する。
画像処理制御モジュール112は、画像処理を実行する際には、第1画像認識処理部121や第2画像認識処理部122を使用して、画像内の各領域に含まれる物体や人物を認識する。そして、画像処理制御モジュール112は、認識した結果に基づいて、画像内の一部の領域の個人情報が判別できないように画像処理を実行する。
各画像認識処理部121及び122は、人物や物体を認識する際には、例えば機械学習処理によって認識を行う。また、各画像認識処理部121,122は、飛行制御モジュール113やカメラ101から飛行位置(マップ上の絶対位置)、飛行高度、カメラの向きを取得して、これらのデータを参照して認識するようにしてもよい。各画像認識処理部121、122を使って行われる画像処理の詳細については後述する。
そして、画像処理制御モジュール112で画像処理が実行された画像信号は、データ送受信モジュール114の制御により、無線LANモジュール103を介してコントローラ200側に伝送される。データ送受信モジュール114や無線LANモジュール103は、画像処理が行われた画像信号を伝送するための後処理部である。
本例の場合には、無線LANモジュール103から無線伝送される画像信号は、画像処理制御モジュール112で処理された画像信号である。但し、第1画像認識処理部121や第2画像認識処理部122が、撮影した画像内から個人情報を認識できない場合、つまり個人情報が含まれない画像は、画像処理制御モジュール112による個人情報が判別できないようにする画像処理を行わないで、そのまま無線LANモジュール103経由で無線伝送される。
コントローラ200は、無線LANモジュール201、バッテリ202、表示モジュール203、操作モジュール204、電源制御モジュール205、及び記録モジュール206を備える。
無線LANモジュール201は、ドローン100に対して飛行状態や撮影状態などの指令を無線伝送すると共に、ドローン100から無線伝送された画像信号を受信する。
バッテリ202は、電源制御モジュール205の制御に基づいて、コントローラ200の各部を作動させる電源を供給する。
無線LANモジュール201は、ドローン100に対して飛行状態や撮影状態などの指令を無線伝送すると共に、ドローン100から無線伝送された画像信号を受信する。
バッテリ202は、電源制御モジュール205の制御に基づいて、コントローラ200の各部を作動させる電源を供給する。
表示モジュール203は、画像を表示する表示部を備え、ドローン100から伝送された画像を表示すると共に、ドローン100の操作に必要な情報を表示する。
操作モジュール204は、ドローン100の飛行を制御するためのユーザ操作を受け付ける操作部である。なお、操作モジュール204は、表示部に組み込まれたタッチパネルで構成して、画面上のタッチ操作で、飛行のための操作が行えるようにしてもよい。
記録モジュール206は、ドローン100から伝送された画像を、内蔵されたメモリなどに記録する。
操作モジュール204は、ドローン100の飛行を制御するためのユーザ操作を受け付ける操作部である。なお、操作モジュール204は、表示部に組み込まれたタッチパネルで構成して、画面上のタッチ操作で、飛行のための操作が行えるようにしてもよい。
記録モジュール206は、ドローン100から伝送された画像を、内蔵されたメモリなどに記録する。
なお、コントローラ200は、ドローン100の飛行などを操作する専用の装置として構成してもよいが、例えばスマートフォンやタブレット端末などの情報処理端末に、コントローラとして機能するためのアプリケーションプログラムを実装して、ドローン制御用のコントローラとしてもよい。
[撮影した画像の処理]
画像処理制御モジュール112は、第1画像認識処理部121及び第2画像認識処理部122により、カメラ101が撮影した画像内から認識された物体などに基づいて、個人情報が判別できないようにする画像処理を実行する。
次に、この画像処理制御モジュール112は、接続された画像認識処理部121,122で個人情報を判別したとき、予め決められた条件に基づいて、その個人情報が撮影画像から判別できないように画像処理を行う。
ここで、画像処理制御モジュール112が行う画像処理には、例えば該当する個人情報が含まれる領域を、一定画素間隔でモザイク状に色や輝度が変化する画像とするモザイク処理を行って、個人情報が判別できないようにする処理がある。但し、画像処理制御モジュール112がモザイク処理を行うのは一例であり、その他の処理で個人情報が判別できないようにしてもよい。
画像処理制御モジュール112は、第1画像認識処理部121及び第2画像認識処理部122により、カメラ101が撮影した画像内から認識された物体などに基づいて、個人情報が判別できないようにする画像処理を実行する。
次に、この画像処理制御モジュール112は、接続された画像認識処理部121,122で個人情報を判別したとき、予め決められた条件に基づいて、その個人情報が撮影画像から判別できないように画像処理を行う。
ここで、画像処理制御モジュール112が行う画像処理には、例えば該当する個人情報が含まれる領域を、一定画素間隔でモザイク状に色や輝度が変化する画像とするモザイク処理を行って、個人情報が判別できないようにする処理がある。但し、画像処理制御モジュール112がモザイク処理を行うのは一例であり、その他の処理で個人情報が判別できないようにしてもよい。
第1画像認識処理部121と第2画像認識処理部122は、それぞれ設定された対象物(特定の物体または人)を個人情報として判別する。
ここでは、第1画像認識処理部121は、撮影した画像に含まれる人の顔を個人情報として判別し、判別した顔にモザイク処理を行って、個人情報が判別できないようにする。
また、第2画像認識処理部122は、撮影した画像に含まれる特定の対象物を個人情報として判別する。
ここでは、第1画像認識処理部121は、撮影した画像に含まれる人の顔を個人情報として判別し、判別した顔にモザイク処理を行って、個人情報が判別できないようにする。
また、第2画像認識処理部122は、撮影した画像に含まれる特定の対象物を個人情報として判別する。
図3は、第2画像認識処理部122が個人情報として判別する対象物の属性のリストと、対象物の属性ごとの優先順位の設定例を示す。
図3の例のリストでは、優先順位が1位の対象物として、建物の2階以上の窓が設定されている。以下、図3のリストでは、2階以上の階の建物全体、庭、1階の窓、1階の建物全体、玄関、壁、屋根が、それぞれの優先順位と共に設定されている。
図3の例のリストでは、優先順位が1位の対象物として、建物の2階以上の窓が設定されている。以下、図3のリストでは、2階以上の階の建物全体、庭、1階の窓、1階の建物全体、玄関、壁、屋根が、それぞれの優先順位と共に設定されている。
図3に示すリストの優先順位は、対象物にモザイク処理を施す際に、カメラ101が撮影した1フレームの画像に、モザイク処理を施す最大の範囲に制限するために使用される。
すなわち、画像処理制御モジュール112には、モザイク処理を施す最大の範囲として、50%などの値が設定されている。
すなわち、画像処理制御モジュール112には、モザイク処理を施す最大の範囲として、50%などの値が設定されている。
そして、各画像認識処理部121,122は、モザイク処理を施す際に、設定された最大値の領域まで1フレーム内にモザイク処理を施し、それ以上の範囲には対象物があってもモザイク処理を施さないようにする。これは、撮影した画像をコントローラ200側に伝送して、その画像でドローン100を操縦する際に、モザイク処理が施された画像から飛行位置などが判別できなくなることを防ぐためである。
このモザイク処理を施す範囲に制限を行う上で、どの対象物にモザイク処理を施すかは、図3のリストに付与した優先順位で決定される。つまり、各画像認識処理部121,122は、優先順位が高い対象物から順にモザイク処理を施し、設定値(50%など)を超えたとき、そのフレームについてはそれ以上モザイク処理を施さないようにする。
図4は、画像認識処理部121と122において、順に処理が行われる流れを示すフローチャートである。
まず、画像処理制御モジュール112は、カメラ101で1フレームの撮像画像が生成されたか否かを判断する(ステップS1)。このステップS1で、1フレームの撮像画像が生成されたと判断したとき(ステップS1のYES)、画像処理制御モジュール112は、該当する1フレームの画像を取得する(ステップS2)。
まず、画像処理制御モジュール112は、カメラ101で1フレームの撮像画像が生成されたか否かを判断する(ステップS1)。このステップS1で、1フレームの撮像画像が生成されたと判断したとき(ステップS1のYES)、画像処理制御モジュール112は、該当する1フレームの画像を取得する(ステップS2)。
そして、画像処理制御モジュール112は、取得した1フレームの画像を、第1画像認識処理部121へ渡す(ステップS3)。第1画像認識処理部121は、人物の顔の認識処理により対象箇所にモザイク処理を施し、モザイク処理を施した1フレームの画像を、画像処理制御モジュール112に送る(ステップS4)。
その後、画像処理制御モジュール112は、第1画像認識処理部121から取得した1フレームの画像を、第2画像認識処理部122へ渡す(ステップS5)。第2画像認識処理部122は、予め決められた対象物を検出したとき、該当箇所にモザイク処理を施し、モザイク処理を施した1フレームの画像を、画像処理制御モジュール112に送る(ステップS6)。
このようにして1フレームの画像に対するモザイク処理が行われ、画像処理制御モジュール112は、ステップS1に戻って、次の1フレームの画像が供給されるまで待機する。
また、ステップS1で、カメラ101で次の1フレームの撮像画像が生成されないと判断したとき(ステップS1のNO)、画像処理制御モジュール112は、画像処理を終了する。
また、ステップS1で、カメラ101で次の1フレームの撮像画像が生成されないと判断したとき(ステップS1のNO)、画像処理制御モジュール112は、画像処理を終了する。
図5は、第1画像認識処理部121が、撮影した画像に含まれる人の顔を個人情報として判別する際の処理例を示すフローチャートである。
まず、第1画像認識処理部121は、カメラ101が撮影した1フレームの画像に含まれる顔を顔認識処理で検出し、検出した1フレームの画像内の対象物(顔)の面積が100ピクセル×100ピクセル以上か否かを判断する(ステップS11)。このステップS11で、対象物の面積が100ピクセル×100ピクセル以上である場合(ステップS11のYES)、第1画像認識処理部121は、対象物である顔の箇所をモザイクに置き換える画像処理を施す(ステップS12)。
まず、第1画像認識処理部121は、カメラ101が撮影した1フレームの画像に含まれる顔を顔認識処理で検出し、検出した1フレームの画像内の対象物(顔)の面積が100ピクセル×100ピクセル以上か否かを判断する(ステップS11)。このステップS11で、対象物の面積が100ピクセル×100ピクセル以上である場合(ステップS11のYES)、第1画像認識処理部121は、対象物である顔の箇所をモザイクに置き換える画像処理を施す(ステップS12)。
また、第1画像認識処理部121は、顔を検出した場合であっても、対象物(顔)の面積が100ピクセル×100ピクセル未満である場合(ステップS11のNO)、モザイクに置き換える画像処理を実行しない。
第1画像認識処理部121は、図4のフローチャートに示す画像処理を、カメラ101が撮影したすべてのフレームに対して実行する。
第1画像認識処理部121は、図4のフローチャートに示す画像処理を、カメラ101が撮影したすべてのフレームに対して実行する。
図6は、第2画像認識処理部122が、撮影した画像に含まれる対象物を個人情報として判別する際の処理例を示すフローチャートである。
まず、第1画像認識処理部121は、画像解析処理でカメラ101が撮影した1フレームの画像に含まれる対象物を検出する。ここで検出する対象物は、図3のリストに示したものである。
まず、第1画像認識処理部121は、画像解析処理でカメラ101が撮影した1フレームの画像に含まれる対象物を検出する。ここで検出する対象物は、図3のリストに示したものである。
そして、第1画像認識処理部121は、検出した1フレームの画像内の対象物の面積が100ピクセル×100ピクセル以上か否かを判断する(ステップS21)。このステップS21で、対象物の画像内の面積が100ピクセル×100ピクセル以上である場合(ステップS21のYes)、第1画像認識処理部121は、飛行制御モジュール113から現在のドローン100の飛行高度のデータを取得し、高度が2m以上か否かを判断する(ステップS22)。
このステップS22で、飛行高度が2m以上であると判断したとき(ステップS22のYES)、第1画像認識処理部121は、ドローン100の現在位置が道路上か否かを判断する(ステップS23)。このドローン100の現在位置が道路上か否かの判断は、例えばドローン100が持つ地図データと現在の飛行位置のデータから、飛行制御モジュール113によって行われる。
ステップS23で、ドローン100の現在位置が道路上でないと判断したとき(ステップS23のNO)、並びに、ステップS22で、飛行高度が2m未満と判断したとき(ステップS22のNO)、第2画像認識処理部122は、対象物との三次元距離(直線距離)は5m以上か否かを判断する(ステップS24)。ステップS24で、対象物との距離が5m以上でないと判断したとき(ステップS24のNO)、第2画像認識処理部122は、該当する対象物の領域にモザイク処理を施す(ステップS25)。
また、ステップS21で、対象物の画像内の面積が100ピクセル×100ピクセル以上でないと判断したとき(ステップS21のNO)、ステップS23で、ドローン100の現在位置が道路上であると判断したとき(ステップS23のYES)、及びステップS24で、対象物との距離が5m以上であると判断したとき(ステップS24のYES)には、第2画像認識処理部122は、対象物にモザイク処理を施さないで、処理を終了する。
なお、画像認識処理部121及び122でモザイク処理を施した1フレーム内の面積が、上述した設定値(50%など)を超えたときは、画像認識処理部121及び122は、その時点で、そのフレームについてはそれ以上モザイク処理を施さないようにする。
画像認識処理部121及び122でのモザイク処理は、図4で説明した順に実行されるため、例えば第1画像認識処理部121でのモザイク処理で、既に設定値までモザイク処理が行われた場合には、第2画像認識処理部122でのモザイク処理は実行されない。
画像認識処理部121及び122でのモザイク処理は、図4で説明した順に実行されるため、例えば第1画像認識処理部121でのモザイク処理で、既に設定値までモザイク処理が行われた場合には、第2画像認識処理部122でのモザイク処理は実行されない。
上述したように、ドローン100内のカメラ101で撮影した画像は、画像処理制御モジュール112で個人情報が判別できないようにするモザイク処理が施された上で、コントローラ200に伝送され、コントローラ200の表示モジュール203に表示される。また、コントローラ200の記録モジュール206で記録される画像も、モザイク処理が施された画像になる。
ドローン100の操縦者は、コントローラ200の表示モジュール203に表示された画像を見ながら、ドローン100の飛行方向などを操縦することになる。このとき、表示画像には、人物の顔や建物の窓などの個人情報が含まれる箇所は、モザイク処理されているので、個人情報の保護を適切に行うことができる。また、記録される画像も、コントローラ200に表示される画像と同じであり、適切な個人情報の保護を行うことが可能になる。
さらに、万一、ドローン100から無線伝送される画像信号が、不正に別の機器で受信されたとしても、その画像信号も、モザイク処理で個人情報が判別できないようにしてあるため、人の顔などの個人情報が含まれる画像が流出することがない。
また、モザイク処理を施す際には、1フレーム内の処理面積が設定値までに制限するようにしたため、ドローン100の操縦者は、コントローラ200の表示モジュール203に表示される画像を見て、最低限の画像内容の判別が可能であり、画像処理で操縦ができなくなるといった事態の発生を防止することができる。
[変形例]
なお、本発明は、上述した実施の形態例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、変形や変更が可能である。
例えば、図3に示した対象物や優先順位は一例であり、画像処理制御モジュール112は、その他のものをモザイク処理する対象物としてもよい。
例えば、画像処理制御モジュール112は、家の表札、車のナンバープレート、ベランダ、道路(地上)から見えない部屋の窓、洗濯物などのプライベート空間内のものや、プライベート空間そのものを、モザイク処理する対象物としてもよい。
なお、本発明は、上述した実施の形態例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、変形や変更が可能である。
例えば、図3に示した対象物や優先順位は一例であり、画像処理制御モジュール112は、その他のものをモザイク処理する対象物としてもよい。
例えば、画像処理制御モジュール112は、家の表札、車のナンバープレート、ベランダ、道路(地上)から見えない部屋の窓、洗濯物などのプライベート空間内のものや、プライベート空間そのものを、モザイク処理する対象物としてもよい。
また、上述した実施の形態例では、1フレーム内の処理面積が設定値に達したとき、それ以上モザイク処理を施さないようにした。これに対して、画像認識処理部121,122は、1フレーム内でモザイク処理を施す面積が増えた場合には、モザイク処理を施す際の1つのモザイクのサイズを小さくした低解像度画像としてもよい。但し、その場合でも、ドローン100の操縦者は、飛行の操縦がそれなりに可能な画像とする必要がある。
また、コントローラ200からの指示で、画像処理制御モジュール112は、画像内の特定箇所のモザイク処理を解除してもよい。例えば、コントローラ200の表示モジュール203で表示された画像内の特定箇所が操縦者のタッチ操作で指定されたとき、画像処理制御モジュール112は、該当箇所のモザイク処理を解除して、コントローラ200に伝送し、操縦を邪魔するようなモザイク処理を施さないようにしてもよい。
また、ドローン100は、画像処理が施された画像信号をコントローラ200に無線伝送するようにしたが、ドローン100内に記録モジュールを設けて、画像処理が施された画像信号を記録モジュールが記録してもよい。
また、ドローン100又はコントローラ200は、外部から何らかの緊急信号を受信した場合には、モザイク処理を施さないようにしてもよい。
さらに、画像認識処理部121,122は、予め登録された人物や物体については、モザイク処理を施す対象物から除外してもよい。
さらに、画像認識処理部121,122は、予め登録された人物や物体については、モザイク処理を施す対象物から除外してもよい。
また、上述した実施の形態例では、2つの画像認識処理部121及び122を設置した例について説明したが、より多くの数の画像認識処理部を設置して、それぞれの画像認識処理部で、より細かく対象物を検出してモザイク処理を施すようにしてもよい。この場合、画像処理制御モジュール112は、複数の画像認識処理部で、画像から対象物を検出するアルゴリズムを変更するようにしてもよい。例えば、特定の1つの画像認識処理部では、ディープラーニングによって、画像から対象物を検出するようにしてもよい。
また、上述した実施の形態例では、個人情報を判別できなくする処理として、該当箇所にモザイク処理を施す例について説明した。これに対して、個人情報を判別できなくする処理として、その他の処理を施してもよい。例えば、画像処理制御モジュール112は、個人情報が含まれる領域を単色などで塗りつぶす処理、個人情報が含まれる領域を輪郭線で示した画像とするワイヤーフレーム化する処理、または個人情報が含まれる領域をアニメーション画像化する処理を行ってもよい。あるいは、これらの処理を組み合わせてもよい。
また、上述した実施の形態例では、カメラ101は、ドローン100に内蔵されたものとした。これに対して、ドローン100に外付けされたカメラであっても、同様に処理してもよい。
さらに、本発明の撮像装置や撮像システムの適用例として、ドローンを適用した点についても一例であり、その他の移動体としての撮像装置や撮影システムに適用してもよい。例えば、ドライブレコーダと称される自動車に搭載される撮像装置に、本発明は適用してもよい。
さらに、本発明の撮像装置や撮像システムの適用例として、ドローンを適用した点についても一例であり、その他の移動体としての撮像装置や撮影システムに適用してもよい。例えば、ドライブレコーダと称される自動車に搭載される撮像装置に、本発明は適用してもよい。
100…ドローン、101…カメラ、102…プロペラ、103…無線LANモジュール、104…バッテリ、105…センサ、111…撮影制御モジュール、112…画像処理制御モジュール、113…飛行制御モジュール、114…データ送受信モジュール、115…電源制御モジュール、121…第1画像認識処理部、122…第2画像認識処理部、200…コントローラ、201…無線LANモジュール、202…バッテリ、203…表示モジュール、204…操作モジュール、205…電源制御モジュール、206…記録モジュール
Claims (8)
- 移動体に搭載又は内蔵される撮像装置であって、
前記移動体の周囲を撮影するカメラと、
前記カメラが撮影した画像を処理する画像処理部と、
前記画像処理部が処理した画像を伝送又は記録する後処理部と、を備え、
前記画像処理部は、前記カメラが撮影した画像に含まれる個人情報を検出し、前記個人情報を判別不能にする画像処理を施すようにした
撮像装置。 - 前記個人情報が含まれている領域を判別不能にする画像処理は、モザイク処理、単色で塗りつぶす処理、ワイヤーフレーム化する処理、アニメーション画像化する処理のいずれかである
請求項1に記載の撮像装置。 - 前記画像処理部は、前記移動体の現在位置の属性を取得し、取得した属性に基づいて、撮影した画像内の所定領域を個人情報が含まれている領域と判定する
請求項1又は2に記載の撮像装置。 - 前記画像処理部は、前記移動体の現在の高さ情報を取得し、取得した高さ情報に基づいて、撮影した画像内の所定領域を個人情報が含まれている領域と判定する
請求項1又は2に記載の撮像装置。 - 前記画像処理部は、撮影した画像内の対象物までの距離を検出し、検出した距離に基づいて、撮影した画像内の所定領域を個人情報が含まれている領域と判定する
請求項1又は2に記載の撮像装置。 - 前記画像処理部は、前記カメラが撮影した画像の画面全体に対する前記画像処理が施された領域の比率が、予め設定した所定値以下となるように、前記画像処理が行われる領域を制限する
請求項1〜5のいずれか1項に記載の撮像装置。 - 前記画像処理が施された領域の比率が、予め設定した所定値以下となるように、前記画像処理が行われる領域を制限する際には、予め設定した対象物の優先順位に基づいて、制限する領域を選択する
請求項6に記載の撮像装置。 - 撮像装置を内蔵した移動体と、前記撮像装置から伝送される画像信号を受信するコントローラとを備える撮像システムであり、
前記撮像装置は、
前記移動体の周囲を撮影するカメラと、
前記カメラが撮影した画像に含まれる個人情報を検出し、前記個人情報を判別不能にする画像処理を施す画像処理部と、
前記画像処理部が処理した画像を前記コントローラに伝送する伝送処理部と、を備え、
前記コントローラは、前記伝送処理部が伝送した画像を受信して表示する表示部と、
前記移動体の移動を操作する操作部と、を備える
撮像システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020082334A JP2021177597A (ja) | 2020-05-08 | 2020-05-08 | 撮像装置及び撮像システム |
US17/221,922 US20210350159A1 (en) | 2020-05-08 | 2021-04-05 | Imaging device and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020082334A JP2021177597A (ja) | 2020-05-08 | 2020-05-08 | 撮像装置及び撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021177597A true JP2021177597A (ja) | 2021-11-11 |
Family
ID=78409596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020082334A Pending JP2021177597A (ja) | 2020-05-08 | 2020-05-08 | 撮像装置及び撮像システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210350159A1 (ja) |
JP (1) | JP2021177597A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7478622B2 (ja) * | 2020-08-20 | 2024-05-07 | 本田技研工業株式会社 | 情報処理装置、その情報処理方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6379811B2 (ja) * | 2014-07-30 | 2018-08-29 | カシオ計算機株式会社 | 表示装置、表示制御方法及び表示制御プログラム |
JP7143661B2 (ja) * | 2018-07-24 | 2022-09-29 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び制御方法 |
KR102182806B1 (ko) * | 2020-01-15 | 2020-11-25 | 주식회사 포드론 | 드론에 의하여 촬영된 영상을 관리하는 방법, 장치 및 시스템 |
-
2020
- 2020-05-08 JP JP2020082334A patent/JP2021177597A/ja active Pending
-
2021
- 2021-04-05 US US17/221,922 patent/US20210350159A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20210350159A1 (en) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2977843B1 (en) | Robot cleaner and method for controlling it | |
JP7052583B2 (ja) | 監視システム | |
JP4470992B2 (ja) | 映像管理システム | |
US10187611B2 (en) | Video surveillance system with aerial camera device | |
KR101397453B1 (ko) | 영상 감시 시스템 및 그 방법 | |
JP6155032B2 (ja) | 撮影システム | |
EP2717571A1 (en) | Vehicle monitoring device and method of monitoring vehicle | |
KR101363066B1 (ko) | 무인비행체를 이용한 우범지역 감시시스템 | |
US10455187B2 (en) | 360° Camera system | |
JP2008160496A (ja) | 監視システム | |
US11112798B2 (en) | Methods and apparatus for regulating a position of a drone | |
KR102335994B1 (ko) | 드론 감시를 위한 촬영 감시 장치들의 통합 제어 장치 | |
KR20200132137A (ko) | 움직임 감지와 레이더 센서를 이용한 탐지 객체 위치 산출 장치 | |
JP2021177597A (ja) | 撮像装置及び撮像システム | |
JP4850108B2 (ja) | 船内監視記録システム | |
JP2016118994A (ja) | 監視システム | |
KR101746579B1 (ko) | 드론을 이용한 차량 블랙박스 시스템 | |
JP2009301175A (ja) | 監視方法 | |
JP6482853B2 (ja) | 画像処理装置 | |
WO2017082388A1 (ja) | セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体 | |
US20120120242A1 (en) | Security-enhanced cctv system | |
KR101445361B1 (ko) | 현장 모니터링 장치 | |
JP2020057981A (ja) | 画像作成システム、画像作成装置、及び画像作成装置の制御方法 | |
CN111862576A (zh) | 追踪嫌疑目标的方法及相应的车辆、服务器、系统和介质 | |
JP2016119629A (ja) | 画像取得装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240813 |