JP2019207636A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】保護対象を特定することができない態様に画像を処理することができる画像処理装置、画像処理方法及びプログラムを提供すること。【解決手段】自律移動可能な画像処理装置（無人飛行体１）は、多数の人間の画像を機械学習して得た保護対象の特徴を示す学習結果情報を記憶する記憶部５２と、外部を撮影して撮影データを取得する撮影データ取得手段と、撮影データ中の物体の特徴を抽出し、学習結果情報に基づいて、物体が保護対象であるか否かを認識する認識手段と、物体が保護対象であると認識した場合に、物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段と、を有する。【選択図】図６

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、小型無人飛行装置（ドローンとも呼ばれる）の利用が提案されている。

特開２００４−２５６０２０号公報

ドローンの用途の一つとして、空中から地上を撮影する空撮がある。空撮の業務を行う際に、通行人の顔や自動車のナンバープレートなど、業務とは無関係であり、撮影が制限されるべき対象（以下、「保護対象」という。）を撮影してしまうなど、肖像権やプライバシー権の問題を含め、無関係の人と争いが生じる場合がある。

本発明はかかる問題の解決を試みたものであり、保護対象を特定することができない態様に画像を処理することができる画像処理装置、画像処理方法及びプログラムの提供を目的とする。

第一の発明は、自律移動可能な画像処理装置であって、多数の保護対象の画像を機械学習して得た前記保護対象の特徴を示す学習結果情報を記憶する学習結果情報記憶手段と、外部を撮影して撮影データを取得する撮影データ取得手段と、前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が前記保護対象であるか否かを認識する認識手段と、前記物体が前記保護対象であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段と、を有する画像処理装置である。

第一の発明の構成によれば、画像処理装置は、認識手段によって、撮影データ中の物体の特徴を抽出し、学習結果情報に基づいて、物体が保護対象であると認識する。物体が保護対象であると認識する技術は、その物体が、自動車や犬などの他のカテゴリーに属するのではなく、例えば、保護対象としての「人間」というカテゴリーに属することを特定する技術であり、一般物体認識と呼ばれる。画像処理装置は、撮影データ中の人間が、正面向きではなく、横を向いていたり、後を向いていても、あるいは、遠方に位置して顔を判別できない場合であっても、「人間」であると認識することができる。そして、画像処理装置は、撮影データ中の物体が保護対象であると認識すると、ピクセル化手段によって、物体の一部または全部を不鮮明にする処理であるピクセル化を行うことができる。これにより、保護対象を特定することができない態様に画像を処理することができる。

第二の発明は、第一の発明の構成において、前記保護対象は人間であり、前記ピクセル化を行わない人間を複数の角度から撮影して取得した複数の画像を機械学習して得た特徴である非対象情報を有し、前記認識手段は、前記物体が人間であると認識した場合に、さらに、前記非対象情報を参照し、前記ピクセル化を行う対象であるか否かを判断するように構成されており、前記ピクセル化手段は、前記認識手段が前記ピクセル化を実施する対象であると判断した場合に、前記物体のピクセル化を行うように構成されている、画像処理装置である。

第二の発明の構成によれば、画像処理装置は、画像認識における一般物体認識によって、物体が人間であるか否かを判断すると、非対象情報を参照して、物体がピクセル化を行わない人間か否かを判断する。この処理は、特定物体認識と呼ばれるものであり、物体の同一性を判断する処理である。例えば、撮影業務を行う組織の関係者など、ピクセル化を行わずに画像に表示する人間を特定物体認識によって判断する。非対象情報は、ピクセル化を行わずに画像に表示する人間を複数の角度から撮影して取得した複数の画像を機械学習して得た特徴であるから、その人間の正面、側面、あるいは、背面の特徴を含む。このため、その人間がいずれの方向を向いていても、ピクセル化を実施する対象であるか否かを判断することができる。これにより、画像処理装置は、ピクセル化を行う必要がある無関係の人間についてだけピクセル化を行うことができる。

第三の発明は、第二の発明の構成において、前記認識手段は、前記撮影データ中の特定の物体が前記非対象情報に示される特定の人間であると判断した場合には、当該特定の人間以外の前記非対象情報を参照し、前記撮影データ中の他の物体が前記非対象情報に示される人間かを判断し、前記非対象情報に示されるすべての人間について、前記撮影データ中の物体との同一性を判断した場合には、当該同一性を有すると判断した人間以外のすべての人間について、前記ピクセル化を行うように構成されている、画像処理装置である。

第三の発明の構成によれば、特定物体認識を行う対象を徐々に減少させていき、ピクセル化を行わない人間をすべて特定した後は、「人間」というカテゴリーに属する物体について、特定物体認識を行うことなく、ピクセル化を行うことができる。

第四の発明は、第二の発明の構成において、前記ピクセル化を行わない人間の服装を示す非対象服装情報を有し、前記認識手段は、人間であると認識した前記物体の一部が前記非対象服装情報に示される前記服装と一致するか否かを判断するように構成されており、前記ピクセル化手段は、前記物体の一部が前記非対象服装情報に示される前記服装と一致しない場合に当該物体に対して前記ピクセル化を実施し、前記物体の一部が前記非対象服装情報に示される前記服装と一致する場合に当該物体に対して前記ピクセル化を実施しないように構成されている、画像処理装置である。

第四の発明の構成によれば、画像処理装置は、非対象服装情報を参照して、例えば、撮影業務を行う組織の関係者など、ピクセル化を行わずに画像に表示する人間を判断し、ピクセル化を行う必要がある無関係の人間についてだけピクセル化を行うことができる。すなわち、物体が「人間」というカテゴリーに属することを認識すれば、個々の人間の特徴を抽出する必要はなく、非対象服装情報に示される服装との同一性を判断すれば足りるから、迅速にピクセル化を実施することができる。

第五の発明は、第二の発明乃至第四の発明のいずれかの構成において、過去に前記ピクセル化を実施した人間の服装を示す対象服装情報を有し、前記認識手段は、人間であると認識した前記物体の一部が前記対象服装情報に示される前記服装と一致するか否かを判断するように構成されており、前記ピクセル化手段は、物体が前記対象服装情報に示される前記服装と一致する場合に当該物体に対して前記ピクセル化を実施する、画像処理装置である。

第五の発明の構成によれば、画像処理装置は、過去にピクセル化を実施した人間の服装を示す対象服装情報を参照して、過去にピクセル化を行った人間に対してピクセル化を実施することができる。すなわち、過去にピクセル化を行った人間については、個々の人間の特徴を抽出する必要はなく対象服装情報に示される服装との同一性を判断すれば足りるから、迅速にピクセル化を実施することができる。

第六の発明は、多数の人間の画像を機械学習して得た人間の特徴を示す学習結果情報を記憶する学習結果情報記憶手段と、自律移動可能な無人移動体が、外部を撮影して取得した撮影データを受信する撮影データ受信手段と、前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が人間であるか否かを認識する認識手段と、前記物体が人間であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段と、を有する画像処理装置である。

第六の発明の構成によれば、無人移動体が撮影データを取得し、画像処理装置がその撮影データにピクセル化を行うことができる。すなわち、無人移動体は、撮影データの取得及び画僧処理装置への送信を行うだけで足りる。

第七の発明は、第一の発明乃至第六の発明のいずれかの構成において、前記認識手段は、深層学習（ディープラーニング）によって生成されたデータを参照する画像処理装置である。

第八の発明は、自律移動可能な画像処理装置が、多数の人間の画像を機械学習して得た保護対象の特徴を示す学習結果情報を記憶する学習結果情報記憶ステップと、外部を撮影して撮影データを取得する撮影データ取得ステップと、前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が前記保護対象であるか否かを認識する認識ステップと、前記物体が前記保護対象であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化ステップと、を実施する画像処理方法である。

第九の発明は、自律移動可能な画像処理装置を制御するコンピュータを、多数の人間の画像を機械学習して得た保護対象の特徴を示す学習結果情報を記憶する学習結果情報記憶手段、外部を撮影して撮影データを取得する撮影データ取得手段、前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が前記保護対象であるか否かを認識する認識手段、前記物体が前記保護対象であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段、として機能させるためのプログラムである。

以上のように、本発明によれば、保護対象を特定することができない態様に画像を処理することができる。

本発明の第一の実施形態の作用を示す概略図である。 本発明の第一の実施形態の作用を示す概略図である。 本発明の第一の実施形態の作用を示す概略図である。 ピクセル化の方法の一例を示す概略図である。 無人飛行装置の構成を示す概略図である。 無人飛行装置の機能ブロックを示す概略図である。 機械学習の工程を示す概略フローチャートである。 無人飛行装置の動作を示す概略フローチャートである。 本発明の第二の実施形態の作用を示す概略図である。 本発明の第二の実施形態の作用を示す概略図である。 本発明の第二の実施形態の作用を示す概略図である。 無人飛行装置の動作を示す概略フローチャートである。

＜第一の実施形態＞
以下、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。

図１乃至図３に示す無人機１は、プロペラの回転によって推力を得て、所定の経路を自律飛行する無人飛行体である。無人機１は、無人機１を管理する基地局（図示せず）からの指示で飛行を開始し、また、基地局において充電等を行うようになっている。無人機１は、自律移動可能な画像処理装置の一例である。

無人機１は、図１乃至図３に示す町の様子を撮影する撮影業務を行うものとする。無人機１が外部を撮影して取得した画像データは撮影データの一例である。町には、建物３００Ａ及び３００Ｂ、街路灯３０２Ａ乃至３０２Ｄがあり、人間２００Ａ乃至２００Ｉ、自動車２０２が存在する。無人機１が行う撮影業務において、人間２００Ａ等や自動車２０２のナンバープレートが画像に映りこむと、肖像権やプライバシー権等の問題を生じる場合がある。この点、無人機１は、保護対象を特定することができない態様に画像を処理することができるように構成されている。保護対象は、肖像権やプライバシー権等の保護の観点から、撮影が制限されるべき対象である。保護対象は、人間や自動車のナンバープレートに限定されず、例えば、住居の住所表示等を含む。

無人機１は、図２に示すように、撮影して取得した画像データにおいて、保護対象である人間２００Ａ等及び自動車２０２のナンバープレートを認識し、画像データの他の部分と区別する。無人機１は、人間については、人間２００Ａ等の顔だけを認識するのではなく、衣服を含む体全体を認識し、人間２００Ａ等が自動車や犬ではなく、「人間」というカテゴリーに属する物体であることを認識する。そして、無人機１は、図３に示すように、人間２００Ａ等及び自動車２０２のナンバープレートを不鮮明にする処理であるピクセル化を行う。ピクセル化は、モザイクをほどこす処理、あるいは、ぼかしとも呼ばれる処理である。ピクセル化は、図３に示すように、人間については、人間２００Ａ等の体全体に対して行ってもよいし、人間２００Ａ等の顔の部分を特定し、顔の部分にのみ行うようにしてもよい。

ピクセル化の方法は公知の技術を使用する。例えば、図４（ａ）に示すように、人間２００Ｈの顔がピクセルＰ１等に投影されている場合、左上のピクセルＰ１の平均の色を算出し、図４（ｂ）に示すように、すべてのピクセルＰ１等に適用する。

図５に示すように、無人機１は、筐体２を有する。筐体２には、無人機１の各部を制御するコンピュータ、自律飛行装置、無線通信装置、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの航法衛星システムからの測位用電波を利用する測位装置、慣性センサー、電子コンパス、気圧センサー、バッテリー等が配置されている。また、筐体２には、固定装置１２を介して、カメラ１４が配置されている。

無人機１は、カメラ１４によって、外部の画像を取得する。カメラ１４は、可視光カメラであるが、これとは異なり、マルチスペクトルカメラであってもよい。固定装置１２は、カメラ１４による撮影画像のぶれを最小化し、かつ、カメラ１４の光軸を任意の方向に制御することができる３軸の固定装置（いわゆる、ジンバル）である。カメラ１４は、撮影データ取得手段の一例である。

筐体２には、丸棒状のアーム４が接続されている。各アーム４にはモーター６が接続されており、各モーター６にはプロペラ８が接続されている。各モーター６は、直流モーター（ブラシレスＤＣモーター）である。各モーター６は、筐体２内の自律飛行装置によってそれぞれ独立して制御され、無人機１を上下水平方向の移動や空中での停止（ホバリング）及び姿勢制御を自在に行うことができるようになっている。

アーム４には保護枠１０が接続され、プロペラ８が外部の物体に直接接触することを防止している。アーム４及び保護枠１０は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。

図６は、無人機１の機能構成を示す図である。無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０、記憶部５２、無線通信部５４、衛星測位部５６、慣性センサー部５８、画像処理部６０、駆動制御部６２、及び、電源部６４を有する。

無人機１は、無線通信部５４によって、基地局７０と通信可能になっている。無人機１は、無線通信部５４によって、基地局７０から、発進等の指示を受信する。基地局７０は、コンピュータで構成されている。

無人機１は、衛星測位部５６と慣性センサー部５８によって、無人機１自体の位置を測定することができる。衛星測位部５６は、基本的に、４つ以上の航法衛星からの測位用電波を受信して無人機１の位置を計測する。衛星測位部５６は、現在位置を測位する測位手段の一例である。慣性センサー部５８は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの無人機１の移動を積算して、無人機１の位置を計測する。無人機１自体の位置情報は、無人機１の移動経路の決定及び自律移動のために使用するほか、画像処理部６０によって撮影した画像データと座標（位置）とを紐づけするために使用する。

駆動制御部６２によって、無人機１は各モーター６（図３参照）に接続されたプロペラ８（図６参照）の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。

画像処理部６０によって、無人機１はカメラ１４（図５参照）を作動させて外部の画像を取得し、取得した画像データ（撮影データ）を処理する。

電源部６４は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。

記憶部５２には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラムのほか、以下のデータ及びプログラムが格納されている。

記憶部５２には、学習結果データ、画像認識プログラム、及び、ピクセル化プログラムが格納されている。学習結果データは学習結果情報の一例であり、記憶部５２は学習結果情報記憶手段の一例である。ＣＰＵ５０と画像認識プログラムは、認識手段の一例である。ＣＰＵ５０とピクセル化プログラムは、ピクセル化手段の一例である。

学習結果データは、多数の保護対象の画像を機械学習して得た保護対象の特徴を示すデータである。以下、保護対象は人間であるとして説明する。学習結果データは、予め生成する。すなわち、学習結果データは、無人機１が生成する必要はなく、外部のコンピュータが生成する。外部のコンピュータは、例えば、基地局７０を構成するコンピュータである。本実施形態においては、基地局７０が、多数の人間の学習用画像を機械学習する。基地局７０は、学習用画像を学習して、人間の特徴を示す特徴データを獲得し、学習結果データを生成する。

基地局７０が実施する機械学習の方式は、例えば、深層学習（ディープラーニング）を採用する。深層学習とは、多層構造のニューラルネットワークを用いた機械学習であり、画像認識の分野が有力な活用分野の一つである。ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｌｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。畳み込みニューラルネットワークは、入力層（ｉｎｐｕｔ ｌａｙｅｒ）、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）、プーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）、全結合層（ｆｕｌｌｙ ｃｏｎｎｅｔｃｅｄ ｌａｙｅｒ）、出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）から構成され、畳み込み層とプーリング層は複数回繰り返して深い層を形成し、その後の全結合層も複数層続く。ディープラーニングによって、大量のデータに基づいて、自動的にどのような情報に着目すればよいのかを決定し、特徴データを獲得することができる。

以下、図７を参照して、学習結果データの生成方法の概略を説明する。学習用画像がコンピュータのモデルに入力されると（図７のステップＳ１）、ディープラーニングのアルゴリズムによって学習が実施される（ステップＳ２）。学習用画像は、老若男女の相違を含む多数の種類の人間の画像である。また、学習用画像は、人間を正面から視た画像のみならず、側面から視た画像や背面から視た画像など、様々な角度からの画像を含む。また、学習用画像は、人間を近距離から視た画像のみならず、顔を判別できないような遠距離から視た画像も含む。ステップＳ２において、学習用画像中の物体の投影態様の輪郭や個々の構成の方向といった特徴が多数抽出され、学習が実施される。多数の特徴には、人間を正面から視た特徴のみならず、側面から視た特徴や背面から視た特徴など、様々な角度からの特徴、及び、人間を近距離から視た特徴のみならず、顔を判別できないような遠距離から視た特徴を含む。学習の結果、モデルの内部構造が変化する。具体的には、モデルの重みの値が変化する。学習の結果、学習結果データが生成される（ステップＳ３）。

基地局７０は、上記のようにして学習結果データを生成する。無人機１は、上記のようにして生成された学習結果データを基地局７０から受信し、記憶部５２に記憶している。

学習結果データは、多数種類の物体のカテゴリーの中の「人間」というカテゴリーの特徴を示す多数の特徴データで構成される。多数種類の物体のカテゴリーは、例えば、犬、猫、カラス、自動車等であり、「人間」はカテゴリーの一つである。

無人機１は、画像認識プログラムによって、カメラ１４で取得した画像データ中の物体の特徴を抽出し、学習結果データに基づいて、その物体が「人間」のカテゴリーに属するか否かを認識する。このカテゴリーの認識を一般物体認識と呼ぶ。

例えば、図１に示すように、建物３００Ａ等、街路灯等３０２Ａ等、人間２００Ａ等が町に存在する場合に、人間２００Ａ等を「人間」として認識する処理が一般物体認識である。

一般物体認識においては、カメラ１４で取得した画像について、例えば、輪郭や個々の構成の方向といった特徴を多数抽出し、ディープラーニングで取得して記憶部５２に格納している学習結果データ中の「人間」のカテゴリーの特徴と対比して、相関性（相関度）を判断する。相関度が高いほど、取得した画像データ中の物体が「人間」のカテゴリーと同一である可能性が高い。例えば、相関度が０の場合には、「人間」のカテゴリーである可能性（以下、「カテゴリー共通確率」と呼ぶ。）は０％として、相関度が最大値を示すときに、カテゴリー共通確率が１００％であると定義する。無人機１は、カテゴリー共通確率が所定の基準値である、例えば、９５％以上であるときに、取得した画像データ中の物体のカテゴリーが、「人間」のカテゴリーと同一であると判断する。

無人機１は、画像認識プログラムによって、図１に示す画像データに含まれる物体のうち、人間を認識し、図２に示すように画像データの他の部分と区別する。無人機１は、人間２００Ａのように横向きの人間も「人間」であると認識することができ、人間２００Ｆのように遠距離に位置し、顔が判別できない場合であっても「人間」であると認識することができる。

無人機１は、ピクセル化プログラムによって、図３に示すように、人間２００Ａ等の全体をピクセル化する。顔が判別できる場合には、特定の個人を特定し易いため、肖像権やプライバシー権の問題が生じやすい。しかし、顔が判別できない場合であっても、撮影業務と無関係の人間を画像データに投影することは、争いの原因になることがあるところ、無人機１は、顔が判別できるか否かに関わらず、撮影業務と無関係な人間についてピクセル化を行うことができる。

以下、図８を参照して、無人機１の動作を説明する。無人機１は、発進すると（図８のステップＳＴ１）、測位を行い（ステップＳＴ２）、目標位置の近傍に到達したと判断すると（ステップＳＴ３）、カメラ１４によって画像取得を行い（ステップＳＴ４）、画像データ中の物体について画像認識を行う（ステップＳＴ５）。無人機１は、一般物体認識によって、画像データ中の物体が人間であると判断すると（ステップＳＴ６）、ピクセル化を実施し（ステップＳＴ７）、人間ではないと判断すると、ピクセル化を実施しない（ステップＳＴ８）。無人機１は、所定時間の経過や、基地局７０からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ９）、基地局７０の位置に帰還する（ステップＳＴ１０）。

＜第二の実施形態＞
第二の実施形態について、第一の実施形態と異なる部分を中心に、説明する。

第二の実施形態においては、図１の人間２００Ａ乃至２００Ｉのうち、人間２００Ｂ及び２００Ｇは、無人機１による撮影業務の関係者である。無人機１は、人間２００Ｂ及び２００Ｇがレポーターとして町を歩き、町の様子を説明する状態を撮影する。以下、人間２００Ｂ及び２００Ｇを総称して「関係者」とも呼ぶ。無人機１は、画像データ中の関係者にはピクセル化を行わない。これに対して、無人機１は、撮影業務とは関係のない人間２００Ａ、２００Ｃ乃至２００Ｆ、２００Ｈ及び２００Ｉ（以下、「無関係者」とも呼ぶ。）が画像データ中に映りこんだ場合には、ピクセル化を行う。すなわち、無人機１は、画像データ中の物体が「人間」のカテゴリーに属するか否かの判断に加えて、特定の人間（関係者）か否かの判断を行うように構成されている。

無人機１の記憶部５２（図６参照）には、第一の実施形態のデータ及びプログラムに加えて、関係者データが格納されている。関係者データは、非対象情報の一例である。

関係者データは、ピクセル化を行わない人間の画像を機械学習して得た多数の特徴データによって構成される。関係者データを生成するための画像は、関係者（人間２００Ｂ及び２００Ｇ）の正面、側面、背面など、様々な角度から撮影して得た画像である。このため、関係者データは、関係者を様々な角度から視た特徴を示す特徴データを含む。関係者データは、上述の学習結果データと同様に、外部のコンピュータが生成する。本実施形態においては、基地局７０が、関係者について、多数の学習用画像を機械学習する。基地局７０は、学習用画像を学習して、関係者である人間２００Ｂ及び２００Ｇの特徴を示す特徴データを獲得し、関係者データを生成する。関係者データの生成方法は、上述の学習結果データと同様である。

無人機１は、基地局７０によって生成された関係者データを基地局７０から受信し、記憶部５２に記憶している。

上述のように、学習結果データは、多数種類の物体のカテゴリーの中の「人間」というカテゴリーの特徴を示す多数の特徴データで構成されるのに対して、関係者データは、特定の人間（例えば、人間２００Ｂ）の特徴を示す多数の特徴データで構成される。すなわち、関係者データは、多数の人間２００Ａ等から、特定の人間を識別するためのデータである。

無人機１は、画像認識プログラムによって、一般物体認識に加えて、特定物体認識を行う。すなわち、無人機１は、画像認識プログラムによって、一般物体認識を行い、画像データ中の物体が人間であると認識した場合に、さらに、特定物体認識を行い、その物体が関係者と同一であるか否かを判断する。関係者は、ピクセル化を行わない対象である。

上述のように、例えば、図１に示すように、建物３００Ａ等、街路灯３０２Ａ等、人間２００Ａ等が町に存在する場合に、人間２００Ａ等を「人間」として認識する処理が一般物体認識である。そして、画像データに含まれる人間と関係者である人間２００Ｂが同一性を有すると判断する処理が特定物体認識である。

特定物体認識においては、無人機１は、「人間」のカテゴリーに属する物体が、特定の人間である可能性が高いか否かを判断する。無人機１は、関係者データに含まれる特徴データと画像データ中の人間の特徴との相関度を判断する。例えば、画像データ中の人間について、目や服の切れ端の形や方向、鼻や服の中心線と小鼻の角度といった特徴を多数抽出し、関係者データに含まれる特徴データと対比し、共通点あるいは類似点が多いほど、相関度が高いと判断する。相関度が高いほど、画像中の人間が特定の人間である可能性が高い。相関度が０の場合には、特定の人間である可能性（以下、「確度」と呼ぶ。）は０として、相関度が最大値を示すときに、確度が１００％であると定義する。

無人機１は、確度が、所定の判断基準値である、例えば、９０％以上であるときに、画像中の人間が特定の人間であると判断する。

無人機１は、画像認識プログラムによって、図１に示す画像データに含まれる物体のうち、人間を認識し、図２に示すように識別する。無人機１は、さらに、図２に示すように識別した人間のうち、関係者である人間２００Ｂ及び２００Ｇを特定する。

無人機１は、ピクセル化プログラムによって、図９に示すように、人間２００Ａ等のうち、関係者以外の人間２００Ａ等をピクセル化する。

上述のように、関係者データは、関係者を様々な角度から視た特徴を示す特徴データを含むから、無人機１は、人間２００Ｂが、図１０に示すように横向きであっても特定することができ、図１１に示すように後向きであっても特定することができる。

無人機１は、画像認識プログラムによって、画像データに含まれる物体が関係者である特定の人間２００Ｂであると判断すると、その他の物体については、人間２００Ｂ以外の関係者である人間２００Ｇの特徴を参照し、同一性を判断する。そして、撮影データ中の人間と、関係者データに含まれるすべての人間２００Ｂ及び２００Ｇとの同一性を判断した後は、無人機１は、ピクセル化プログラムによって、人間２００Ｂ及び２００Ｇ以外のすべての人間２００Ａ等について、特定物体認識を行うことなく、ピクセル化を行うように構成されている。

以下、図１２を参照して、無人機１の動作を説明する。無人機１は、発進すると（図１２のステップＳＴ１）、測位を行い（ステップＳＴ２）、目標位置の近傍に到達したと判断すると（ステップＳＴ３）、カメラ１４によって画像取得を行い（ステップＳＴ４）、画像データ中の物体について画像認識を行う（ステップＳＴ５）。無人機１は、一般物体認識によって、画像データ中の物体が人間であるか否かを認識し（ステップＳＴ５）、さらに、特定物体認識によって、その人間がピクセル化の対象であるか否かを判断する（ステップＳＴ６）。ステップＳＴ６においては、画像データ中の人間が関係者と同一性を有するか否かを判断し、同一性を有しない場合には、ピクセル化の対象であると判断する。無人機１は、画像データ中の人間がピクセル化の対象であると判断すると、ピクセル化を実施し（ステップＳＴ７）、ピクセル化の対象ではないと判断すると、ピクセル化を実施しない（ステップＳＴ８）。無人機１は、所定時間の経過や、基地局７０からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ９）、基地局７０の位置に帰還する（ステップＳＴ１０）。

＜第三の実施形態＞
第三の実施形態について、第二の実施形態と異なる部分を中心に、説明する。第三の実施形態において、無人機１は、人間２００Ａ等の服装に基づいて、ピクセル化を行うか否かの判断を行う。

第三の実施形態において、関係者データは、関係者である人間２００Ｂ及び２００Ｇの服装を示す関係者服装データである。関係者服装データは非対象服装情報の一例である。関係者服装データは、予め無人機１の記憶部５２に記憶される。

無人機１は、画像認識プログラムによって、カメラ１４で撮影して取得した画像データ中の人間２００Ａ等の一部が関係者である人間２００Ｂまたは２００Ｇの服装と一致するか否かを判断する。服装が一致する状態を「服装一致状態」と呼ぶ。無人機１は、カメラ１４で撮影して得た人間２００Ａ等の一部（服装）の特徴と、関係者服装データ中の服装データに示される特徴を対比し、所定の相関度以上であれば、服装一致状態であると判断する。

無人機１は、服装一致状態であると判断すると、その人間については、ピクセル化を実施しない。これに対して、無人機１は、服装一致状態ではないと判断すると、人間２００Ａ等のピクセル化を実施する。

無人機１は、人間２００Ａ等について、特定物体認識を行わず、服装に基づいて、ピクセル化の対象であるか否かを判断するから、迅速にピクセル化を行うことができる。

＜第四の実施形態＞
第四の実施形態について、第二の実施形態と異なる部分を中心に、説明する。第四の実施形態において、無人機１は、過去にピクセル化を行った人間２００Ａ等の服装に基づいて、ピクセル化を行うか否かの判断を行う。

無人機１は、過去にピクセル化を行った人間２００Ａ等の服装を示す過去服装データを記憶部５２に記憶している。過去服装データは対象服装情報の一例である。

無人機１は、認識プログラムによって、カメラ１４で撮影して取得した画像データ中の人間２００Ａ等の一部が、過去服装データに示される過去にピクセル化を行った人間２００Ａ等の服装と一致するか否かを判断する。服装が一致する状態を「過去服装一致状態」と呼ぶ。

無人機１は、過去服装一致状態を満たす人間２００Ａ等について、特定物体認識を行うことなく、迅速にピクセル化を実施する。

上述の実施形態１乃至実施形態４においては、無人機１が、学習結果データを記憶し、画像データを取得し、物体認識及びピクセル化を実施した。しかし、無人機１は、カメラ１４によって取得した画像データを基地局７０に送信し、基地局７０が、学習結果データを記憶しておき、学習結果データを参照して物体認識を実施し、ピクセル化を実施するように構成してもよい。この場合、基地局７０が画像処理装置の一例である。

なお、本発明の画像処理装置、画像処理方法及びプログラムは、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。

１ 無人飛行体（無人機）
５０ ＣＰＵ
５２ 記憶部
５４ 無線通信部
５６ 衛星測位部
５８ 慣性センサー部
６０ 画像処理部
６２ 駆動制御部
６４ 電源部

Claims (9)

1. 自律移動可能な画像処理装置であって、
   多数の保護対象の画像を機械学習して得た前記保護対象の特徴を示す学習結果情報を記憶する学習結果情報記憶手段と、
   外部を撮影して撮影データを取得する撮影データ取得手段と、
   前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が前記保護対象であるか否かを認識する認識手段と、
   前記物体が前記保護対象であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段と、
   を有する画像処理装置。
2. 前記保護対象は人間であり、
   前記ピクセル化を行わない人間を複数の角度から撮影して取得した複数の画像を機械学習して得た特徴である非対象情報を有し、
   前記認識手段は、前記物体が人間であると認識した場合に、さらに、前記非対象情報を参照し、前記ピクセル化を行う対象であるか否かを判断するように構成されており、
   前記ピクセル化手段は、前記認識手段が前記ピクセル化を実施する対象であると判断した場合に、前記物体のピクセル化を行うように構成されている、
   請求項１に記載の画像処理装置。
3. 前記認識手段は、前記撮影データ中の特定の物体が前記非対象情報に示される特定の人間であると判断した場合には、当該特定の人間以外の前記非対象情報を参照し、前記撮影データ中の他の物体が前記非対象情報に示される人間かを判断し、
   前記非対象情報に示されるすべての人間について、前記撮影データ中の物体との同一性を判断した場合には、当該同一性を有すると判断した人間以外のすべての人間について、前記ピクセル化を行うように構成されている、
   請求項２に記載の画像処理装置。
4. 前記ピクセル化を行わない人間の服装を示す非対象服装情報を有し、
   前記認識手段は、人間であると認識した前記物体の一部が前記非対象服装情報に示される前記服装と一致するか否かを判断するように構成されており、
   前記ピクセル化手段は、前記物体の一部が前記非対象服装情報に示される前記服装と一致しない場合に当該物体に対して前記ピクセル化を実施し、前記物体の一部が前記非対象服装情報に示される前記服装と一致する場合に当該物体に対して前記ピクセル化を実施しないように構成されている、
   請求項２に記載の画像処理装置。
5. 過去に前記ピクセル化を実施した人間の服装を示す対象服装情報を有し、
   前記認識手段は、人間であると認識した前記物体の一部が前記対象服装情報に示される前記服装と一致するか否かを判断するように構成されており、
   前記ピクセル化手段は、物体が前記対象服装情報に示される前記服装と一致する場合に当該物体に対して前記ピクセル化を実施する、
   請求項２乃至請求項４のいずれかに記載の画像処理装置。
6. 多数の人間の画像を機械学習して得た人間の特徴を示す学習結果情報を記憶する学習結果情報記憶手段と、
   自律移動可能な無人移動体が、外部を撮影して取得した撮影データを受信する撮影データ受信手段と、
   前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が人間であるか否かを認識する認識手段と、
   前記物体が人間であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段と、
   を有する画像処理装置。
7. 前記認識手段は、深層学習（ディープラーニング）によって生成されたデータを参照する請求項１乃至請求項６のいずれか記載の画像処理装置。
8. 自律移動可能な画像処理装置が、
   多数の人間の画像を機械学習して得た保護対象の特徴を示す学習結果情報を記憶する学習結果情報記憶ステップと、
   外部を撮影して撮影データを取得する撮影データ取得ステップと、
   前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が前記保護対象であるか否かを認識する認識ステップと、
   前記物体が前記保護対象であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化ステップと、
   を実施する画像処理方法。
9. 自律移動可能な画像処理装置を制御するコンピュータを、
   多数の人間の画像を機械学習して得た保護対象の特徴を示す学習結果情報を記憶する学習結果情報記憶手段、
   外部を撮影して撮影データを取得する撮影データ取得手段、
   前記撮影データ中の物体の特徴を抽出し、前記学習結果情報に基づいて、前記物体が前記保護対象であるか否かを認識する認識手段、
   前記物体が前記保護対象であると認識した場合に、前記物体の一部または全部を不鮮明にする処理であるピクセル化を行うピクセル化手段、
   として機能させるためのプログラム。