JP2018072957A - 画像加工方法、画像加工システム及びプログラム - Google Patents

Abstract

【課題】アノテーション処理過程における画像に関するプライバシー保護の向上を図る画像加工方法等を提供する。
【解決手段】画像加工方法は、複数の画像のそれぞれに対して、プライバシー保護の画像処理としての不鮮明化処理を行って複数の処理画像を生成する画像処理ステップと、複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成する分割画像生成ステップであって、同一の処理画像に属する分割画像に、分割画像が連続する画像を形成するように順序付けをする分割画像生成ステップと、順序付けされた順序を入れ替える順序入れ替えステップと、順序入れ替えステップでの入れ替え後の順序で順序付けをした分割画像をアノテーション用の加工済画像として出力する出力ステップとを含む。
【選択図】図７

Description

本開示は、アノテーションが付与される画像を加工処理する画像加工方法、画像加工システム及びプログラムに関する。

機械学習を行うための学習データの構築等において、画像データの認識のためにラベル等のアノテーションが、画像データに付与される。例えば、特許文献１には、画像データにラベリングを行う技術が開示されている。

特開２０１３−１６１２９５号公報

アノテーションは、画像に含まれる人物、物等の対象物に付与される。機械学習の学習データの構築のためにアノテーションが付与される画像データの画像は、大量であり多様である。このため、アノテーション処理過程において、画像に映し出されている人物自体及びその撮影場所等の人物に関するプライバシーの保護が必要となる。

そこで、本開示は、アノテーション処理過程における画像に関するプライバシー保護の向上を図る画像加工方法、画像加工システム及びプログラムを提供する。

本開示の一態様に係る画像加工方法は、複数の画像のそれぞれに対して、プライバシー保護の画像処理を行って複数の処理画像を生成する画像処理ステップと、前記複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成する分割画像生成ステップであって、同一の前記処理画像に属する前記分割画像に、前記分割画像が連続する画像を形成するように順序付けをする分割画像生成ステップと、順序付けされた順序を入れ替える順序入れ替えステップと、前記順序入れ替えステップでの入れ替え後の順序で順序付けをした前記分割画像をアノテーション用の加工済画像として出力する出力ステップとを含む。

本開示の別の態様に係る画像加工方法は、画像に対して、第一の強度でプライバシー保護の画像処理を行って第一処理画像を生成する第一画像処理ステップと、前記第一処理画像をアノテーション用画像として出力する第一出力ステップと、前記第一出力ステップの後、アノテーションが付与された前記第一処理画像を取得する画像取得ステップと、前記アノテーションが付与された前記第一処理画像における前記アノテーションの付与領域に対して、前記第一の強度以上の第二の強度でプライバシー保護の画像処理を行って第二処理画像を生成する第二画像処理ステップと、前記第二処理画像に対して、前記第一画像処理ステップで実施された画像処理を解除した上で、前記第一の強度よりも弱い第三の強度でプライバシー保護の画像処理を行って第三処理画像を生成する第三画像処理ステップと、前記第三処理画像をアノテーション用画像として出力する第二出力ステップとを含む。

本開示の一態様に係る画像加工システムは、画像にプライバシー保護の画像処理をして処理画像を生成する画像変換部と、前記処理画像を複数の領域に分割して複数の分割画像を生成する画像分割部であって、前記処理画像を形成する前記分割画像に順序付けをする画像分割部と、順序付けされた前記分割画像の順序を入れ替え、入れ替え後の順序で前記分割画像を新たに順序付けする画像入替部とを備える。

本開示の別の態様に係る画像加工システムは、画像に第一の強度のプライバシー保護の画像処理をして第一処理画像を生成する第一画像変換部と、前記第一処理画像をアノテーション用画像として出力する第一出力部と、アノテーションが付与された前記第一処理画像における前記アノテーションの付与領域に、前記第一の強度以上の第二の強度のプライバシー保護の画像処理をして第二処理画像を生成する第二画像変換部と、前記第二処理画像に対して、前記第一画像変換部による画像処理を解除し、前記第一の強度よりも弱い第三の強度のプライバシー保護の画像処理をして第三処理画像を生成する第三画像変換部と、前記第三処理画像をアノテーション用画像として出力する第二出力部とを備える。

本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、複数の画像のそれぞれに対して、プライバシー保護の画像処理を行って複数の処理画像を生成し、前記複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成し、同一の前記処理画像に属する前記分割画像に、前記分割画像が連続する画像を形成するように順序付けをし、順序付けされた順序を入れ替え、入れ替え後の順序で順序付けをした前記分割画像をアノテーション用画像として出力する。

本開示の別の態様に係るプログラムは、コンピュータに実行させるプログラムであって、画像に対して、第一の強度でプライバシー保護の画像処理を行って第一処理画像を生成し、前記第一処理画像をアノテーション用画像として出力し、アノテーションが付与された前記第一処理画像を取得し、前記アノテーションが付与された第一処理画像における前記アノテーションの付与領域に対して、前記第一の強度以上の第二の強度でプライバシー保護の画像処理を行って第二処理画像を生成し、前記第二処理画像に対して、前記第一処理画像の生成時に行われた画像処理を解除した上で、前記第一の強度よりも弱い第三の強度でプライバシー保護の画像処理を行って第三処理画像を生成し、前記第三処理画像をアノテーション用画像として出力する。

本開示に係る画像加工方法等によれば、アノテーション処理過程における画像に関するプライバシー保護を向上することができる。

図１は、実施の形態に係る画像加工システムの概略的な構成を示すブロック図である。 図２は、加工前画像の一例を示す図である。 図３は、加工前画像を不鮮明化処理後した画像の一例を示す図である。 図４は、不鮮明化処理後の画像を分割処理した画像の一例を示す図である。 図５は、分割画像の加工パラメータの一例を示す図である。 図６は、異なる元画像の分割画像を混ぜ合わせ入れ替える処理の一例を示す図である。 図７は、実施の形態に係る画像加工システムの動作の流れの一例を示すフローチャートである。 図８は、実施の形態の変形例１に係る画像加工システムの動作において、画像加工装置が、不鮮明化処理を受けた画像を分割する一例を示す図である。 図９は、実施の形態の変形例２に係る画像加工システムの動作の流れの一例を示すフローチャートである。 図１０は、実施の形態の変形例３に係る画像加工システムの動作の流れの一例を示すフローチャートである。

［発明者による知見］
本開示に係る発明者ら、つまり本発明者らは、画像において人物をはじめとする対象物の認識及び検出の精度を向上するために、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた技術を用いることを検討した。Ｄｅｅｐ Ｌｅａｒｎｉｎｇでの対象物の認識には大量の学習用の画像データが必要となる。そして、学習用の画像データでは、対象物に対して、対象物の内容、位置、領域等を含む情報が、アノテーション情報として付与される、つまりアノテーションされる。なお、通常、アノテーションでは、画像上で対象物を囲む等による対象物の領域の設定が、画像に人が入力することによって実施される。また、画像データのアノテーション処理は、学習用の画像データの構築者である企業等によって、外部の請負者に委託することも検討されている。さらに、このアノテーション処理は、クラウドソーシングを利用して、不特定多数の請負者に委託することも検討されている。

また、本発明者らは、アノテーションする大量の画像データとして、デジタル動画から切り出されるデジタル画像データを採用することを検討した。特に、本発明者らは、大量の画像データを得るために、監視カメラ、車載カメラ等の長時間にわたる動画を撮影する撮影装置による動画の採用を検討した。このような動画から得られる画像には、不特定な人物及び人物と関連するものが含まれ得る。このため、本発明者らは、画像内の人物の顔等の特徴、人物の関連物及び撮影場所等の画像の被写体に関するプライバシー情報が不特定多数の請負者に認知されることを防ぐことの必要性を、問題として提起した。そして、本発明者らは、この問題を解決するために、アノテーションが付与される画像へなすべき事前の画像加工処理に関する技術を見出した。

［実施の形態］
以下、上述の知見に基づき本発明者らが開示する実施の形態について、図面を参照しつつ具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、第１、第２及び第３などの序数が、構成要素などに対して、表現上、適宜付け加えられてもよい。

また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

［画像加工システムの構成］
図１を参照して、実施の形態に係る画像加工システム１００の構成を説明する。なお、図１は、実施の形態に係る画像加工システム１００の概略的な構成を示すブロック図である。画像加工システム１００は、画像加工装置１０と、サーバ装置２０とを備える。サーバ装置２０は、種々のデータを蓄積する要素である。画像加工装置１０は、サーバ装置２０に蓄積されている画像データに画像加工を施す装置である。画像加工装置１０は、サーバ装置２０からアノテーションを付与すべき画像を取得して画像加工処理し、サーバ装置２０に蓄積する。

なお、画像加工装置１０は、加工処理後の画像データを、アノテーションの処理者のアノテーション処理装置３０に送ってもよく、アノテーション処理装置３０とサーバ装置２０との間で画像データ及びアノテーション情報の送受信を中継するアノテーション中継装置４０に送ってもよい。例えば、アノテーション中継装置４０は、アノテーションの処理者のアノテーション処理装置３０へアノテーション処理を要求すること、サーバ装置２０からアノテーションを付与すべき画像データを取得しアノテーション処理装置３０に送信すること、付与されたアノテーションに関する情報をアノテーション処理装置３０から受け取り、画像データに対応付けてサーバ装置２０に送信すること等を実施する。アノテーション処理装置３０とサーバ装置２０との通信は、後述する画像加工装置１０とサーバ装置２０との通信と同様であってもよく、その他の無線通信又は有線通信が適用されてもよい。

アノテーション処理装置３０とアノテーション中継装置４０との通信は、アノテーション処理装置３０とサーバ装置２０との通信と同様であってもよく、その他の無線通信又は有線通信が適用されてもよい。例えば、アノテーション処理装置３０とアノテーション中継装置４０との通信は、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、又はＬＴＥ（登録商標）等のような移動通信システムで利用されるモバイル通信規格が適用されてもよい

サーバ装置２０は、画像加工装置１０と通信するように構成されている。サーバ装置２０は、コンピュータ等の情報処理装置でもよい。サーバ装置２０は、１つ以上のサーバ装置を含んでもよく、クラウドシステムを構成してもよい。サーバ装置２０は、サーバ装置２０の全体を制御する制御部２１と、画像加工装置１０と通信する通信部２２と、種々のデータを蓄積するデータ蓄積部２３とを備える。通信部２２は、インターネット等の通信網を介して画像加工装置１０と通信する。通信部２２は、通信インタフェースを含む通信回路であってもよい。例えば、通信部２２と画像加工装置１０との間の通信には、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）が適用されてもよく、ケーブルを用いた有線通信が適用されてもよく、その他の無線通信又は有線通信が適用されてもよい。

データ蓄積部２３は、例えば、ハードディスクにより構成され、加工前画像データ蓄積部２４と、加工済画像データ蓄積部２５と、加工パラメータ蓄積部２６と、アノテーションデータ蓄積部２７とを備える。加工前画像データ蓄積部２４には、種々の撮影装置で撮影された画像データである加工前画像データが、その画像ＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉоｎ）と共に格納されている。加工済画像データ蓄積部２５は、加工前画像データ蓄積部２４の加工前画像データに対して画像加工処理が実施されることによって形成される加工済画像データを、その画像ＩＤと共に格納する。加工パラメータ蓄積部２６は、加工前画像データに対して実施された画像加工処理に関する情報を、加工前及び加工済の画像データの画像ＩＤと共に格納する。アノテーションデータ蓄積部２７は、加工済画像データに対して実施されたアノテーションに関する情報を、格納する。

制御部２１は、通信部２２及びデータ蓄積部２３を制御する。制御部２１は、通信部２２を介して、画像加工装置１０からの要求に応じて、データ蓄積部２３の加工前画像データ蓄積部２４、加工パラメータ蓄積部２６及びアノテーションデータ蓄積部２７からのデータの取り出し及び送信を実施する。制御部２１は、通信部２２を介して、画像加工装置１０から加工済画像データ蓄積部２５及び加工パラメータ蓄積部２６への対応するデータの格納を実施する。また、制御部２１は、アノテーションの処理者のアノテーション処理装置３０からアノテーションデータ蓄積部２７への対応するデータの格納を実施する。制御部２１は、アノテーション中継装置４０からアノテーションデータ蓄積部２７への対応するデータの格納を実施してもよい。

画像加工装置１０は、これ単独で一つの装置を構成してもよく、コンピュータなどの情報処理装置又はその他の装置に組み込まれてもよい。例えば、画像加工装置１０は、アノテーション中継装置４０又はアノテーション中継装置４０を含む装置に組み込まれてもよい。画像加工装置１０は、制御部１１、通信部１２、画像不鮮明化変換部１３、画像分割部１４、画像入替部１５、記憶部１６及び入力部１７を備える。制御部１１は、画像加工装置１０の全体を制御する。入力部１７は、指令等の種々の入力を受け付ける要素である。記憶部１６は、種々の情報を格納する要素である。記憶部１６は、半導体メモリ等から構成されてもよく、揮発性メモリ又は不揮発性メモリ等から構成されてもよい。

通信部１２は、上述したようにサーバ装置２０の通信部２２と通信する。通信部１２は、通信インタフェースを含む通信回路であってもよい。通信部１２及び２２の間に、これらの間の通信を中継する通信装置であるルータが設けられてもよい。ルータは、通信部１２と通信網との間の通信を中継してもよい。

画像不鮮明化変換部１３は、制御部１１の制御を受けて、サーバ装置２０の加工前画像データ蓄積部２４から加工前画像データ及びその画像ＩＤを取得し、加工前画像を不鮮明化処理する。この不鮮明化処理は、画像の中の被写体のプライバシー保護のための画像処理である。具体的には、画像不鮮明化変換部１３は、ぼかし処理、モザイク処理、ピクセル化処理等の不鮮明化処理を実施する。ピクセル化とは、１ピクセルにおけるピクセル値を肥大化することによって、画像を粗くすることである。また、画像不鮮明化変換部１３は、画素が粗い画像に対して解像度を高くすることによって不鮮明化してもよく、画素が細かい画像に対して解像度を低くすることによって不鮮明化してもよい。また、画像不鮮明化変換部１３は、加工前画像データの画像ＩＤと、不鮮明化処理後の不鮮明化画像データとを関連付ける。

本実施の形態では、画像不鮮明化変換部１３は、例えば、図２に示される加工前画像Ａの全体を、図３に示される不鮮明化画像Ｂに、ぼかし処理を用いて変換する。なお、図２は、加工前画像の一例を示す図であり、図３は、加工前画像を不鮮明化処理後した画像の一例を示す図である。

また、画像不鮮明化変換部１３は、ぼかし処理の前に、加工前画像Ａにおいて文字認識を実施する。そして、画像不鮮明化変換部１３は、加工前画像Ａ上において、例えば、図２の左下に示されるような文字、記号等を認識し、これら文字、記号等を含む領域を文字領域Ｌとして設定し、文字領域Ｌを図３に示すように塗りつぶす消去処理を実施する。なお、画像不鮮明化変換部１３は、加工前画像Ａ上において、文字領域Ｌを切り取って削除してもよい。なお、図２において、文字領域Ｌの位置には、加工前画像Ａの撮影日時及び撮影場所のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）座標が示されている。これにより、加工前画像Ａ内の被写体を特定し得る情報が削除される。例えば、不鮮明化処理において、文字、記号等を認識できない程度にまで加工前画像Ａをぼかし処理すると、文字、記号等と鮮明さが異なる加工前画像Ａ内の人物Ｈ１、Ｈ２、Ｈ３及びＨ４等の有無までもが判別できなくなる可能性がある。上述のように、文字、記号等をぼかし処理の対象から除外することによって、加工前画像Ａに対する過度なぼかし処理を抑えることができる。よって、画像不鮮明化変換部１３は、加工前画像Ａ内で認識した文字、記号等の塗りつぶし又は削除等の消去処理を実施した後に、加工前画像Ａ全体のぼかし処理を実施する。

画像不鮮明化変換部１３は、加工前画像Ａに対して実施した不鮮明化処理の内容及び強度等と、加工前画像Ａの画像ＩＤとを関連付け、加工パラメータとして、サーバ装置２０の加工パラメータ蓄積部２６に送信し格納する。不鮮明化処理の内容は、ぼかし処理、モザイク処理又はピクセル化処理等の処理に加え、解像度の変更による不鮮明化処理を含み得る。

画像分割部１４は、制御部１１の制御を受けて、不鮮明化処理後の画像を複数の分割画像に分割する。これにより、画像内の被写体に関連する要素の特定が困難になる。さらに、画像分割部１４は、不鮮明化処理後の画像を形成する分割画像の並びの順序に従って、分割画像を順序付けする。つまり、分割画像は、順序付けされた順序に従って連続する画像を形成するように、順序付けされる。

例えば、画像分割部１４は、不鮮明化処理後の画像Ｂを、図４に示すように複数の画像に分割する。なお、図４は、不鮮明化処理後の画像を分割処理した画像の一例を示す図である。本実施の形態では、画像Ｂは、上下方向の４つの分割線Ｄ１、Ｄ２、Ｄ３及びＤ４で、横方向に並ぶ５つの分割画像Ｃ１、Ｃ２、Ｃ３、Ｃ４及びＣ５に分けられている。そして、分割画像Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５の順序で順序付けが行われる。なお、画像Ｂの分割線は、上下方向に限定されず、いかなる方向であってもよい。例えば、画像Ｂの分割線は、横方向であってもよく、斜め方向であってもよく、上下方向、横方向及び斜め方向を組み合わせたものであってもよく、湾曲した部分を含んでもよい。また、分割画像の数量も、５つに限定されず、いかなる数量であってもよい。

画像分割部１４は、分割前に画像Ｂに座標系を設定する。具体的には、図３に示されるように、画像分割部１４は、矩形をした画像Ｂの左上の角に原点Оを設定する。さらに、画像分割部１４は、画像Ｂに対して、原点Ｏから水平右方向へ正の値をとって延びるｘｉ軸と、原点Ｏから鉛直下方向へ正の値をとって延びるｙｉ軸とを設定する。本実施の形態では、ｘｉ軸及びｙｉ軸上の値はそれぞれ、原点Ｏからの画素数、つまりピクセル数で定義される。次いで、画像分割部１４は、図４に示されるように、座標系が設定された画像Ｂを、分割画像Ｃ１〜Ｃ５に分割する。分割画像Ｃ１〜Ｃ５は、ｙｉ軸に平行な分割線Ｄ１〜Ｄ４を境界とする矩形の画像である。なお、画像Ｂへの座標系の設定は、画像不鮮明化変換部１３によって実施されてもよい。これにより、画像不鮮明化変換部１３は、加工前画像Ａ上における文字、記号等及び文字領域Ｌの位置及び範囲を、上記座標系を用いて特定することができる。

そして、画像分割部１４は、分割画像Ｃ１〜Ｃ５それぞれの左上の角を基準点Ｅ１〜Ｅ５に設定し、各基準点の座標を求める。また、画像分割部１４は、分割画像Ｃ１〜Ｃ５それぞれのサイズも求める。本実施の形態では、画像のサイズの指標としてピクセルを用いる。画像Ｂのサイズは、縦１０８０×横１９２０ピクセルである。そして、分割画像Ｃ１〜Ｃ５それぞれのサイズは、縦１０８０×横３８４ピクセルである。分割画像Ｃ１〜Ｃ５それぞれの基準点の座標及びサイズは、分割画像Ｃ１〜Ｃ５の分割位置データを構成する。なお、分割画像Ｃ１〜Ｃ５の分割位置データは、分割線Ｄ１〜Ｄ４を示す座標であってもよい。さらに、画像分割部１４は、分割画像Ｃ１〜Ｃ５それぞれに、新たな画像ＩＤを設定する。そして、例えば、図５に示されるように、分割画像Ｃ１〜Ｃ５の画像ＩＤ、分割画像Ｃ１〜Ｃ５の並びの順序、分割画像Ｃ１〜Ｃ５の基準点の座標及びサイズ、並びに、分割画像Ｃ１〜Ｃ５の不鮮明化処理内容及び強度と、これら分割画像の元画像である画像Ｂつまり加工前画像Ａの画像ＩＤとが関連付けられて、分割画像Ｃ１〜Ｃ５の加工パラメータとして扱われる。なお、図５は、分割画像の加工パラメータ一例を示す図である。

画像分割部１４は、制御部１１の制御を受けて、分割画像Ｃ１〜Ｃ５それぞれの加工パラメータを、サーバ装置２０の加工パラメータ蓄積部２６に送信し格納する。また、画像分割部１４は、制御部１１の制御を受けて、分割画像Ｃ１〜Ｃ５を、それぞれの画像ＩＤ及び加工前画像Ａの画像ＩＤと共に、記憶部１６に一時的に格納してもよく、サーバ装置２０の加工済画像データ蓄積部２５に送信し格納してもよい。

画像入替部１５は、制御部１１の制御を受けて、元画像が同一の複数の分割画像と、これら複数の分割画像と元画像が異なる複数の分割画像とを、混ぜ合わせ互いに任意に入れ替える、つまりランダムシャッフルする。これにより、画像の撮影場所の特定が困難になる。さらに、画像入替部１５は、ランダムシャッフル後の全ての分割画像の並びの順序に従って、全ての分割画像を新たに順序付けする。

例えば、図６に示されるように、画像入替部１５は、加工前画像Ａを元画像とする分割画像Ｃ１〜Ｃ５と、加工前画像Ａと異なる画像Ａａ、Ａｂ等を元画像とする分割画像Ｃａ１〜Ｃａ５、Ｃｂ１〜Ｃｂ５等とを混ぜ合わせ、さらに、各分割画像の並びの順序も入れ替える。このとき、例えば、分割画像Ｃ１〜Ｃ５、分割画像Ｃａ１〜Ｃａ５及び分割画像Ｃｂ１〜Ｃｂ５の間での並びの順序も変更され、分割画像Ｃ１〜Ｃ５内、分割画像Ｃａ１〜Ｃａ５内及び分割画像Ｃｂ１〜Ｃｂ５内における並び順序も変更され得る。なお、図６は、異なる元画像の分割画像を混ぜ合わせ入れ替える処理の一例を示す図である。図６において、状態（６ａ）は、分割画像Ｃ１〜Ｃ５、Ｃａ１〜Ｃａ５、Ｃｂ１〜Ｃｂ５等が混ぜ合わされた状態を示し、状態（６ｂ）は、分割画像Ｃ１〜Ｃ５、Ｃａ１〜Ｃａ５、Ｃｂ１〜Ｃｂ５等の順序がさらに入れ替えられた状態を示す。なお、ランダムシャッフル後の状態（６ｂ）において、元画像が同一の分割画像が隣り合わないように順序付けされることが、望ましい。これにより、元画像が同一の分割画像の関連性を認識することが、困難になる。

そして、画像入替部１５は、状態（６ｂ）に示される分割画像の並び順序に従って、分割画像Ｃ１〜Ｃ５、Ｃａ１〜Ｃａ５、Ｃｂ１〜Ｃｂ５等を新たに順序付けする。なお、画像入替部１５は、画像Ａａ、Ａｂ等を元画像とする分割画像Ｃａ１〜Ｃａ５、Ｃｂ１〜Ｃｂ５等を、予め記憶部１６に格納しておき、記憶部１６から取得してもよく、予めサーバ装置２０の加工済画像データ蓄積部２５に格納しておき、加工済画像データ蓄積部２５から取得してもよい。

画像入替部１５は、制御部１１の制御を受けて、分割画像Ｃ１〜Ｃ５、Ｃａ１〜Ｃａ５及びＣｂ１〜Ｃｂ５等を混ぜ合わせ順序を入れ替えた後の複数の分割画像を、ひとまとまりの一組の分割画像群として、新たに設定した各分割画像の順序と共に、サーバ装置２０の加工済画像データ蓄積部２５に送信し格納する。これにより、分割画像群は、分割画像並びにそれらの画像ＩＤ及び順序を含む。例えば、アノテーションの処理者に分割画像が提供される場合、分割画像群をベースとし、分割画像群内の分割画像が上記順序に従って提供される。

上述のサーバ装置２０の制御部２１、並びに、画像加工装置１０の制御部１１、画像不鮮明化変換部１３、画像分割部１４及び画像入替部１５の各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。この場合、各構成要素は、例えば、演算処理部（図示せず）と、制御プログラムを記憶する記憶部（図示せず）とを備えてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が例示される。記憶部としては、メモリ等が例示される。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

また、各構成要素は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。

システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。

また、上記構成要素の一部又は全部は、脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

［画像加工システムの動作］
図１及び図７を参照して、画像加工システム１００の動作の一例を説明する。図７は、実施の形態に係る画像加工システム１００の動作の流れの一例を示すフローチャートである。本実施の形態では、画像加工装置１０は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（深層学習）をはじめとするニューラルネットワーク等の機械学習のための大量の学習用の画像データの構築者によって、運用される。サーバ装置２０は、上記構築者によって運用されもよく、上記構築者以外によって運用されてもよい。上記構築者以外によって運用される場合、サーバ装置２０は、クラウドシステムを構成してもよい。

サーバ装置２０の加工前画像データ蓄積部２４には、画像加工システム１００とは別個の装置によって、様々な画像データが格納される。例えば、上記構築者と契約する画像提供者によって、監視カメラ、車載カメラなどによる撮影動画等による画像データが、加工前画像データ蓄積部２４に送られる。この場合、サーバ装置２０がクラウドシステムを構成することによって、画像データの格納が容易になる。

画像加工システム１００の動作に関して、画像加工装置１０の制御部１１は、上記構築者を構成する画像加工装置１０の操作者によって入力部１７に入力される指令に従い、サーバ装置２０に加工前画像データを要求する（ステップＳ１０１）。
要求を受けたサーバ装置２０の制御部２１は、加工前画像データ蓄積部２４に格納されている加工前画像データと、この画像データに設定された画像ＩＤとを、画像加工装置１０に送信する。これにより、画像加工装置１０の制御部１１は、加工前画像データ及びその画像ＩＤを取得する（ステップＳ１０２）。

画像加工装置１０の制御部１１は、画像不鮮明化変換部１３に、加工前画像上に表示される文字及び記号等を検知する文字認識を実施させる。さらに、画像不鮮明化変換部１３は、例えば図３に示すように、認識した文字等が存在する領域である文字領域を塗りつぶす消去処理を不鮮明化処理の１つとして実施する（ステップＳ１０３）。なお、画像不鮮明化変換部１３は、文字領域を画像から切り取って削除する消去処理を実施してもよい。また、画像不鮮明化変換部１３は、文字認識の際、画像の撮影日時、撮影場所の位置情報等のプライバシーに関する文字等のみを検知し、検知した文字等の領域を消去してもよい。また、画像不鮮明化変換部１３は、文字領域を消去する際、画像データに含まれる撮影日時及び位置の情報も削除してもよい。ここで、消去処理は、プライバシー保護の画像処理の一例である。

次いで、制御部１１は、画像不鮮明化変換部１３に、文字領域を消去後の画像全体を不鮮明にする不鮮明化処理を実施させる（ステップＳ１０４）。本実施の形態では、画像不鮮明化変換部１３は、例えば図３に示すように、上記画像全体に対して、ぼかし処理を実施する。なお、画像不鮮明化変換部１３は、他の不鮮明化処理であるモザイク処理、ピクセル化処理、又は解像度の変更処理等を実施してもよく、上記不鮮明化処理を組み合わせて実施してもよい。画像不鮮明化変換部１３は、不鮮明化処理後の画像データにも、加工前画像データの画像ＩＤを適用する。ここで、不鮮明化処理は、プライバシー保護の画像処理の一例である。

さらに、制御部１１は、画像不鮮明化変換部１３に、文字領域を消去後の画像に対して実施した不鮮明化処理の内容及び強度に関する情報を、加工パラメータとして、サーバ装置２０に送信させる。そして、サーバ装置２０の制御部２１は、受け取った加工パラメータを加工パラメータ蓄積部２６に格納する。（ステップＳ１０５）

その後、制御部１１は、画像分割部１４に、不鮮明化処理後の画像を複数の画像に分割させる（ステップＳ１０６）。画像分割部１４は、例えば図４に示すように、不鮮明化処理後の画像に複数の分割線を設定し、不鮮明化処理後の画像を分割線を境界とする複数の画像に分割する。そして、画像分割部１４は、分割後の画像である複数の分割画像に対して新たな画像ＩＤを設定する。さらに、画像分割部１４は、分割画像が連続する画像を形成するように並ぶ順序に従って、例えば図４において、分割画像Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５の順序に従って、分割画像に順序付けを行う。

また、画像分割部１４は、画像不鮮明化変換部１３又は画像分割部１４が分割前の画像に設定する座標系に基づき、各分割画像に対して、基準点の座標と、画像の領域つまりサイズとを算出する。画像分割部１４は、例えば図４に示すように、各分割画像の左上の角に基準点を設定し、画像のサイズとして縦１０８０×横３８４ピクセルを算出する。なお、分割前の画像のサイズは、縦１０８０×横１９２０ピクセルである。

次いで、制御部１１は、画像分割部１４に、各分割画像を、その画像ＩＤ、順序及び分割画像の元画像である加工前画像の画像ＩＤと共に、画像加工装置１０の記憶部１６に一時的に格納させる（ステップＳ１０７）。
また、制御部１１は、画像分割部１４に、各分割画像の画像ＩＤ、各分割画像の順序、各分割画像の基準点の座標及びサイズ、及び分割画像の加工前画像の画像ＩＤによって構成される分割位置データを、加工パラメータとして、サーバ装置２０に送信させる。そして、サーバ装置２０の制御部２１は、受け取った加工パラメータを加工パラメータ蓄積部２６に格納する。（ステップＳ１０８）

次いで、制御部１１は、記憶部１６に格納されている分割画像に関して、分割画像の元画像である加工前画像の数量、つまり分割画像生成済みの加工前画像の数量を確認し、個の数量が所定数量以上である場合（ステップＳ１０９でｙｅｓ）、ステップＳ１１０の処理に進む。この際、制御部１１は、例えば、分割画像に対応する加工前画像の画像ＩＤを確認し、加工前画像の画像ＩＤの数量が所定数量以上であるか否かを判定してよい。制御部１１は、分割画像生成済みの加工前画像の数量が所定数量未満である場合（ステップＳ１０９でｎо）、ステップＳ１０１の処理に進み、サーバ装置２０に新たな別の加工前画像データを要求する。そして、ステップＳ１０２〜Ｓ１０８の処理が繰り返され、別の加工前画像を元画像とする新たな分割画像が生成され、記憶部１６に格納される。これにより、分割画像生成済みの加工前画像の数量が増加する。なお、上記所定数量は、２以上の値から選択され得る。

制御部１１は、ステップＳ１１０において、画像入替部１５に、記憶部１６に格納されている複数の加工前画像を元画像とする分割画像を取得させ、例えば図６に示されるように、取得した複数の分割画像を混ぜ合わせそれらの並び順序を任意に入れ替える、つまりランダムシャッフルする画像入替処理を実施させる。この際、画像入替部１５が記憶部１６から取得する分割画像は、複数の加工前画像を元画像とする分割画像の全てであっても一部であってもよい。さらに、画像入替部１５は、ランダムシャッフルされた全ての分割画像の並びの順序に従って、当該全ての分割画像に新たに順序付けをする。

さらにまた、制御部１１は、画像入替部１５に、画像入替処理を実施した一群の分割画像を、各分割画像の画像ＩＤ及び新たな順序と共に、加工済画像データとして、サーバ装置２０に送信させる。そして、サーバ装置２０の制御部２１は、受け取った加工済画像データを、アノテーション用画像データとして、加工済画像データ蓄積部２５に格納する。（ステップＳ１１１）

上述のようにステップＳ１０１〜ステップＳ１１１の処理を実施することによって得られる加工済画像データでは、例えば図６に示される分割画像のように、各画像内の人物の顔等の被写体の詳細な特徴の特定が、画像の不鮮明化処理によって困難である。さらに、各画像の撮影場所及び撮影日時の特定が、画像の不鮮明化処理、分割処理及び入替処理によって、困難である。さらにまた、各画像間の関連性の特定が、画像入替処理によって、困難である。

また、サーバ装置２０に格納されている画像データへのアノテーション付与処理は、以下に説明するように実施される。図１を参照すると、アノテーション中継装置４０は、機械学習のための大量の学習用の画像データの構築者によって、運用される。そして、アノテーション処理装置３０は、上記構築者以外によって運用される。アノテーション処理装置３０の操作者は、上記構築者とアノテーションの付与処理の契約をしており、上記構築者から提供される画像にアノテーションを付与する。

アノテーション処理装置３０へは、アノテーションを付与すべき画像として、サーバ装置２０の加工済画像データ蓄積部２５に格納される加工済画像が提供される。本実施の形態では、アノテーション中継装置４０が、サーバ装置２０の加工済画像データをアノテーション処理装置３０に送信するが、アノテーション処理装置３０がサーバ装置２０から加工済画像データを直接取得してもよい。

同一のアノテーション処理装置３０へ提供される画像は、上述のように複数の加工前画像を元画像とし且つ画像入替処理が施された分割画像によって構成される分割画像群をベースとする。当該同一のアノテーション処理装置３０には、同一の分割画像群、つまり同一の加工済画像群内の画像が、画像入替処理後の並び順序に従って、順次提供される。なお、１つの加工済画像群内の画像が複数のアノテーション処理装置３０に提供されてもよい。アノテーション処理装置３０の操作者は、順次提供される加工済画像に対して、例えば、図４の分割画像Ｃ２に示されるように、人物Ｈ４などの対象物を、枠Ａｎで囲む等することによって、対象物の領域を特定する。これにより、アノテーションが加工済画像に付与される。そして、対象物の種別、対象物の領域及びその位置等の情報を含むアノテーション情報が、加工済画像の画像ＩＤと関連付けられた状態で、アノテーション処理装置３０からアノテーション中継装置４０を介してサーバ装置２０に送信され、サーバ装置２０のアノテーションデータ蓄積部２７に格納される。例えば、対象物には、人だけでなく、動物が適用されてもよく、二輪車及び四輪車などの車両、鉄道などの軌道を走行する車両、船舶、ドローンなどの飛行体等が適用されてもよい。対象物の種別には、例えば、対象物が人の場合、性別、年齢層等が含まれ、対象物が動物の場合、動物の種類が含まれ、対象物が車両の場合、車種等が含まれる。また、対象物の種別には、対象物が軌道を走行する車両の場合、車両のタイプ、路線名等が含まれ、対象物が船舶の場合、船舶のタイプが含まれ、対象物が飛行体の場合、飛行体のタイプが含まれる。

なお、アノテーション処理装置３０への加工済画像の提供では、複数の加工済画像が同時にアノテーション処理装置３０内に存在しないように実施されてもよく、複数の加工済画像が同時にアノテーション処理装置３０内に存在することを許容するように実施されてもよい。しかしながら、加工済画像間の関連性が特定できないような提供が望ましい。

また、上記構築者は、サーバ装置２０の加工パラメータ蓄積部２６に格納される加工パラメータを用いることによって、加工済画像データ蓄積部２５に格納される加工済画像データの不鮮明化処理を解除し、さらに、アノテーションデータ蓄積部２７に格納されるアノテーション情報と関連付けることができる。これにより、加工済画像データが、機械学習のための学習用の画像データとして利用可能になる。

［画像加工システムの動作の変形例１］
以下、画像加工システム１００の動作の変形例１を説明する。画像加工装置１０が、不鮮明化処理後の画像を複数の画像に分割する際、実施の形態では、不鮮明化処理後の画像に設定した分割線が分割画像の境界であるため、分割画像同士がラップしないが、本変形例では、分割画像がラップする点で実施の形態と異なる。以下に、本変形例について、実施の形態と異なる点を中心に説明する。

図１及び図８を参照すると、画像加工システム１００の画像加工装置１０の画像分割部１４は、図７に示すステップＳ１０４で不鮮明化処理を受けた画像Ｂ（図８参照）に対して、実施の形態と同様に、分割線Ｄ１〜Ｄ４を設定する。なお、図８は、実施の形態の変形例１に係る画像加工システム１００の動作において、画像加工装置１０が、不鮮明化処理を受けた画像Ｂを分割する一例を示す図である。

画像分割部１４は、分割線Ｄ１〜Ｄ４を越えて延在するように、横方向に並ぶ５つの分割画像Ｃ２１、Ｃ２２、Ｃ２３、Ｃ２４及びＣ２５を設定する。具体的には、分割画像Ｃ２１は、分割線Ｄ１を越えた位置に一方の縁端を有する。分割画像Ｃ２２は、分割線Ｄ１及びＤ２を越えた位置にそれぞれ、両側の縁端を有する。分割画像Ｃ２３は、分割線Ｄ２及びＤ３を越えた位置にそれぞれ、両側の縁端を有する。分割画像Ｃ２４は、分割線Ｄ３及びＤ４を越えた位置にそれぞれ、両側の縁端を有する。分割画像Ｃ２５は、分割線Ｄ４を越えた位置に一方の縁端を有する。よって、分割画像Ｃ２１及びＣ２２は、分割線Ｄ１に沿うラップ領域Ｆ１で重なる、分割画像Ｃ２２及びＣ２３は、分割線Ｄ２に沿うラップ領域Ｆ２で重なる。分割画像Ｃ２３及びＣ２４は、分割線Ｄ３に沿うラップ領域Ｆ３で重なる。分割画像Ｃ２４及びＣ２５は、分割線Ｄ４に沿うラップ領域Ｆ４で重なる。

そして、画像分割部１４は、分割画像Ｃ２１〜Ｃ２５それぞれに関して、基準点の座標及びサイズを算出し、さらに順序付けをする。そして、画像分割部１４は、分割画像Ｃ２１〜Ｃ２５の基準点の座標及びサイズ並びに順序を、分割画像Ｃ２１〜Ｃ２５に設定する画像ＩＤ及びこれらの元画像である加工前画像の画像ＩＤに関連付け、加工パラメータとして、サーバ装置２０の加工パラメータ蓄積部２６に格納する。また、画像加工装置１０のその他の動作は、実施の形態と同様である。

分割画像Ｃ２１〜Ｃ２５にラップ領域Ｆ１〜Ｆ４を設けることによって、例えば図８において、人物Ｈ１〜Ｈ４のうち、分割線Ｄ１、Ｄ３及びＤ４上に位置する人物Ｈ１、Ｈ２及びＨ３は、各ラップ領域Ｆ１、Ｆ３及びＦ４を含む２つの分割画像の少なくとも一方に、全体又は略全体が表示される。分割画像Ｃ２１〜Ｃ２５による加工済画像にアノテーションが付与される場合、アノテーションの処理者は、各分割画像において、人物Ｈ１〜Ｈ３それぞれを１人の人物としてアノテーションの付与処理を実施する。

ここで、人物Ｈ２を例示として説明すると、分割画像Ｃ２３つまり加工済画像Ｃ２３の加工パラメータ及びアノテーション情報から、人物Ｈ２に付与されたアノテーションの領域及びその座標が算出できる。なお、上記座標は、加工前画像又は分割前の画像に設定される座標系に基づくものである。また、加工済画像Ｃ２４の加工パラメータ及びアノテーション情報から、人物Ｈ２に付与されたアノテーションの領域及びその座標が算出できる。そして、２つのアノテーションの領域は、大部分で重なる。これにより、加工済画像Ｃ２３及びＣ２４それぞれで人物Ｈ２に付与されたアノテーションは、同一人物に対するアノテーションであると特定できる。よって、アノテーションの精度が高くなる。

一方、図４に示されるように、分割線Ｄ１〜Ｄ４を境界とする分割画像Ｃ１〜Ｃ５つまり加工済画像Ｃ１〜Ｃ５に関して、人物Ｈ２は、加工済画像Ｃ３及びＣ４それぞれおいて、１人の人物としてアノテーションの付与処理がなされる。そして、加工済画像Ｃ３及びＣ４での人物Ｈ２への２つのアノテーションの領域は、重複しないため、２人の人物に対するアノテーションとして扱われる可能性が高い。よって、アノテーションの精度が低くなる。

このように、分割画像にラップ領域を設けることによって、分割画像間の境界付近に表示される対象物に対するアノテーションの精度が向上する。

［画像加工システムの動作の変形例２］
以下、画像加工システム１００の動作の変形例２を説明する。変形例２に係る画像加工システム１００の動作では、図７に示すような画像加工処理が実施された加工済画像に対して、アノテーションの処理者によってアノテーションが付与された後に、画像不鮮明化処理による不鮮明度を弱くする処理を実施した加工済画像を生成する点で、実施の形態と異なる。以下に、本変形例について、実施の形態及び変形例１と異なる点を中心に説明する。なお、不鮮明度の強弱は、不鮮明化処理の手法に応じた様々なパラメータを用いて決定することができる。不鮮明化処理としてぼかし処理を実施する場合、例えば、平滑化フィルタ、メディアンフィルタ、マックスフィルタ、ミニマムフィルタ等を用いる手法がある。それぞれのフィルタでは、注目画素の輝度値を決定するために注目画素の周辺の画素の輝度値が用いられる。この場合、採用する画素の範囲が、不鮮明度のパラメータに対応する。採用する画素の範囲、つまりパラメータが大きいほど、不鮮明度が強くなる。よって、このパラメータを設定することによって、画像の不鮮明度の強弱を設定できる。

図９は、実施の形態の変形例２に係る画像加工システム１００の動作の流れの一例を示すフローチャートである。図１及び図９を参照すると、画像加工システム１００の画像加工装置１０は、実施の形態と同様に、ステップＳ１０１〜Ｓ１１１の処理を実施することによって、サーバ装置２０から取得する加工前画像に１回目の画像加工処理を実施し、加工済画像を生成する。なお、画像加工装置１０の画像不鮮明化変換部１３は、ステップＳ１０４において、比較的強い不鮮明度で画像の不鮮明化処理を実施する、つまり、第一不鮮明化処理を実施する。例えば、図２に示される人物Ｈ１〜Ｈ４に関して、人物Ｈ１、Ｈ３及びＨ４は、画像の撮影装置の近くに位置し大きく鮮明に表示されるが、人物Ｈ２は、撮影装置から遠くに位置し、より小さくより不鮮明に表示される。比較的強い不鮮明度とは、第一不鮮明化処理後の画像において、人物Ｈ１、Ｈ３及びＨ４は、アノテーションの処理者によって人物であると判別され得るが、人物Ｈ２は、アノテーションの処理者によって人物であると判別され得ない程度の不鮮明度である。なお、この比較的強い不鮮明度は、上記不鮮明度に限定されず、いかなる不鮮明度であってもよく、適宜設定され得る。ここで、比較的強い不鮮明度の第一不鮮明化処理は、第一の強度のプライバシー保護の画像処理の一例である。

次いで、１回目の画像加工処理後の加工済画像に対するアノテーションの付与処理が、アノテーションの処理者のアノテーション処理装置３０を介して実施される（ステップＳ２０１）。そして、当該加工済画像に付与されたアノテーション情報は、サーバ装置２０のアノテーションデータ蓄積部２７に格納される。このとき、例えば、図２に示される人物Ｈ１、Ｈ３及びＨ４にはアノテーションが付与されるが、人物Ｈ２にはアノテーションが付与されない。よって、一部の対象物に対してアノテーションが付与される。

その後、画像加工装置１０の制御部１１は、サーバ装置２０に、１回目の画像加工処理がなされ且つアノテーションが付与された加工済画像データと、当該加工済画像の加工パラメータと、当該加工済画像のアノテーション情報とを要求する。サーバ装置２０の制御部２１は、加工済画像データ蓄積部２５、加工パラメータ蓄積部２６及びアノテーションデータ蓄積部２７に格納されている該当する加工済画像、加工パラメータ及びアノテーション情報を、画像加工装置１０に送信する。これにより、画像加工装置１０は、要求する各データを取得する（ステップＳ２０２）。

画像加工装置１０の制御部１１は、画像不鮮明化変換部１３に、加工済画像上で、アノテーションが付与された領域の範囲及び位置を特定させる。さらに、画像不鮮明化変換部１３は、特定したアノテーションの領域に、第一不鮮明化処理以上の強さの不鮮明度で不鮮明化処理を実施する。具体的には、画像不鮮明化変換部１３は、特定したアノテーションの領域を塗りつぶす消去処理を実施する（ステップＳ２０３）。例えば、図２に示される人物Ｈ１、Ｈ３及びＨ４に対するアノテーションの領域が、消去される。また、上記処理として、画像不鮮明化変換部１３は、アノテーションの領域を画像から切り取って削除する処理を実施してもよい。又は、画像不鮮明化変換部１３は、加工パラメータに基づき、第一不鮮明化処理の内容を特定し、上記不鮮明化処理の内容及び強度を決定してもよい。ここで、第一不鮮明化処理以上の強さの不鮮明度の不鮮明化処理は、第二の強度のプライバシー保護の画像処理の一例である。

次いで、制御部１１は、画像不鮮明化変換部１３に、加工パラメータに基づき、加工済画像に施されている第一不鮮明化処理の内容を特定させる。さらに、画像不鮮明化変換部１３は、特定した情報に基づき、加工済画像の第一不鮮明化処理を解除し、解除後の画像に、第一不鮮明化処理よりも弱い不鮮明度である比較的弱い不鮮明度の新たな不鮮明化処理を実施する、つまり第二不鮮明化処理を実施する（ステップＳ２０４）。この際、加工済画像において、第一不鮮明化処理がされた領域の第一不鮮明化処理が解除されるため、ステップＳ２０３で不鮮明化処理が実施されたアノテーションの領域の不鮮明化処理が維持される。このため、ステップＳ２０３での不鮮明化処理の不鮮明度は、第一不鮮明化処理と同等であってもよい。そして、第二不鮮明化処理は、第一不鮮明化処理が解除された領域に実施されるが、加工済画像の全体に実施されてもよい。この場合も、アノテーションの領域の不鮮明化処理が維持される。ここで、第一不鮮明化処理よりも弱い不鮮明度の第二不鮮明化処理は、第三の強度のプライバシー保護の画像処理の一例である。

比較的弱い不鮮明度とは、例えば、図２に示される人物Ｈ２が、アノテーションの処理者によって人物であると判別され得る程度の不鮮明度である。なお、この比較的弱い不鮮明度は、上記不鮮明度に限定されず、いかなる不鮮明度であってもよく、適宜設定され得る。また、画像不鮮明化変換部１３は、加工済画像に施されている第一不鮮明化処理を、比較的弱い不鮮明度の第二不鮮明化処理に変更又は変換等してもよい。上述の第二不鮮明化処理によって、２回目の画像加工処理を受けた加工済画像が生成される。

さらに、制御部１１は、画像不鮮明化変換部１３に、第二不鮮明化処理の内容及び強度に関する情報を、加工パラメータとして、サーバ装置２０の加工パラメータ蓄積部２６に格納させる（ステップＳ２０５）。
また、制御部１１は、画像不鮮明化変換部１３に、２回目の画像加工処理を受けた加工済画像を、アノテーション用画像データとして、サーバ装置２０の加工済画像データ蓄積部２５に格納させる（ステップＳ２０６）。

次いで、２回目の画像加工処理後の加工済画像に対するアノテーションの付与処理が、アノテーションの処理者のアノテーション処理装置３０を介して実施される（ステップＳ２０７）。そして、当該加工済画像に付与されたアノテーション情報は、サーバ装置２０のアノテーションデータ蓄積部２７に格納される。このとき、例えば、図２に示される人物Ｈ２にアノテーションが付与される。これにより、全ての対象物に対してアノテーションが付与されることになる。なお、本変形例において、実施の形態におけるステップＳ１０６〜Ｓ１１０の処理のような、不鮮明化処理後の画像の分割処理及び分割画像の入替処理の少なくともに一方が、省略されてもよい。

［画像加工システムの動作の変形例３］
以下、画像加工システム１００の動作の変形例３を説明する。変形例３に係る画像加工システム１００の動作では、画像加工処理すべき複数の加工前画像のうちの一部に対して、変形例２と同様に、２回の画像加工処理が実施される。そして、当該加工前画像のうちの残りに対して、一部の加工前画像に実施した不鮮明化処理に基づいた不鮮明化処理を用いて、１回の画像加工処理が実施される。以下に、本変形例について、実施の形態並びに変形例１及び２と異なる点を中心に説明する。

図１０は、実施の形態の変形例３に係る画像加工システム１００の動作の流れの一例を示すフローチャートである。図１及び図１０を参照すると、画像加工システム１００の画像加工装置１０は、変形例２と同様に、ステップＳ１０１〜Ｓ１１１及びステップＳ２０１〜Ｓ２０６の処理を実施することによって、サーバ装置２０の加工前画像データ蓄積部２４から取得する第一の加工前画像に２回の画像加工処理を実施し、加工済画像を生成する。なお、変形例２において説明したステップＳ２０７の処理（図９参照）である２回目画像加工処理後の加工済画像へのアノテーション処理は、ステップＳ２０６以降のいかなるタイミングで実施されてもよいため、記載を省略している。

加工前画像データ蓄積部２４に格納されている加工前画像は、番号等が付与されることによって、順序付けられている。第一の加工前画像は、画像加工処理すべき複数の加工前画像から選択される一部の加工前画像であり、画像加工処理すべき複数の加工前画像から第一の加工前画像を除いた残りの加工前画像が、第二の加工前画像である。本変形例では、第一の加工前画像は、画像加工処理すべき複数の加工前画像において、２つの加工前画像につき１つの加工前画像を間引いた残りの加工前画像である。これにより、第一の加工前画像及び第二の加工前画像はそれぞれ、１つおきの番号を有している。

なお、第一の加工前画像の選択方法は、上記方法に限定されず、いかなる方法であってもよい。例えば、第一の加工前画像は、上記方法のように第二の加工前画像と同等の数量の画像を構成してもよく、異なる数量の画像を構成してもよい。また、第一の加工前画像は、３つ以上の加工前画像につき１つの加工前画像を間引いた残りの加工前画像である等、連続する番号を有するように選択されてもよい。又は、第一の加工前画像は、４つの加工前画像につき連続する番号の２つの加工前画像を間引いた残りの加工前画像である等、第一の加工前画像及び第二の加工前画像がいずれも連続する番号を有するように選択されてもよく、第二の加工前画像のみが連続する番号を有するように選択されてもよい。後述するように、第二の加工前画像の画像加工処理において、第一の加工前画像の不鮮明化処理に関する情報が用いられるため、第一の加工前画像は、第二の加工前画像と同等又はそれ以上の数量の画像を構成することが望ましい。

画像加工装置１０の制御部１１は、ステップＳ２０６の処理後、全ての第一の加工前画像に対して第二不鮮明化処理を用いた２回目の画像加工処理を完了したと判定する（ステップＳ３０１でｙｅｓ）と、第二の加工前画像の画像加工処理を実施するために、ステップＳ３０２の処理に進む。一方、制御部１１は、全ての第一の加工前画像の２回目の画像加工処理を完了していないと判定する（ステップＳ３０１でｎо）と、ステップＳ１０１の処理に進み、未加工の第一の加工前画像の画像加工処理を実施する。又は、１回目の画像加工処理のみが完了している第一の加工前画像がある場合、制御部１１は、ステップＳ２０２の処理に進む。

ステップＳ３０２において、画像加工装置１０の制御部１１は、サーバ装置２０に第二の加工前画像データを要求する。そして、制御部１１は、サーバ装置２０の制御部２１によって送信される加工前画像データ蓄積部２４の第二の加工前画像データを取得する。

次のステップＳ３０３において、画像加工装置１０の制御部１１は、取得した第二の加工前画像の前後の番号の第一の加工前画像に対して実施された第一不鮮明化処理及び第二不鮮明化処理の内容に関する情報を、サーバ装置２０に要求する。そして、制御部１１は、サーバ装置２０の制御部２１によって送信される加工パラメータ蓄積部２６に格納された当該情報を取得する。例えば、第二の加工前画像の番号をｎとし、前後の番号の第一の加工前画像の番号をｎ−１及びｎ＋１とする。

次いで、画像加工装置１０の制御部１１は、画像不鮮明化変換部１３に、２つの番号ｎ−１及びｎ＋１の第一の加工前画像の第一不鮮明化処理及び第二不鮮明化処理の内容に基づき、番号ｎの第二の加工前画像に実施すべき不鮮明化処理である第三不鮮明化処理の内容を決定させる（ステップＳ３０４）。本変形例では、第三不鮮明化処理の強度としての不鮮明度が決定される。第三不鮮明化処理の不鮮明度は、番号ｎ−１及びｎ＋１の第一の加工前画像の２つの第一不鮮明化処理の不鮮明度及び２つの第二不鮮明化処理の不鮮明度の間の値から選択される。選択される値には、２つの第一不鮮明化処理の不鮮明度及び２つの第二不鮮明化処理の不鮮明度の平均値、中央値等が採用される。平均値は、相加平均、相乗平均、調和平均又は加重平均等であってよい。

なお、番号ｎの第二の加工前画像の第三不鮮明化処理の内容の決定において、番号ｎの近傍の番号の第一の加工前画像の第一不鮮明化処理及び第二不鮮明化処理の内容が使用されてよい。また、１つの第三不鮮明化処理の内容の決定に適用される第一の加工前画像は、２つに限定されず、３つ以上であってもよい。この場合、例えば、番号ｎの第二の加工前画像の第三不鮮明化処理の内容の決定において、番号ｎ−１及びｎ＋１の第一の加工前画像だけでなく、番号ｎ−３、番号ｎ＋３等の番号ｎの近傍の番号の第一の加工前画像も適用されてもよい。また、番号ｎの第二の加工前画像の第三不鮮明化処理の内容の決定において、番号ｎの第二の加工前画像の前後の番号ｎ−１及びｎ＋１の第一の加工前画像でなく、番号ｎ−３及びｎ−１等の前の番号の第一の加工前画像のみが適用されてもよく、番号ｎ＋１及びｎ＋３等の後の番号の第一の加工前画像のみが適用されてもよい。

第三不鮮明化処理の内容の決定後、画像加工装置１０の制御部１１は、実施の形態と同様に、ステップＳ１０３〜ステップＳ１１１の処理を実施することによって、第三不鮮明化処理を用いた画像加工処理後の加工済画像を生成する。そして、生成された加工済画像に対してアノテーションの付与処理が実施される。

上述のような処理によって、第一の加工前画像については、同一の画像に２回のアノテーションの付与処理が実施され、第二の加工前画像については、同一の画像に１回のアノテーションの付与処理が実施される。よって、変形例２のように全ての画像に２回のアノテーションの付与処理が実施される場合よりも、アノテーションの付与処理の回数が低減する。なお、本変形例において、実施の形態におけるステップＳ１０６〜Ｓ１１０の処理のような、不鮮明化処理後の画像の分割処理及び分割画像の入替処理の少なくともに一方が、省略されてもよい。

［効果等］
上述したように、実施の形態に係る画像加工システム１００は、画像にプライバシー保護の画像処理としての不鮮明化処理をして処理画像を生成する画像変換部としての画像不鮮明化変換部１３と、処理画像を複数の領域に分割して複数の分割画像を生成する画像分割部１４とを備える。画像分割部１４は、処理画像を形成する分割画像に順序付けをする。画像加工システム１００はさらに、順序付けされた分割画像の順序を入れ替え、入れ替え後の順序で分割画像を新たに順序付けする画像入替部１５を備える。

上述の構成において、各画像の処理画像が、プライバシー保護の画像処理としての不鮮明化処理を受けているため、各処理画像内の被写体の特徴等の被写体のプライバシー情報の特定が困難になる。さらに、各処理画像が分割されるため、画像の撮影場所等の被写体のプライバシー情報の特定が困難になる。さらにまた、分割画像の順序が入れ替えられるため、画像の撮影場所等の被写体のプライバシー情報の特定がさらに困難になる。

また、実施の形態の変形例２に係る画像加工システム１００は、画像に第一の強度のプライバシー保護の画像処理としての第一不鮮明化処理をして第一処理画像を生成する第一画像変換部としての画像不鮮明化変換部１３と、第一処理画像をアノテーション用画像として出力する第一出力部としての制御部１１とを備える。画像不鮮明化変換部１３は、アノテーションが付与された第一処理画像におけるアノテーションの付与領域に、第一の強度以上の第二の強度のプライバシー保護の画像処理としての消去処理をして第二処理画像を生成する第二画像変換部としても機能する。さらに、画像不鮮明化変換部１３は、第二処理画像に対して、第一画像変換部による第一不鮮明化処理を解除し、第一の強度よりも弱い第三の強度のプライバシー保護の画像処理としての第二不鮮明化処理をして第三処理画像を生成する第三画像変換部としても機能する。また、制御部１１は、第三処理画像をアノテーション用画像として出力する第二出力部としても機能する。

上述の構成において、画像は、プライバシー保護の画像処理としての第一不鮮明化処理、第二不鮮明化処理及び消去処理を受けるため、画像内の被写体の特徴等の被写体のプライバシー情報の特定が困難になる。さらに、第一不鮮明化処理を受けた第一処理画像では、処理前の画像において鮮明な被写体へのアノテーションの付与を可能にするが、当該被写体の特徴の特定を困難にすることができる。さらに、処理前の画像において不鮮明な被写体へのアノテーションの付与が困難になり得る。そして、消去処理を受けた第二処理画像では、第一処理画像上でアノテーションが付与された被写体の特徴の特定の困難さは、維持されるか又は増大する。第二不鮮明化処理を受けた第三処理画像は、第一処理画像でアノテーションの付与が困難であった被写体へのアノテーションの付与を可能にするが、当該被写体の特徴の特定を困難にすることができる。なお、第一処理画像上でアノテーションが付与された被写体の特徴の特定は、困難なままである。よって、画像の全ての被写体へのアノテーションの付与を可能にしつつ、全ての被写体のプライバシー情報の特定を困難にすることが、可能になる。

実施の形態の変形例３に係る画像加工システム１００において、画像不鮮明化変換部１３は、第一不鮮明化処理の第一の強度及び第二不鮮明化処理の第三の強度に基づき、プライバシー保護の画像処理としての第三不鮮明化処理の第四の強度を取得する。さらに、画像不鮮明化変換部１３は、画像処理が実施されていない未処理画像に対して、第三不鮮明化処理を行う。そして、制御部１１は、第三不鮮明化処理後の当該未処理画像に対して、分割処理、分割画像の入替処理等を実施する。

上述の構成において、画像加工処理を受けるべき複数の画像の一部が、第一不鮮明化処理及び第二不鮮明化処理を用いた画像加工処理を受け、第一不鮮明化処理及び第二不鮮明化処理の間と第二不鮮明化処理後とに２回のアノテーション処理を受ける。画像加工処理を受けるべき複数の画像のその他は、第三不鮮明化処理を用いた画像加工処理を受け、第三不鮮明化処理後に１回のアノテーション処理を受ける。よって、全ての画像に対して２回のアノテーション処理を実施する場合と比較して、アノテーション処理の回数が減少するため、画像加工処理及びアノテーション処理の簡易化及び迅速化が可能になる。

また、実施の形態に係る画像加工方法は、複数の画像のそれぞれに対して、プライバシー保護の画像処理としての不鮮明化処理を行って複数の処理画像を生成する画像処理ステップと、複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成する分割画像生成ステップであって、同一の処理画像に属する分割画像に、分割画像が連続する画像を形成するように順序付けをする分割画像生成ステップと、順序付けされた順序を入れ替える順序入れ替えステップと、順序入れ替えステップでの入れ替え後の順序で順序付けをした前記分割画像をアノテーション用の加工済画像として出力する出力ステップとを含む。上述の方法によって、実施の形態に係る画像加工システム１００の効果と同様の効果が得られる。

実施の形態の変形例２に係る画像加工方法はさらに、出力ステップの後、アノテーションが付与された加工済画像を第一加工済画像として取得する画像取得ステップと、第一加工済画像におけるアノテーションの付与領域に対して、実施済みの第一不鮮明化処理の第一の強度以上の第二の強度で、プライバシー保護の画像処理としての消去処理を行う第二画像処理ステップと、消去処理後の第一加工済画像に対して、第一不鮮明化処理を解除した上で、第一の強度よりも弱い第三の強度で第二不鮮明化処理を行う第三画像処理ステップと、第二不鮮明化処理後の第一加工済画像をアノテーション用の第二加工済画像として出力する第二出力ステップとを含む。上述の方法によって、変形例２に係る画像加工システム１００の効果と同様の効果が得られる。

また、実施の形態の変形例２に係る画像加工方法は、画像に対して、第一の強度で第一不鮮明化処理を行って第一処理画像を生成する第一画像処理ステップと、第一処理画像をアノテーション用画像として出力する第一出力ステップと、第一出力ステップの後、アノテーションが付与された第一処理画像を取得する画像取得ステップと、アノテーションが付与された第一処理画像におけるアノテーションの付与領域に対して、第一の強度以上の第二の強度で消去処理を行って第二処理画像を生成する第二画像処理ステップと、第二処理画像に対して、第一不鮮明化処理を解除した上で、第一の強度よりも弱い第三の強度で第二不鮮明化処理を行って第三処理画像を生成する第三画像処理ステップと、第三処理画像をアノテーション用画像として出力する第二出力ステップとを含む。上述の方法によっても、変形例２に係る画像加工システム１００の効果と同様の効果が得られる。

実施の形態の変形例３に係る画像加工方法はさらに、第一不鮮明化処理の第一の強度及び第二不鮮明化処理の第三の強度に基づき、プライバシー保護の画像処理の第四の強度を取得する強度取得ステップと、複数の画像のうちの画像処理が実施されていない未処理画像に対して、第四の強度でプライバシー保護の画像処理としての第三不鮮明化処理を行う第四画像処理ステップをさらに含み、第三不鮮明化処理後の当該未処理画像に対して、分割画像生成ステップ、順序入れ替えステップ及び出力ステップを実施する。上述の方法によって、変形例３に係る画像加工システム１００の効果と同様の効果が得られる。

変形例２及び３に係る画像加工システム１００及び画像加工方法において、第二の強度でのプライバシー保護の画像処理は、アノテーションの付与領域の塗りつぶしまたは削除である。上述によって、第二不鮮明化処理後のアノテーション用画像へのアノテーション付与処理の際、第一不鮮明化処理後にアノテーションが付与された被写体に重複してアノテーションが付与されることが、抑制される。

実施の形態及び変形例に係る画像加工システム１００及び画像加工方法において、不鮮明化処理は、モザイク処理、ぼかし処理又はピクセル化処理である。上述によって、不鮮明化処理の強さを容易に変更することが、可能になる。

実施の形態及び変形例に係る画像加工システム１００及び画像加工方法において、分割画像の入替処理では、複数の処理画像、つまり複数の加工前画像に属する複数の分割画像がランダムシャッフルされる。上述によって、同一の加工前画像に属する複数の分割画像の関連付けが困難になり、アノテーション処理者による加工前画像の復元が困難になる。さらに、同一の加工前画像に属する分割画像の順序が連続しないように順序が入れ替えられるため、同一の加工前画像に属する複数の分割画像の関連付けが、より困難になる。

変形例１に係る画像加工システム１００及び画像加工方法において、同一の処理画像、つまり加工前画像に属する分割画像は、一部重複する領域を有する。上述において、各分割画像間の境界が重複し得る。よって、境界付近の被写体の特定が容易且つ正確になり、アノテーションの精度が向上する。

実施の形態及び変形例に係る画像加工システム１００及び画像加工方法において、画像処理としての不鮮明化処理の前に、加工前画像に対して、加工前画像上で文字認識が実施され、認識された文字にプライバシー保護の画像処理としての消去処理が実施される。上述において、加工前画像上で互いに鮮明度が異なる文字、記号等と被写体との不鮮明化処理を別にすることによって、それぞれに対応した不鮮明化処理の実施が可能になる。その結果、被写体へのアノテーションの精度が向上する。

なお、上記方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

また、実施の形態及び変形例での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、実施の形態での処理は、次のようなプログラムによって、実現される。

すなわち、このプログラムは、コンピュータに実行させるプログラムであって、複数の画像のそれぞれに対して、不鮮明化処理を行って複数の処理画像を生成し、複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成し、同一の処理画像に属する分割画像に、分割画像が連続する画像を形成するように順序付けをし、順序付けされた順序を入れ替え、入れ替え後の順序で順序付けをした分割画像をアノテーション用画像として出力する。

また、変形例２での処理は、次のようなプログラムによって、実現される。
すなわち、このプログラムは、コンピュータに実行させるプログラムであって、画像に対して、第一の強度で第一不鮮明化処理を行って第一処理画像を生成し、第一処理画像をアノテーション用画像として出力し、アノテーションが付与された第一処理画像を取得し、アノテーションが付与された第一処理画像におけるアノテーションの付与領域に対して、第一の強度以上の第二の強度で消去処理を行って第二処理画像を生成し、第二処理画像に対して、第一不鮮明化処理を解除した上で、第一の強度よりも弱い第三の強度で第二不鮮明化処理を行って第三処理画像を生成し、第三処理画像をアノテーション用画像として出力する。

なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。

また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。
また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。

［その他の変形例］
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態及び変形例で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。

実施の形態及び変形例に係る画像加工システム１００では、画像加工装置１０と、サーバ装置２０と、アノテーション処理装置３０と、アノテーション中継装置４０とは、別個の要素であり、互いに離れて配置されていたが、これに限定されない。例えば、画像加工装置１０とアノテーション中継装置４０とが、１つの装置を構成してもよい。又は、画像加工装置１０及びアノテーション中継装置４０の少なくとも一方と、サーバ装置２０とが、１つの装置を構成してもよい。そして、アノテーション処理装置３０とアノテーション中継装置４０とが、１つの装置を構成してもよい。

実施の形態及び変形例に係る画像加工システム１００は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ等のニューラルネットワークでの大量の学習用の画像データを構築するために用いられていたが、これに限定されず、画像データを構築するいかなる構成に適用されてもよい。

なお、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態及び変形例を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態及び変形例は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、画像へアノテーションを付与する技術に利用可能である。

１１ 制御部（第一出力部、第二出力部）
１３ 画像不鮮明化変換部（画像変換部、第一画像変換部、第二画像変換部、第三画像変換部）
１４ 画像分割部
１５ 画像入替部
１００ 画像加工システム

Claims (14)

1. 複数の画像のそれぞれに対して、プライバシー保護の画像処理を行って複数の処理画像を生成する画像処理ステップと、
   前記複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成する分割画像生成ステップであって、同一の前記処理画像に属する前記分割画像に、前記分割画像が連続する画像を形成するように順序付けをする分割画像生成ステップと、
   順序付けされた順序を入れ替える順序入れ替えステップと、
   前記順序入れ替えステップでの入れ替え後の順序で順序付けをした前記分割画像をアノテーション用の加工済画像として出力する出力ステップとを含む、
   画像加工方法。
2. 前記出力ステップの後、アノテーションが付与された前記加工済画像を第一加工済画像として取得する画像取得ステップと、
   前記第一加工済画像における前記アノテーションの付与領域に対して、前記画像処理ステップとしての第一画像処理ステップにおけるプライバシー保護の画像処理の第一の強度以上の第二の強度で、プライバシー保護の画像処理を行う第二画像処理ステップと、
   前記第二画像処理ステップでの画像処理後の前記第一加工済画像に対して、前記第一画像処理ステップで実施された画像処理を解除した上で、前記第一の強度よりも弱い第三の強度でプライバシー保護の画像処理を行う第三画像処理ステップと、
   前記第三画像処理ステップでの画像処理後の前記第一加工済画像をアノテーション用の第二加工済画像として出力する第二出力ステップとをさらに含む、
   請求項１に記載の画像加工方法。
3. 前記第二の強度でのプライバシー保護の画像処理は、前記アノテーションの付与領域の塗りつぶしまたは削除である、
   請求項２に記載の画像加工方法。
4. 前記第一の強度及び前記第三の強度に基づき、プライバシー保護の画像処理の第四の強度を取得する強度取得ステップと、
   前記複数の画像のうちの前記画像処理が実施されていない未処理画像に対して、前記第四の強度でプライバシー保護の画像処理を行う第四画像処理ステップをさらに含み、
   前記第四画像処理ステップでの画像処理後の前記未処理画像に対して、前記分割画像生成ステップ、前記順序入れ替えステップ及び前記出力ステップを実施する、
   請求項２または３に記載の画像加工方法。
5. 前記画像処理は、モザイク処理、ぼかし処理またはピクセル化処理である、
   請求項１〜４のいずれか一項に記載の画像加工方法。
6. 前記順序入れ替えステップでは、複数の前記処理画像に属する複数の前記分割画像をランダムシャッフルする、
   請求項１〜５のいずれか一項に記載の画像加工方法。
7. 前記順序入れ替えステップでは、同一の前記処理画像に属する前記分割画像の順序が連続しないように前記順序を入れ替える、
   請求項１〜６のいずれか一項に記載の画像加工方法。
8. 前記分割画像生成ステップにおいて、同一の前記処理画像に属する前記分割画像は、一部重複する領域を有する、
   請求項１〜７のいずれか一項に記載の画像加工方法。
9. 前記画像処理ステップの前に、前記複数の画像のそれぞれに対して、前記複数の画像上で文字認識する文字認識ステップと、
   認識された文字にプライバシー保護の画像処理を行う第五画像処理ステップとをさらに含む、
   請求項１〜８のいずれか一項に記載の画像加工方法。
10. 画像に対して、第一の強度でプライバシー保護の画像処理を行って第一処理画像を生成する第一画像処理ステップと、
    前記第一処理画像をアノテーション用画像として出力する第一出力ステップと、
    前記第一出力ステップの後、アノテーションが付与された前記第一処理画像を取得する画像取得ステップと、
    前記アノテーションが付与された前記第一処理画像における前記アノテーションの付与領域に対して、前記第一の強度以上の第二の強度でプライバシー保護の画像処理を行って第二処理画像を生成する第二画像処理ステップと、
    前記第二処理画像に対して、前記第一画像処理ステップで実施された画像処理を解除した上で、前記第一の強度よりも弱い第三の強度でプライバシー保護の画像処理を行って第三処理画像を生成する第三画像処理ステップと、
    前記第三処理画像をアノテーション用画像として出力する第二出力ステップとを含む、
    画像加工方法。
11. 画像にプライバシー保護の画像処理をして処理画像を生成する画像変換部と、
    前記処理画像を複数の領域に分割して複数の分割画像を生成する画像分割部であって、前記処理画像を形成する前記分割画像に順序付けをする画像分割部と、
    順序付けされた前記分割画像の順序を入れ替え、入れ替え後の順序で前記分割画像を新たに順序付けする画像入替部とを備える、
    画像加工システム。
12. 画像に第一の強度のプライバシー保護の画像処理をして第一処理画像を生成する第一画像変換部と、
    前記第一処理画像をアノテーション用画像として出力する第一出力部と、
    アノテーションが付与された前記第一処理画像における前記アノテーションの付与領域に、前記第一の強度以上の第二の強度のプライバシー保護の画像処理をして第二処理画像を生成する第二画像変換部と、
    前記第二処理画像に対して、前記第一画像変換部による画像処理を解除し、前記第一の強度よりも弱い第三の強度のプライバシー保護の画像処理をして第三処理画像を生成する第三画像変換部と、
    前記第三処理画像をアノテーション用画像として出力する第二出力部とを備える、
    画像加工システム。
13. コンピュータに実行させるプログラムであって、
    複数の画像のそれぞれに対して、プライバシー保護の画像処理を行って複数の処理画像を生成し、
    前記複数の処理画像のそれぞれを複数領域に分割し、複数の分割画像を生成し、
    同一の前記処理画像に属する前記分割画像に、前記分割画像が連続する画像を形成するように順序付けをし、
    順序付けされた順序を入れ替え、
    入れ替え後の順序で順序付けをした前記分割画像をアノテーション用画像として出力する、
    プログラム。
14. コンピュータに実行させるプログラムであって、
    画像に対して、第一の強度でプライバシー保護の画像処理を行って第一処理画像を生成し、
    前記第一処理画像をアノテーション用画像として出力し、
    アノテーションが付与された前記第一処理画像を取得し、
    前記アノテーションが付与された第一処理画像における前記アノテーションの付与領域に対して、前記第一の強度以上の第二の強度でプライバシー保護の画像処理を行って第二処理画像を生成し、
    前記第二処理画像に対して、前記第一処理画像の生成時に行われた画像処理を解除した上で、前記第一の強度よりも弱い第三の強度でプライバシー保護の画像処理を行って第三処理画像を生成し、
    前記第三処理画像をアノテーション用画像として出力する、
    プログラム。

Images