JP2016062524A - データ処理システム、データ処理方法およびデータ処理プログラム - Google Patents

Abstract

【課題】学習フェーズにおいて作成したモデルに入力するデータを検出フェーズにおいて増やすことによって、学習用画像へのラベル付与の手間を削減しながら対象物を高精度に検出することを可能とするデータ処理システムを提供する。
【解決手段】学習用画像上の少なくとも一つの領域に付与された教師ラベルと領域の画像との関係を学習してモデル化する学習手段と、学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および画像処理が施されていない検出用画像の中からそれぞれモデルに基づいて対象物を含む領域を検出する検出手段とを備えるデータ処理システムとする。
【選択図】 図１

Description

本発明は、機械学習を行うデータ処理システム、データ処理方法およびデータ処理プログラムに関する。特に、ビックデータを分析対象として機械学習を行うデータ処理システム、データ処理方法およびデータ処理プログラムに関する。

ビッグデータ分析の需要増加により、様々な情報の分析を目的とした機械学習が行われつつある。ビッグデータ分析の機械学習において未知のデータを学習する際には、分析対象のデータがどのような分類に属するか、どのくらいの値なのかを教示する情報となる教師ラベルを分析対象のデータに付与することが求められる。

蓄積データ内に教師ラベルとなるデータが存在しない場合、ユーザがデータの内容を理解し、分析対象のデータに関する教師ラベルを判定・付与する必要が生じる。例えば、入力画像内において検出対象が含まれる範囲を特定する物体検出システムでは、ユーザが画像を目視し、対象データに教師ラベルを直接付与する作業が必要となる。このように、分析対象のデータに教師ラベルを付与する作業には多くの時間を要する。

また、画像内の対象物検出を高精度に行うには、物体の形状・大きさ・位置・向き、さらに対象物の周囲に入り込む背景情報など、様々な条件を組み合わせて学習データを用意する必要がある。そのため、画像内の対象物検出を高精度に行う場面においては、教師ラベルの付与に時間がかかることが課題となっている。

特許文献１には、対象物の検出性能を落とさずに、特徴量が削減された学習モデルを生成することができる学習モデル生成装置について開示されている。特許文献１の学習モデル生成装置は、対象物の検出難易度に応じた複数のランク毎に分類された複数の学習用画像を記憶する。例えば、特許文献１の学習モデル生成装置は、学習用画像の質によって、最も検出し易いランクをランク１、最も検出し難いランクをランク４として４つのランクに分類する。このとき、特許文献１の学習モデル生成装置は、ランク２およびランク３に分類された学習用画像の数に対するランク１およびランク４に分類された学習用画像の数の割合が所定値以下となるように複数の学習用画像を選択する。そして、特許文献１の学習モデル生成装置は、選択した複数の学習用画像に基づいて、複数の学習用画像のそれぞれに応じた数の特徴の集合を含む学習モデルを生成する。

特許文献２には、学習用画像の解像度の減少度合いに関する指標を設定し、学習用画像として採用するために適正な解像度を判定するオブジェクト認識装置について開示されている。特許文献２のオブジェクト認識装置は、取得した学習用標準パターンを変形した後に低解像度化した学習用パターンを生成し、生成した学習用パターンから特徴量を抽出し、抽出された特徴量に基づいて各カテゴリの部分空間を生成する。そして、特許文献２のオブジェクト認識装置は、各カテゴリの部分空間の相関関係から学習用パターンの有する解像度の適否を判定し、適正な解像度を有する学習用パターンから作成された部分空間に基づいて、学習用パターンが属するカテゴリを認識する。

特許文献３には、学習データベースに格納されるデータ数が少ない場合に、より高画質な出力画像を生成する画像処理装置について開示されている。特許文献３の画像処理装置は、学習用画像の高周波成分から得られる第１学習データと、学習用画像の低周波成分から得られる第２学習データとを学習データ対として格納するデータベースを用い、入力画像からより解像度の高い出力画像を生成する画像処理を行う。
特許文献３の画像処理装置は、複数の第２学習データのそれぞれに異なる処理を行うことによって処理ごとに複数の第３学習データを生成し、生成した第３学習データの中から、入力画像の特徴を示す特徴データと最も類似度の高い選択データを選択する。そして、特許文献３の画像処理装置は、選択された第３学習データの生成に用いられた第２学習データと対になる第１学習データに対して、選択された第３学習データを生成する際に行われた処理を施し、高周波データを生成する。特許文献３の画像処理装置は、選択された第３学習データを生成する際に行われた処理が施された第１学習データから生成された高周波データが示す画像を入力画像に加えて出力画像を生成する。

特許第５０６３６３２号公報 特開２００７−３０４９００号公報 特開２０１３−１０９７５８号公報

特許文献１の学習モデル生成装置においては、検出フェーズにおいて、例えば、対象物を含みうる縮小画像と拡大画像とを用意し、拡大した場合はぼやけた画像（ランク４）とマッチさせ、縮小した場合はシャープ化した画像（ランク１）とマッチさせる。その結果、画像内の対象物の大きさにかかわらず、対象物を高精度に検出することが可能となる。しかしながら、特許文献１の学習モデル生成装置では、教師ラベルを少なくすることは考慮していないため、データに付与された教師ラベルを削減することにつながる知見は得られないという課題があった。

特許文献２のオブジェクト認識装置においては、省メモリ消費を実現することによって処理速度を向上できるが、教師ラベルを少なくすることは考慮していない。そのため、やはり、データに付与された教師ラベルを削減することにつながる知見は得られないという課題があった。

特許文献３の画像処理装置においては、入力画像と類似度の高い高周波データが生成されて入力画像に加算されることから、生成される出力画像の画質を高めることができる。しかしながら、学習データを増やすことによって出力画像の画質を高めるため、データに付与された教師ラベルを削減することができないという課題があった。

本発明の目的は、学習フェーズにおいて作成したモデルに入力するデータを検出フェーズにおいて増やすことによって、学習用画像へのラベル付与の手間を削減しながら対象物を高精度に検出することを可能とするデータ処理システムを提供することである。

本発明のデータ処理システムは、学習用画像上の少なくとも一つの領域に付与された教師ラベルと領域の画像との関係を学習してモデル化する学習手段と、学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および画像処理が施されていない検出用画像の中からそれぞれモデルに基づいて対象物を含む領域を検出する検出手段とを備える。

本発明のデータ処理方法においては、学習用画像上の少なくとも一つの領域に付与された教師ラベルと領域の画像との関係を学習してモデル化し、学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および画像処理が施されていない検出用画像の中からそれぞれモデルに基づいて対象物を含む領域を検出する。

本発明のデータ処理プログラムは、学習用画像上の少なくとも一つの領域に付与された教師ラベルと領域の画像との関係を学習してモデル化する処理と、学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および画像処理が施されていない検出用画像の中からそれぞれモデルに基づいて対象物を含む領域を検出する処理とをコンピュータに実行させる。

本発明によれば、学習フェーズにおいて作成したモデルに入力するデータを検出フェーズにおいて増やすことによって、学習用画像へのラベル付与の手間を削減しながら対象物を高精度に検出することが可能になる。

本発明の第１の実施形態に係るデータ処理システムの構成を示すブロック図である。 本発明の第２の実施形態に係るデータ処理システムの機能構成を示すブロック図である。 本発明の第２の実施形態に係るデータ処理システムにおいて、対象物を含む領域へのラベル付与の一例を示す概念図である。 本発明の第２の実施形態に係るデータ処理システムにおいて、対象物を含まない領域へのラベル付与の一例を示す概念図である。 本発明の第２の実施形態に係るデータ処理システムの特徴量計算手段による特徴ベクトルの計算例を示す概念図である。 本発明の第２の実施形態に係るデータ処理システムの特徴量計算手段による特徴ベクトルの計算例を示す概念図である。 本発明の第２の実施形態に係るデータ処理システムの特徴量ベクトルへのラベル付与の一例を示す概念図である。 本発明の第２の実施形態に係るデータ処理システムにおける学習フェーズを説明するためのフローチャートである。 本発明の第２の実施形態に係るデータ処理システムにおける学習フェーズを説明するためのフローチャートである。 本発明の第２の実施形態に係るデータ処理システムにおける検出フェーズを説明するためのフローチャートである。 本発明の第２の実施形態に係るデータ処理システムにおける検出結果表示の一例を示す概念図である。 本発明の第２の実施形態に係るデータ処理システムにおける超解像技術の使用可否による検出精度の比較した例である。 本発明の第３の実施形態に係るデータ処理システムの機能構成を示すブロック図である。 本発明の第３の実施形態に係るデータ処理システムにおけるラベル付与方法の一例を示す概念図である。 本発明の第３の実施形態に係るデータ処理システムにおける学習フェーズを説明するためのフローチャートである。 本発明の第４の実施形態に係るデータ処理システムの機能構成を示すブロック図である。 本発明の第４の実施形態に係るデータ処理システムにおける学習フェーズを説明するためのフローチャートである。 本発明の第４の実施形態に係るデータ処理システムにおける検出フェーズを説明するためのフローチャートである。 本発明の第４の実施形態に係るデータ処理システムのラベル付与手段によるラベル付与の一例を示す概念図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。

（第１の実施形態）
（構成）
まず、本発明の第１の実施形態に係るデータ処理システム１の構成について図１を用いて説明する。

本実施形態に係るデータ処理システム１は、学習手段２０、モデル格納手段３０、検出手段５０を備える。学習手段２０はモデル格納手段３０と接続され、モデル格納手段３０は検出手段５０と接続される。各構成要素は、例えばローカルエリアネットワークやインターネットなどのネットワークを介して接続される。また、各構成要素は、例えばケーブルなどによって直接接続されてもよいし、単一の機器内部で接続される構成としてもよい。

学習手段２０は、学習対象を含む入力画像（学習用画像とも呼ぶ）を含む学習データを入力し、学習用画像に含まれる対象物に応じた教師ラベルと領域の画像との関係を学習し、モデル化する。

領域とは、学習用画像上に設定される範囲である。例えば、学習用画像を格子状に分割した際に、各格子によって形成される基本領域の集合が領域となる。各領域は、少なくとも一つの基本領域をまとめた範囲である。各領域には、対象物の含有状態に応じた教師ラベルが付与されている。なお、学習用画像は、等間隔で格子状に分割されていなくてもよく、任意のサイズ・形状の基本格子によって分割されていてもよい。また、単一の分割方法ではなく、複数の分割方法を組み合わせて単一の学習用画像を分割してもよい。さらに、単一の学習用画像に関して、同一の画像範囲を異なる領域が重複するように分割してもよい。

例えば、画像を１０行×１０列の格子状の基本領域に分割したとき、２行×２列や３行×３列などの範囲のことを領域とよぶ。基本領域の大きさ、領域を構成する基本領域の数などは任意に設定できる。

なお、学習手段２０は、切り出された領域から抽出された特徴量と教師ラベルとの関係に加えて、切り出された領域に回転処理を施した結果から抽出される特徴量と教師ラベルとの関係を学習してモデルを生成してもよい。学習手段２０によって生成されるモデルは、学習データからパターン化（ルール化）されたモデルである。学習手段２０は、生成したモデルをモデル格納手段３０に出力する。

学習データは、学習用画像と、領域に関する情報（領域を形成するｂｏｘの座標）と、学習用画像上の各領域に対して付与された教師ラベルと、学習条件とを含む。学習条件は、学習対象の画像を学習する際の複数の条件を含む。例えば、回転数、特徴抽出に関するパラメータ（ガボール特徴量の場合、フィルタの方向数、分割形状、分割数など）、どれくらいの誤差になったら学習を終了するか等の条件が学習条件に含まれる。なお、対象物の範囲を任意サイズで選択する場合は、領域のずらし幅を学習条件に含める。また、学習アルゴリズム依存のチューニングパラメータを学習条件に含めてもよい。ただし、学習条件は、上述の条件を全て含まなくてもよい。

モデル格納手段３０は、学習手段２０が生成したモデルを格納する。なお、モデル格納手段３０は、学習手段２０および検出手段５０のうち少なくともいずれかに含まれてもよい。通常、モデル格納手段３０は、一般的なファイルサーバによって実現される。

検出手段５０は、対象物を含む領域を検出する対象である検出用画像と、対象物の検出条件とを含む検出データを入力とする。なお、検出条件とは、検出に使用するモデルや検出確信度の閾値、領域のずらし幅や回転数、超解像処理の回数や倍率等の条件を含む。ただし、検出条件は、上述の条件を全て含まなくてもよい。

検出手段５０は、学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および画像処理が施されていない検出用画像から抽出された領域をモデルに入力し、対象物を含む領域を検出する。本実施形態においては、所定の画像処理として、検出用画像の解像度を上げる処理を行う。例えば、所定の画像処理としては、超解像処理を具体例として挙げることができる。

検出手段５０は、入力された検出用画像に所定の画像処理を施す。そして、検出手段５０は、所定の画像処理が施された検出用画像と、画像処理が施されていない検出用画像とをそれぞれ分割することによって得られる複数の領域のそれぞれから抽出された特徴量をモデル格納手段３０に格納されたモデルに入力する。そして、検出手段５０は、検出用画像に対象物が含まれるか否かを推定し、推定結果を含む検出結果を出力する。なお、検出結果には、検出用画像の特徴ベクトルをモデルに入力した際の対象物の検出確信度を示すスコアを含んでいてもよい。すなわち、検出手段５０は、所定の画像処理が施された検出用画像および画像処理が施されていない検出用画像の中からそれぞれモデルに基づいて対象物を含む領域を検出する。

ここで、本実施形態に係るデータ処理システム１のハードウェア構成について簡単に説明する。

学習手段２０および検出手段５０は、中央演算処理装置、不揮発性記憶装置、揮発性記憶装置および補助記憶装置などの装置を備えたコンピュータを含んで構成される。学習手段２０および検出手段５０を実現するためのコンピュータを構成する各装置は、それぞれバスによって互いに接続される。

中央演算処理装置（以下、ＣＰＵ）は、プログラムを不揮発性記憶装置および補助記憶装置から読み出して実行する（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）。不揮発性記憶装置（以下、ＲＯＭ）には、ＯＳ等の基本プログラムが記憶されている（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）。ワークエリアとしての揮発性記憶装置（以下、ＲＡＭ）には、データが一時的に格納される（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）。補助記憶装置（以下、ＨＤＤ）には、後述するデータ処理における処理ルーチンを実行するためのプログラムが記憶されている（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）。

モデル格納手段３０は、例えば一般的なファールサーバに備えられたＨＤＤなどの補助記憶装置として実現される。なお、モデル格納手段３０は、インターネットやイントラネットなどのネットワークを通じて学習手段２０および検出手段５０と接続されるネットワークストレージ上に設けられてもよい。また、モデル格納手段３０は、学習手段２０および検出手段５０のうち少なくともいずれかに含まれるように構成してもよい。

以上が、第１の実施形態に係るデータ処理システム１の構成についての説明である。なお、第１の実施形態に係るデータ処理システム１は、本発明の実施形態を抽象化したものであるため、具体的な動作や機能、効果については、以下の第２〜第４の実施形態に係るデータ処理システムに関して説明する。

（第２の実施形態）
次に、図２を用いて、本発明の第２の実施形態に係るデータ処理システム２の機能構成について説明する。第２の実施形態に係るデータ処理システム２は、第１の実施形態に係るデータ処理システム１に、指示手段１０、検出指示手段４０および結果表示手段６０を追加した構成を有する。

（指示手段）
指示手段１０は、学習用画像を複数の領域に分割して学習対象の領域に教師ラベルを付与し、教師ラベルが付与された入力画像に関する情報を含む学習データを出力する第１の出力手段である。すなわち、指示手段１０は、学習用画像上の少なくとも一つの領域のいずれかに対応する教師ラベルを付与する。

指示手段１０は、ラベル付与手段１１と、学習指示手段１２とを有する。指示手段１０は、学習手段２０および検出手段５０と同様の構成をもつハードウェアによって実現される。

ラベル付与手段１１は、学習用画像内に既定サイズの領域を指定して、指定された各領域に教師ラベルを付与する機能を有する。

学習指示手段１２は、学習手段２０に対して学習対象となる入力画像（学習用画像）に関して学習する指示を出す機能を有する。

指示手段１０は、例えば、本実施形態に係るデータ処理を実行するための専用端末やサーバ、デスクトップＰＣ、ノートＰＣ、タブレット、スマートフォンなどの端末装置によって実現される。指示手段１０を実現する端末装置は、例えばＣＰＵやＲＯＭ、ＲＡＭ、ＨＤＤなどがバスによって互いに接続された構成をもつ。また、指示手段１０は、ＧＵＩアプリケーションやＷＥＢアプリケーションなどによって実現してもよい（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）。また、指示手段１０は、本実施形態に係るデータ処理システム２の外部に構成させてもよい。その場合、指示手段１０は、インターネットやイントラネットなどのネットワークによって学習手段２０と接続される。

指示手段１０は、学習用画像を表示するグラフィックユーザーインターフェース（以下、ＧＵＩ）を有していることが望ましい。その場合、ユーザは、指示手段１０のＧＵＩを介して、複数の領域のサイズや教師ラベルを付与する領域等を指定することができる。

（学習手段）
学習手段２０は、学習用画像処理手段２１と、特徴抽出手段２２と、モデル学習手段２４とを備える。また、学習手段２０は、必要に応じて特徴量計算手段２３を備えていてもよい。なお、学習手段２０が特徴量計算手段２３を備えていない場合、特徴抽出手段２２とモデル学習手段２４とは直接接続される。

学習用画像処理手段２１は、フィルタ処理手段２１１と、トリミング処理手段２１２とを有する。また、学習用画像処理手段２１は、必要に応じて回転処理手段２１３を有していてもよい。

フィルタ処理手段２１１（第１のフィルタ手段とも呼ぶ）は、学習用画像に対してフィルタ処理を行う。

フィルタ処理手段２１１は、例えば、ノイズ除去やエッジ抽出、鮮鋭化などの処理を用いる。ノイズ除去では、移動平均フィルタや加重平均フィルタ、ガウシアンフィルタを適用する平滑化フィルタ、メディアンフィルタなどを用いることができる。エッジ抽出では、微分フィルタやプリューウィットフィルタ、ソーベルフィルタなどを適用することができる。鮮鋭化では、元画像を平滑化し、元画像から平滑化した画像を差し引き（ラプラシアンフィルタ）、差し引いた画像を元画像に上乗せするアンシャープマスキングを適用することができる。また、Ｓ字トーンカーブによる変換やガンマ変換、ネガ・ポジ変換、ポスタリゼーション、二値化、ソラリゼーション、モザイク処理などをフィルタ処理に適用してもよい。なお、フィルタ処理手段２１１は、上述のフィルタ処理を単独で用いてもよいし、複数のフィルタ処理を組み合わせて実行してもよい。

トリミング処理手段２１２（第１のトリミング処理手段とも呼ぶ）は、処理対象の画像の一部領域を切り出すトリミング処理を行う。回転処理手段２１３によって画像を回転しない場合、トリミング処理手段２１２は、フィルタ処理手段２１１によってフィルタ処理された画像に対してトリミング処理を行う。また、回転処理手段２１３によって画像を回転する場合、トリミング処理手段２１２は、回転処理手段２１３によって回転された画像の一部領域を切り出すトリミング処理を行う。

回転処理手段２１３（第１の回転処理手段とも呼ぶ）は、フィルタ処理手段２１１によってフィルタ処理された画像を所定の角度で回転させる。なお、回転処理手段２１３が行う回転においては、表示された回転対象の画像が時計回りに回転する方向を正（＋）として定義する。ただし、特徴量計算手段２３によって回転領域の特徴ベクトルを算出する場合は、回転処理手段２１３による回転処理は行わなくてもよい。

ただし、フィルタ処理、トリミング処理および回転処理は、必要に応じて順番を入れ替えてもよい。

特徴抽出手段２２（第１の特徴抽出手段）は、学習用画像処理手段２１によって処理された画像から必要な特徴抽出を行い、特徴ベクトルを作成する。

特徴量計算手段２３は、特徴抽出手段２２が抽出した特徴量を含む特徴ベクトルを基に、複数の領域のそれぞれを回転することによって得られる回転領域の特徴ベクトルを算出する。特徴量計算手段２３は、学習フェーズで回転領域の特徴ベクトルを使用する場合、回転処理手段２１３の代わりに用いることができる。なお、特徴量計算手段２３は、特徴抽出手段２２の機能を有していてもよい。特徴量計算手段２３は、データ量が大きい画像データに関して回転処理や特徴抽出処理をするのではなく、データ量の小さい特徴量ベクトルを用いて処理を行うため、回転処理手段２１３や特徴抽出手段２２を用いた場合よりも高速処理を可能とする。

例えば、特徴量計算手段２３は、学習用画像から切り出された領域に含まれる領域のそれぞれの特徴量を少なくとも一つのグループにまとめて構成される特徴量ベクトルを生成し、学習用画像が回転される際に、グループごとに特徴量をローテーションさせる。

なお、特徴量計算手段２３による処理には、回転画像に関する特徴量を行列変換で求めることが可能な特徴抽出アルゴリズムを用いる。例えば、特徴量計算手段２３は、ガボール特徴量などの空間ピラミッドマッチング（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｍａｔｃｈｉｎｇ）アルゴリズムなどの特徴抽出アルゴリズムによって、特徴量を求める。

モデル学習手段２４は、入力領域の特徴量と教師ラベルとの関係を学習し、モデルを生成する。モデル学習手段２４は、サポートベクターマシン（ＳＶＭ）などの学習アルゴリズムによってモデルを生成する（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）。モデル学習手段２４は、生成したモデルをモデル格納手段３０に格納するとともに、学習結果を指示手段１０に返却する。モデル学習手段２４は、正常に学習が完了したか否かを指示手段１０に通知するために学習結果を返却する。

モデル格納手段３０は、学習手段２０が生成した学習モデルを格納する。なお、モデル格納手段３０は、学習手段２０に含めてもよい。

検出指示手段４０は、ユーザの入力に従って、検出手段５０に対して対象物の検出を指示するための検出データを出力する第２の出力手段である。

検出指示手段４０は、指示手段１０と同様の端末装置によって実現される。なお、指示手段１０と検出指示手段４０とを同一の端末装置で実現してもよい。また、検出指示手段４０は、ＧＵＩアプリケーションやＷＥＢアプリケーションなどによって実現してもよい。

検出指示手段４０は、本実施形態に係るデータ処理システム２の外部に構成させてもよい。その場合、検出指示手段４０は、インターネットやイントラネットなどのネットワーク経由で検出手段５０と接続される。

（検出手段）
検出手段５０は、検出用画像処理手段５１と、特徴抽出手段５２と、対象物推定手段５５と、結果出力手段５６とを備える。

検出用画像処理手段５１は、超解像処理手段５１１と、フィルタ処理手段５１２と、トリミング処理手段５１５とを備える。検出用画像処理手段５１は、検出用の未知画像（検出用画像）に対して特徴抽出を行う前に必要な画像処理を行う。

超解像処理手段５１１は、検出用画像を超解像処理することによって高解像度化する。

フィルタ処理手段５１２（第２のフィルタ処理手段）は、超解像処理手段５１１によって高解像度化された検出用画像および高解像度化されていない検出用画像にフィルタ処理を行う。

本実施形態に係る超解像処理としては、例えば、関連文献１に記載された１枚超解像技術などを用いることができる（関連文献１：ＮＥＣ技報Ｖｏｌ．６２、Ｎｏ．１、２００９、ｐ．２０−２３）。

１枚超解像技術では、１フレーム（１枚）の画像データに関して、画像データを拡大処理する際に生じるボヤケにおいて、人物や物体の輪郭部分となる画素の表現調整を行い、画質の補正や色再現性を高め、画像の鮮明化を実現する。なお、メモリ量に余裕がある場合は、超解像技術として、複数フレーム間のデータを演算して高周波成分を抽出して解像度を向上させていく手法を選択することもできる。また、被写体となる人物や物体が限られている場合、特定の被写体に関して学習した成果を収めた辞書を作成し、作成した辞書を用いて超解像処理を行う学習型超解像技術を選択してもよい。

また、検出用画像の解像度を上げる方法として、超解像技術のみならず、最近傍補間や双一次補間、双三次補間などの画素と画素の間の輝度値を参照する補間（内挿）を用いてもよい。

トリミング処理手段５１５（第２のトリミング処理手段）は、フィルタ処理手段５１２によってフィルタ処理された画像の一部領域を切り出す。

特徴抽出手段５２（第２の特徴抽出手段）は、学習手段２０の特徴抽出手段２２と同じアルゴリズムを用いて、トリミング処理手段５１５によって切り出された画像から必要な特徴抽出を行う。

対象物推定手段５５は、モデル格納手段３０に格納された学習モデルを用いて、入力領域内の対象物有無を推定する。

結果出力手段５６は、対象物推定手段５５によって推定された結果を結果表示手段６０に出力する。

結果出力手段５６は、領域情報と推定結果とを出力する。結果出力手段５６は、領域情報および推定結果を結果表示手段６０にファイル出力してもよいし、電文渡ししてもよい。

結果出力手段５６は、例えば各領域に関する「左上ｘ座標、左上ｙ座標、右下ｘ座標、右下ｙ座標、推定結果、スコア（確信度）」のような結果を対象領域の分だけ出力する。なお、推定結果を１とするスコアの閾値は通常０．５に設定されるが、検出条件に含めて変更できるようにしてもよい。

また、結果出力手段５６は、下記の例１〜３のように、対象物があると検出した領域に関する情報のみを出力してもよい。
（例１）矩形表示「左上ｘ座標、左上ｙ座標、右下ｘ座標、右下ｙ座標」
（例２）回転表示あり「中央点のｘ座標、中央点のｙ座標、領域幅、回転角度」
（例３）円表示「中央点のｘ座標、中央点のｙ座標、半径」
結果表示手段６０は、検出領域表示手段６１を備え、結果出力手段５６が出力した結果を表示する機能を有する。

検出領域表示手段６１は、検出手段５０から出力された結果に基づいた検出領域を表示する。例えば、検出領域表示手段６１は、元画像の上に検出した領域の枠をオーバーレイして表示する。なお、以下の説明では検出領域として矩形を想定としているが、円などの任意の図形を検出領域として設定してもよい。

結果表示手段６０は、指示手段１０と同様の端末装置にモニターなどの表示手段を設けることによって実現される。なお、指示手段１０と検出指示手段４０と同一の端末装置に結果表示手段６０を設けてもよい。また、結果表示手段６０は、ＧＵＩアプリケーションやＷＥＢアプリケーションなどによって実現してもよい。

すなわち、結果出力手段６０は、検出結果を表示する画面を有し、元画像（検出用画像）の上に所定の画像処理が施された検出用画像を入力とした検出領域および画像処理が施されていない画像を入力とした検出領域を重畳（オーバーレイ）して表示する。

以上が、本実施形態に係るデータ処理システム２の構成についての説明である。

（動作）
次に、本実施形態に係るデータ処理システム２の動作について、図３〜図１１を用いて説明する。本実施形態に係るデータ処理システム２の動作は、学習用画像へのラベル付与、ラベル付与された画像から学習モデルを生成する学習フェーズ、学習モデルを用いて対象物を検出する検出フェーズに大別される。

（ラベル付与）
まず、学習対象とする入力画像（学習用画像）内の領域にラベルを付与する動作について説明する。

指示手段１０は、学習用画像を表示する画面を有し、画面に表示されたＧＵＩを介して、学習対象とする領域に関する指定を受け付けるとともに、学習対象に設定された領域に教師ラベルを付与する操作を受け付ける。

ラベル付与手段１１は、ユーザの入力に従って、入力画像内の領域についてそれぞれラベルを付与する。なお、ラベルは、全ての領域に付与する必要はなく、学習データとして用いたい領域にのみラベルを付与すればよい。

ここで、入力画像内の領域について説明する。

図３には、ラベル付与手段１１に表示される画面１１０（上段）と、画面１１０から切り出した学習対象が含まれる所定の領域（下段の破線枠内）の一例を示す。また、図４には、ラベル付与手段１１に表示される画面１１０（左側）と、画面１１０から切り出した学習対象が含まれる所定の領域（右側の破線枠内）の一例を示す。画面１１０には、学習対象を含む画像が表示される。図３および図４には、画面１１０を９行×１３列の格子状の領域に分割する例を示す。画面１１０の左方の数字は各行の行番号であり、上方の数字は各列の列番号である。なお、画面１１０の分割の仕方に応じて、行番号と列番号とは任意の値に設定できる。

図３および図４においては、３行×３列の領域内に対象物（星マーク）が大きく含まれる場合にラベル１を付し、３行×３列の領域内に対象物（星マーク）が全く含まれない場合にラベル０を付している。なお、３行×３列の領域内に対象物（星マーク）の一部が含まれる場合は、いずれのラベルも付していない。ただし、対象物の検出基準は、任意に設定することができる。

図３の破線枠内には、ラベル１（第１のラベルとも呼ぶ）が付された領域をまとめている。図３においては、ラベル１が付された未処理の領域（破線内上段）と、＋９０°回転した領域（破線内下段）とを図示している。また、図４の破線枠内には、ラベル０（第２のラベルとも呼ぶ）が付された領域をまとめている。ここで、画面１１０上の領域に関して、行番号をｍ、列番号をｎとする（ｍ、ｎは自然数）。図３および図４においては、３行×３列の各領域に関して、ラベル０が付された領域には０（ｍ、ｎ）、ラベル１が付された領域には１（ｍ、ｎ）と記載している。なお、図３および図４においては、各領域の左上角の領域の行番号ｍおよび列番号ｎを括弧内に示すことによって各領域を区別している。また、画面１１０の表示に関しては、図３と図４とに分けて図示しているが、同一の画面１１０にラベル０および１を付したグリッドを同時に表示することもできる。

次に、学習指示手段１２は、学習手段２０に対して、対象物の学習に必要なデータセットを渡す。対象物の学習に必要なデータセットとは、対象物の画像、画像内の領域に関する情報、各領域に付されたラベル情報である。なお、対象物の学習に用いる画像や領域は複数であってもよい。

（学習フェーズ）
学習手段２０は、データセットを受け取ると、受け取った画像を読み込み、学習用画像処理手段２１内のフィルタ処理手段２１１を用いて必要なフィルタ処理を行う。フィルタ処理手段２１１は、フィルタ処理を施した画像をトリミング処理手段２１２に渡す。

例えば、フィルタ処理手段２１１は、ガボールフィルタなどを用いてフィルタ処理を行う。フィルタ処理手段２１１は、ガボールフィルタを用いる場合、受け取った画像に対して方向分フィルタ処理を繰り返す。

次に、トリミング処理手段２１２は、学習指示手段１２から受け取った領域の件数分、フィルタ処理を施した画像から領域単位の画像（以下、領域画像）を切り出す。トリミング処理手段２１２は、切り出された領域画像を特徴抽出手段２２に渡す。

回転した画像を学習データとして用いる場合、トリミング処理手段２１２は、切り出された領域画像を回転処理手段２１３に渡す。回転処理手段２１３は、受け取った領域画像を回転させ、回転させた領域画像を特徴抽出手段２２に渡す。

特徴抽出手段２２は、受け取った領域画像に関して特徴量を抽出する。特徴抽出手段２２は、抽出した特徴量をモデル学習手段２４に渡す。

ところで、特徴抽出手段２２が抽出した無回転領域の特徴ベクトルから特徴量計算手段２３を用いて特徴量ベクトルを計算することもできる。

図５および図６は、特徴量計算手段２３による特徴量ベクトルの計算の一例を示す概念図である。特徴量計算手段２３によって特徴量ベクトルを計算すれば、領域画像を画像情報として回転させなくて済む。

図５は、領域画像を矩形領域に分割した例である。

図５の上段破線枠内の領域Ａ１０は、４行×４列の１６個の単位領域を含む。領域Ａ１０に含まれる各単位領域は、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏおよびｐという特徴量をもつ。領域Ａ１０から抽出される特徴ベクトルＢ１０（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ）は、領域Ａ１０の内側領域（ａ、ｂ、ｃ、ｄ）と外側領域（ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ）とによって構成される。すなわち、特徴ベクトルＢ１０は、内側領域と外側領域という二つのグループにまとめて構成される。

図５の中段破線枠内の領域Ａ１１は、領域Ａ１０を時計方向に９０°（＋９０°）回転させたものである。領域Ａ１１から計算される特徴ベクトルＢ１１（ｄ、ａ、ｂ、ｃ、ｎ、ｏ、ｐ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ）は、内側領域（ｄ、ａ、ｂ、ｃ）と外側領域（ｎ、ｏ、ｐ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ）とによって構成される。特徴ベクトルＢ１１の内側領域は、特徴ベクトルＢ１０の内側領域を右へ１ローテートしたものである。特徴ベクトルＢ１１の外側領域は、特徴ベクトルＢ１０の外側領域を右へ３ローテートしたものである。すなわち、特徴量計算手段２３は、各領域が回転される際に、特徴ベクトルＢ１０に含まれる各特徴量をグループごとにローテーションさせる。

同様に、図５の下段破線枠内の領域Ａ１２は、領域Ａ１１を時計方向に９０°（＋９０°）回転させたものである。領域Ａ１２から計算される特徴ベクトルＢ１２（ｃ、ｄ、ａ、ｂ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ）は、内側領域（ｃ、ｄ、ａ、ｂ）と外側領域（ｋ、ｌ、ｍ、ｎ、ｏ、ｐ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ）とによって構成される。特徴ベクトルＢ１２の内側領域は、特徴ベクトルＢ１１の内側領域を右へ１ローテートしたものである。特徴ベクトルＢ１２の外側領域は、特徴ベクトルＢ１１の外側領域を右へ３ローテートしたものである。

すなわち、図５のように４行×４列の１６個の単位領域を含む領域を時計回りにｎ度回転させると、特徴ベクトルの内側領域はｎ／９０だけローテートされ、外側領域はｎ／９０＋２だけローテートされる（ｎは自然数）。

また、図６は、領域画像を円領域に分割した例である。

図６の上段破線枠内の領域Ａ２０において、選択された円領域は、円の中心を通る線分で８等分され、さらに円領域に含まれる同心円によって２分割された１６個の単位領域を含む。領域Ａ０に含まれる各単位領域は、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏおよびｐという特徴量をもつ。領域Ａ２０から抽出される特徴ベクトルＢ２０（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ）は、領域Ａ０の内側領域（ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ）と外側領域（ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐ）とによって構成される。

図６の中段破線枠内の領域Ａ２１は、領域Ａ２０を時計方向に４５°（＋４５°）回転させたものである。領域Ａ２１から計算される特徴ベクトルＢ１（ｈ、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｐ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ）は、内側領域（ｈ、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ）と外側領域（ｐ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ）とによって構成される。特徴ベクトルＢ２１の内側領域は、特徴ベクトルＢ２０の内側領域を右へ１ローテートしたものである。特徴ベクトルＢ２１の外側領域は、特徴ベクトルＢ２０の外側領域を右へ１ローテートしたものである。

同様に、図６の下段破線枠内の領域Ａ２２は、領域Ａ２１を時計方向に４５°（＋４５°）回転させたものである。領域Ａ２２から計算される特徴ベクトルＢ２２（ｇ、ｈ、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｏ、ｐ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ）は、内側領域（ｇ、ｈ、ａ、ｂ、ｃ、ｄ、ｅ、ｆ）と外側領域（ｏ、ｐ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ）とによって構成される。特徴ベクトルＢ２２の内側領域は、特徴ベクトルＢ２１の内側領域を右へ１ローテートしたものである。特徴ベクトルＢ２２の外側領域は、特徴ベクトルＢ２１の外側領域を右へ３ローテートしたものである。

すなわち、図６のように１６個の単位領域を含む領域を時計回りにｎ度回転させると、特徴ベクトルの内側領域はｎ／４５だけローテートされ、外側領域はｎ／４５だけローテートされる。

モデル学習手段２４は、生成された特徴ベクトルを受け取ると、教師あり機械学習技術によって特徴ベクトルとラベルの関係を学習し、モデルを生成する。なお、モデル生成の学習アルゴリズムとしては、領域の特徴ベクトルを全て受け取ってから学習するアルゴリズムを用いてもよいし、受け取った分だけ逐次学習するアルゴリズムを用いてもよい。モデル生成の学習アルゴリズムに関しては、特に限定することはない。

図７に、モデル学習手段２４に入力するデータの例を示す。図７において、データＤ１の各欄には、数値化された各領域の特徴量が記入されている。データＤ１の各行が特徴ベクトルを構成しており、各特徴ベクトルにはラベルＬ１にまとめたラベルが付与されている。

学習が完了すると、モデル学習手段２４は、モデル格納手段３０にモデルを格納し、学習結果を指示手段１０２に返却して、終了する。

次に、学習手段２０による学習フェーズの動作の詳細について図８および図９を用いて説明する。

図８は回転処理手段２１３を用いて特徴量を抽出する際の動作に関するフローチャートである。

図８において、まず、学習手段２０は、学習指示手段１２から受け取ったデータセットに含まれる画像を読み込む（ステップＳ１１）。

フィルタ処理手段２１１は、読み込まれた画像にフィルタ処理を行う（ステップＳ１２）。

トリミング手段２１３は、フィルタ処理された画像から領域ごとの画像（以下、領域画像）を切り出す（ステップＳ１３）。

特徴抽出手段２２は、領域画像から特徴量を抽出する（ステップＳ１４）。

回転処理手段２１３は、領域画像を指定角度回転させる（ステップＳ１５）。

特徴抽出手段２２は、回転された領域画像から特徴量を抽出する（ステップＳ１６）。

モデル学習手段２４は、各領域の特徴量とラベルとを基にモデルを生成する（ステップＳ１７）。

モデル学習手段２４は、生成したモデルをモデル格納手段３０に格納し、学習結果を指示手段１０に返却する（ステップＳ１８）。

以上のフローにおいて、ループ１（ステップＳ１２〜ステップＳ１６）は、フィルタ処理回数分繰り返される。また、ループ２（ステップＳ１３〜ステップＳ１６）は、領域の件数分繰り返される。また、ループ３（ステップＳ１５およびステップＳ１６）は、領域画像の回転数分繰り返される。

以上が、回転処理手段２１３を用いて特徴量を抽出する際の動作に関する説明である。なお、図８に示すフローは一例であって、各ステップを入れ替えたり、いずれかのステップを削除したり、異なるステップを追加したりすることによって構成したフローも本発明の範囲に含まれる。

図９は特徴量計算手段２３を用いて特徴量ベクトルを計算する動作に関するフローチャートである。

図９において、まず、学習手段２０は、学習指示手段１２から受け取ったデータセットに含まれる画像を読み込む（ステップＳ２１）。

フィルタ処理手段２１１は、読み込まれた画像にフィルタ処理を行う（ステップＳ２２）。

トリミング手段２１３は、フィルタ処理された画像から領域ごとの画像（以下、領域画像）を切り出す（ステップＳ２３）。

特徴抽出手段２２は、領域画像から特徴量を抽出する（ステップＳ２４）。

特徴量計算手段２２は、回転領域の特徴量（特徴量ベクトル）を計算する（ステップＳ２５）。

モデル学習手段２４は、各領域の特徴量とラベルとを基に学習モデルを生成する（ステップＳ２６）。

モデル学習手段２４は、生成したモデル格納手段３０に格納し、学習結果を指示手段１０に返却する（ステップＳ２７）。

以上のフローにおいて、ループ４（ステップＳ２２〜ステップＳ２５）は、フィルタ処理回数分繰り返される。また、ループ５（ステップＳ２３〜ステップＳ２５）は、領域の件数分繰り返される。また、ループ６（ステップＳ２５）は、領域画像の回転数分繰り返される。

以上が、特徴量計算手段２３を用いて特徴量ベクトルを計算する動作に関する説明である。なお、図９に示すフローは一例であって、各ステップを入れ替えたり、いずれかのステップを削除したり、異なるステップを追加したりすることによって構成したフローも本発明の範囲に含まれる。

（検出フェーズ）
続いて、検出指示に応じて、検出手段５０が学習モデルを参照して対象物を検出する検出フェーズの動作例について説明する。

まず、検出指示手段４０は、ユーザの入力に従って、検出手段５０に必要なデータセットを渡す。なお、検出フェーズにおけるデータセットとは、学習済みのモデル、検出用の未知画像（検出用画像）である。また、データセットは、何分の１のサイズまで対象物を検出したいかなどといった検出条件を含んでいてもよい。

データセットを受け取った検出手段５０は、モデル格納手段３０からモデルを読み込む。

次に、検出手段５０は、データセットに含まれる検出用画像を読み込み、読み込んだ検出用画像を検出用画像処理手段５１に渡す。

ここで、小さいサイズの対象物を検出したい場合、検出用画像処理手段５１は、領域画像を超解像処理手段５１１に渡す。そして、超解像処理手段５１１は、受け取った検出用画像を超解像技術によって拡大する。

検出用画像処理手段５１内のフィルタ処理手段５１２は、渡された検出用画像に対して必要なフィルタ処理を行う。フィルタ処理手段５１２は、フィルタ処理を施した画像をトリミング処理手段５１２に渡す。

例えば、フィルタ処理手段５１２は、ガボールフィルタなどを用いてフィルタ処理を行う。

次に、トリミング処理手段５１５は、フィルタ処理手段５１２によってフィルタ処理された画像を学習時と同じサイズの領域で切り出す。トリミング処理手段５１５は、切り出された領域（以下、領域画像）を特徴抽出手段５２に渡す。

特徴抽出手段５２は、トリミング処理取得手段５１５から受け取った領域画像から特徴量を抽出して特徴ベクトルを生成する。特徴抽出手段５２は、生成した特徴ベクトルを対象物推定手段５５に渡す。

対象物推定手段５５は、特徴抽出手段から受け取った特徴ベクトルをモデルに入力し、対象物の有無を推定し、検出結果を得ることを繰り返す。全ての領域の検出結果が得られると、結果出力手段５６は、検出結果を結果表示手段６０に渡す。

結果表示手段６０は、検出領域表示手段６１を用いて検出結果を表示する。ユーザは、検出領域表示手段６１に表示された結果を確認することによって、対象物の有無を知ることができる。

次に、検出手段５０による検出フェーズの動作の詳細について図１０を用いて説明する。なお、図１０においては、超解像処理を行うことを前提として説明する。

まず、検出手段５０は、モデル格納手段３０からモデルを読み込む（ステップＳ３１）。

次に、検出手段５０は、データセットに含まれる検出用画像を読み込む（ステップＳ３２）。

超解像処理手段５１１は、読み込まれた画像に超解像処理を行う（ステップＳ３３）。

フィルタ処理手段５１２は、処理対象の画像に対してフィルタ処理を行う（ステップＳ３４）。

トリミング処理手段５１５は、フィルタ処理された画像から領域ごとの画像である領域画像を切り出す（ステップＳ３５）。

特徴抽出手段５２は、領域画像から特徴量を抽出する（ステップＳ３６）。

対象物推定手段５５は、特徴抽出手段５２によって抽出された特徴量をモデルに入力し、検出結果を得る（ステップＳ３６）。

結果出力手段５６は、得られた検出結果を結果表示手段６０に出力する（ステップＳ３７）。

以上のフローにおいて、ループ７（ステップＳ３３〜ステップＳ３７）は、超解像処理による拡大の回数分繰り返される。また、ループ８（ステップＳ３４〜ステップＳ３７）は、フィルタ処理回数分繰り返される。また、ループ９（ステップＳ３５〜ステップＳ３７は、領域画像の件数数分繰り返される。

以上が、検出手段５０による検出フェーズの動作についての説明である。なお、図１０に示すフローは一例であって、各ステップを入れ替えたり、いずれかのステップを削除したり、異なるステップを追加したりすることによって構成したフローも本発明の範囲に含まれる。

ここで、結果表示手段６０において、超解像処理した画像と元画像とのそれぞれの検出結果を組み合わせて表示する一例を図１１に示す。図１１は、元画像の上に検出した領域をオーバーレイして表示する例を示す。

表示１１１は、元のサイズの画像である。表示１１２は、表示１１１を超解像処理した画像である。図１１は、元サイズの画像を用いた検出結果（表示１１１）と、超解像処理された画像を用いた検出結果（表示１１２）とを組み合わせた結果（表示１１３）を表示する例である。表示１１３において、実線の枠は表示１１１を基にして得られた検出結果を示し、破線の枠は表示１１２を基にして得られた検出結果を示す。

図１１の例にように、超解像処理した画像と元画像とを組み合わせることによって、様々な大きさの対象物を検出することができる。

図１２には、超解像処理の有無における検出精度を比較したテーブル１１５を示す。テーブル１１５には、いくつかの検出用画像に対して、実際の画像内の対象物数、超解像処理の有無による対象物の検出数をまとめている。

例えば、検出用画像１に関して、対象物の検出数は、超解像処理をしていない場合は５１．４％であったのに対し、超解像処理を行った場合は１００％に増加している。検出用画像２〜４に関しても、超解像処理を行うことによって検出率が増加していることがわかる。

（効果）
本実施形態に係るデータ処理システムによれば、領域内に大きな対象物を含むか否かを学習したモデルに対して、超解像技術を用いて拡大した画像と元サイズの画像とを使用して対象物有無を推定する。本実施形態に係るデータ処理システムは、超解像処理された画像からの検出結果と、元サイズの画像からの検出結果とを組み合わせることによって、小さい対象物の有無を学習させることなく高精度に物体を検出すること可能にする。

本実施形態に係るデータ処理システムによれば、超解像処理された画像からの検出結果と、元サイズの画像からの検出結果とを組み合わせるため、小さい対象物の有無に関するラベルを付与する手間を削減できる。

本実施形態に係るデータ処理システムによれば、超解像技術を使うことによって、サイズの小さい対象物を大きい対象物と同等の解像度を持たせて検出処理をかけることによって、サイズの小さい対象物を含めた対象物を高精度に検出できる。

本実施形態に係るデータ処理システムによれば、ユーザの入力に従ってラベル付与したデータから複数の学習データを生成することによって、ラベル付与に要する時間を削減できる。

本実施形態に係るデータ処理システムによれば、回転させた領域の特徴ベクトルを画像から特徴抽出することなく、ベクトル演算で求めることによって、学習データの作成時間を高速化することができる。

すなわち、本実施形態に係るデータ処理システムによれば、学習フェーズにおいて作成したモデルに入力するデータを検出フェーズにおいて増やすことによって、学習用画像へのラベル付与を削減しながら対象物を高精度に検出することが可能となる。

以上のように、本実施形態に係るデータ処理システムにおいては、学習フェーズにおいてユーザがラベル付与した教師データから学習データを自動生成により増加させたり、検知フェーズにおいて入力データ量を増加させたりする。その結果、教師ラベルを付与する手間を削減しながら高精度な検出を実現することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態に係るデータ処理システム３について図１３〜図１４を参照しながら説明する。第３の実施形態に係るデータ処理システム３は、第２の実施形態に係るデータ処理システム２の学習フェーズにおける領域へのラベル付与の方法を変更している。

図１３のように、本実施形態に係るデータ処理システム３は、指示手段１０２、学習手段２０２、モデル格納手段３０、検出指示手段４０、検出手段５０、結果表示手段６０を備える。なお、データ処理システム３のモデル格納手段３０、検出指示手段４０、検出手段５０および結果表示手段６０の構成は、データ処理システム２の対応する構成と同様であるため、詳細な説明は省略する。

データ処理システム３は、データ処理システム２の指示手段１０のラベル付与手段１１を対象物指定手段１３および除外範囲指定手段１４に置き換えた指示手段１０２（第１の出力手段）を備え、学習手段２０に学習領域算出手段２５を加えた構成をもつ。また、データ処理システム３の指示手段１０２は、学習条件として領域サイズに関する条件を含むことが好ましい。

対象物指定手段１３は、対象物を含む領域の範囲を任意サイズで指定する機能を有する。また、対象物指定手段１３は、対象物を含む領域を少しずつずらし、対象物を含む別の領域を設定していく。

図１４に、対象物指定手段１３によって対象物を含む領域を指定し、対象物を含む領域を切り出す例を示す。なお、学習用画像１１７には、複数の図形が図示されているが、ここでは星印を対象物とする。

対象物指定手段１３は、対象物を含む範囲（以下、対象物範囲）を任意のサイズで指定する。この際、図１４の表示１１７において実線の枠で囲んだ領域が対象物範囲に指定される。対象物指定手段１３によって指定された領域には、ラベル１が付与される。

そして、対象物指定手段１３は、設定された対象物範囲を任意の方向に、対象物（星印）を含むようにずらしながら、対象物（星印）を含む別の領域を順次切り出していく。

対象物指定手段１３は、学習条件として、回転可と指定された場合は、対象物を含む領域の回転画像を作り出す。図１４のラベル１の破線枠内の２〜４行目に並べた領域は、対象物指定手段１３によって切り出された複数の領域を回転することによって生成されたものである。なお、一定サイズ以上の対象物だけを学習対象とするように、一定サイズに満たない対象物を学習対象から外すための閾値を設けてもよい。

対象物指定手段１３によって、図１４のラベル１に示すような複数の領域が切り出される。ただし、図１４のラベル１のように切り出された複数の領域の範囲はサイズが一定となるように規格化されているが、異なるサイズの領域を切りだしていくようにしてもよい。また、各領域を切り出すトリミング処理はトリミング処理手段２１２で実行し、各領域の回転処理に関しては回転処理手段２１３によって実行するようにしてもよい。

除外範囲指定手段１４は、学習に用いない領域の範囲を任意サイズで指定する機能を有する。除外範囲指定手段１４は、対象物範囲や除外範囲を全く含まないように少しずつずらしながら対象物を含まない領域を切り出す。なお、除外範囲とは、領域の外枠が対象物を切断するような範囲や、検出対象から外す小さいサイズの対象物を含む範囲を意味する。除外範囲指定手段１４によって指定された 本実施形態に係るデータ処理システムによれば、学習用画像へのラベル付与を削減し、検出フェーズにおいて検出用画像のデータを増やすことによって、対象物を高精度に検出することが可能となる
領域には、ラベル０が付与される。

除外範囲指定手段１４は、対象物を含まない範囲を任意のサイズで指定する。この際、図１４の表示１１７において破線の枠で囲んだ領域が切り出される。そして、除外範囲指定手段１４は、設定された対象物を含まない範囲を任意の方向に、対象物を含まないようにずらしながら、対象物を含まない別の領域を順次切り出していく。

除外範囲指定手段１４によって、図１４のラベル０の破線枠内に示すような複数の領域が切り出される。ただし、図１４のラベル０の破線枠内のように切り出された複数の領域の範囲はサイズが一定となるように規格化されているが、異なるサイズの領域を切りだしていくようにしてもよい。

学習領域算出手段２５は、学習指示手段１２から渡された学習データに含まれる対象物を含む範囲情報から、学習に用いる領域サイズで対象物を含む領域群と含まれない領域群の領域情報を算出する機能を有する。

次に、学習手段２０２による学習フェーズの動作の詳細について図１５のフローチャートを用いて説明する。なお、検出フェーズについては、第２の実施形態と同様であるために説明は省略する。

図１５において、まず、学習手段２０２は、学習指示手段１２から受け取ったデータセットに含まれる画像を読み込む（ステップＳ４１）。

フィルタ処理手段２１１は、読み込まれた画像にフィルタ処理を行う（ステップＳ４２）。

学習領域算出手段２５は、既定サイズで対象物を含む領域を算出する（ステップＳ４３）。

また、学習領域算出手段２５は、既定サイズで対象物を含まない領域を算出する（ステップＳ４４）。

次に、トリミング手段２１３は、既定サイズで対象物を含む領域から領域ごとの画像（以下、領域画像）を切り出す（ステップＳ４５）。

特徴抽出手段２２は、領域画像から特徴量を抽出する（ステップＳ４６）。

特徴抽出手段２２は、回転された領域画像から特徴量を抽出する（ステップＳ４７）。

モデル学習手段２４は、各領域の特徴量とラベルとを基に学習モデルを生成する（ステップＳ４８）。

モデル学習手段２４は、生成させたモデルをモデル格納手段３０に格納し、学習結果を指示手段１０２に返却する（ステップＳ４９）。

以上のフローにおいて、ループ１１（ステップＳ４５〜ステップＳ４７）は、領域の件数分繰り返される。また、ループ１２（ステップＳ４７）は、領域画像の回転数分繰り返される。

以上が、学習手段２０２による学習フェーズの動作に関する説明である。なお、図１５に示すフローは一例であって、各ステップを入れ替えたり、いずれかのステップを削除したり、異なるステップを追加したりすることによって構成したフローも本発明の範囲に含まれる。

以上のように、第３の実施形態に係るデータ処理システムによれば、対象物の範囲を任意サイズで指定することによって、対象物を含む学習データと含まない学習データを自動生成することが可能となる。

また、第３の実施形態に係るデータ処理システムは、学習に使用しない方がよい領域を明確に除外できないため、データによっては学習精度が下がる可能性がある。しかしながら、対象物を含まない領域が対象物を含む領域よりも圧倒的に多い場合には、ラベル付与の手間を大幅に削減できる。

（第４の実施形態）
次に、本発明の第４の実施形態に係るデータ処理システム４について説明する。第４の実施形態に係るデータ処理システム４は、第２の実施形態にかかるデータ処理システム２の検出フェーズを工夫した例である。

図１６のように、本実施形態に係るデータ処理システム４は、指示手段１０、学習手段２０３、モデル格納手段３０、検出指示手段４０、検出手段５０３、結果表示手段６０３を備える。なお、データ処理システム４の指示手段１０、モデル格納手段３０および検出指示手段４０は、データ処理システム２の対応する構成と同様であるため、詳細な説明は省略する。また、データ処理システム４は、第２の実施形態に係るデータ処理システム２の学習手段２０、第３の実施形態に係るデータ処理システム３の指示手段１０２および学習手段２０２の構成を含んでいてもよい。

データ処理システム４は、データ処理システム２の学習手段２０内の回転処理手段２１３や特徴量計算手段２３を機能させず、回転処理手段５１４（第２の回転処理手段）と特徴量計算手段５３（第２の特徴量計算手段）を検出手段５０３内に追加した構成をもつ。

結果表示手段６０３は、検出領域表示手段６１と、回転領域表示手段６２とを有する。結果表示手段６０３は、結果出力手段５６が出力した結果を表示する機能を有する。

検出領域表示手段６１は、検出手段５０から出力された結果に基づいた検出領域を表示する。なお、以下の説明では検出領域として矩形を想定としているが、円などの任意の図形を検出領域として設定してもよい。

回転領域表示手段６２は、検出手段５０から出力された結果に基づいて、どのような領域を回転させることよって対象物が検出されたのかを示す回転領域を表示する。回転領域表示手段６２は、例えば４５度ずつ回転した領域を検出対象とする場合、回転された領域をその都度表示する。

まず、学習手段２０３による学習フェーズの動作の詳細について図１７のフローチャートを用いて説明する。

図１７において、まず、学習手段２０３は、学習指示手段１２から受け取ったデータセットに含まれる画像を読み込む（ステップＳ５１）。

フィルタ処理手段２１１は、読み込まれた画像にフィルタ処理を行う（ステップＳ５２）。

トリミング手段２１３は、フィルタ処理された画像から領域ごとの画像（以下、領域画像）を切り出す（ステップＳ５３）。

特徴抽出手段２２は、領域画像から特徴量を抽出する（ステップＳ５４）。

モデル学習手段２４は、各領域の特徴量とラベルとを基に学習モデルを生成する（ステップＳ５５）。

モデル学習手段２４は、生成したモデルをモデル格納手段３０に格納し、学習結果を指示手段１０に返却する（ステップＳ５６）。

以上のフローにおいて、ループ１３（ステップＳ５３〜ステップＳ５４）は、フィルタ処理回数分繰り返される。

以上が、学習手段２０３による学習フェーズの動作の詳細に関する説明である。なお、図１７に示すフローは一例であって、各ステップを入れ替えたり、いずれかのステップを削除したり、異なるステップを追加したりすることによって構成したフローも本発明の範囲に含まれる。

次に、検出手段５０３による検出フェーズの動作の詳細について図１８を用いて説明する。なお、図１８においては、検出フェーズにおいて超解像処理を行うことを前提として説明する。

図１８において、まず、検出手段５０３は、モデル格納手段３０からモデルを読み込む（ステップＳ６１）。

次に、検出手段５０３は、データセットに含まれる検出用画像を読み込む（ステップＳ６２）。

ここで、読み込まれた検出用画像を拡大する場合、超解像処理手段５１１は、読み込まれた画像に超解像処理を行う（ステップＳ６３）。

フィルタ処理手段５１２は、処理対象の画像に対してフィルタ処理を行う（ステップＳ６４）。

トリミング処理手段５１５は、フィルタ処理された画像から領域ごとの画像となる領域画像を切り出す（ステップＳ６５）。

特徴抽出手段５２は、領域画像から特徴量を抽出する（ステップＳ６６）。

次に、回転処理手段５１４は、領域画像を指定角度で回転させる（ステップＳ６７）。

特徴抽出手段５２は、回転された領域画像（回転画像とも呼ぶ）から特徴量を抽出する（ステップＳ６８）。

対象物推定手段５５は、特徴抽出手段５２によって抽出された特徴量をモデルに入力し、検出結果を得る（ステップＳ６９）。

結果出力手段５６は、得られた検出結果を結果表示手段６００に出力する（ステップＳ７０）。

以上のフローにおいて、ループ１４（ステップＳ６３〜ステップＳ６９）は、超解像処理による拡大の回数分繰り返される。また、ループ１５（ステップＳ６５〜ステップＳ６９）は、領域画像の件数分繰り返される。また、ループ１６（ステップＳ６７〜ステップＳ６８は、領域画像の回転数分繰り返される。

以上が、検出手段５０３による検出フェーズの動作についての説明である。なお、図１８に示すフローは一例であって、各ステップを入れ替えたり、いずれかのステップを削除したり、異なるステップを追加したりすることによって構成したフローも本発明の範囲に含まれる。

以上の図１８のフローチャートの説明においては、回転処理手段５１４が回転処理を行う例について示したが、特徴量計算手段５２によって回転領域の特徴ベクトルの計算を行ってもよい。その場合、特徴量計算手段５３は、特徴抽出手段５２によって抽出された特徴量を含む特徴ベクトルを基に、切り出された領域を回転することによって得られる回転領域の特徴ベクトルを算出する。特徴量計算手段５３は、第１の実施形態に係るデータ処理システム１に含まれる特徴量計算手段２３と同様の処理を実行することによって、回転領域の特徴ベクトルを算出する。

図１９は、第４の実施形態に係るデータ処理システム４によるラベル付与手段１１によるラベル付与を説明するための概念図である。データ処理システム４では、検出フェーズにおいてデータ数を増加させることができるため、学習フェーズにおいて処理するデータ数を減らすことができる。すなわち、データ処理システム４では、図１９のように、ラベル付与手段によってラベル付与する領域のサイズを大きく設定し、ラベル付与する領域の数を減らすことができる。

以上のように、第４の実施形態に係るデータ処理システムによれば、検出フェーズにおいて、回転処理をしたり、領域のずらし幅を小さくしたりして検出対象とするデータ数（領域数）を増やすことができる。すなわち、第４の実施形態に係るデータ処理システムによれば、学習フェーズにおいて学習に用いるデータ数を減らすことが可能になる。その結果、第４の実施形態に係るデータ処理システムによれば、ラベル付与の手間を削減することができる。

これまで説明してきた本発明の実施形態に係るデータ処理システムによるデータ処理方法は、同様の処理を実行できるシステムであれば、第１〜第４の実施形態とは異なる構成をもつシステムに関しても適用することができる。また、本発明の実施形態に係るデータ処理方法をコンピュータに実行させるデータ処理プログラムも本発明の範囲に含まれる。また、本発明のデータ処理プログラムを格納したプログラム記録媒体も本発明の範囲に含まれる。プログラム記録媒体としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体記憶装置、光ディスク、磁気ディスク、光磁気ディスクなどを挙げることができる。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
学習用画像上の少なくとも一つの領域に付与された教師ラベルと前記領域の画像との関係を学習してモデル化する学習手段と、
前記学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および前記画像処理が施されていない検出用画像の中からそれぞれ前記モデルに基づいて対象物を含む領域を検出する検出手段とを備えるデータ処理システム。
（付記２）
前記所定の画像処理は超解像処理である付記１に記載のデータ処理システム。
（付記３）
前記学習手段は、
前記学習用画像上の少なくとも一つの領域に付与された教師ラベルと、前記領域の画像および前記画像を回転させた画像との関係を学習してモデル化する付記１または２に記載のデータ処理システム。
（付記４）
前記学習手段は、
前記学習用画像にフィルタ処理を施す第１のフィルタ処理手段と、
前記学習用画像から前記少なくとも一つの領域を切り出す第１のトリミング処理手段と、
前記少なくとも一つの領域に回転処理を施す第１の回転処理手段と、
前記少なくとも一つの領域の特徴量を抽出する第１の特徴抽出手段と、
前記少なくとも一つの領域に関して前記特徴量と前記教師ラベルとの関係を学習して前記モデルを生成するモデル学習手段とを含む付記１乃至３のいずれか一項に記載のデータ処理システム。
（付記５）
前記学習手段は、
前記学習用画像にフィルタ処理を施す第１のフィルタ処理手段と、
前記学習用画像から少なくとも一つの領域を切り出す第１のトリミング処理手段と、
前記少なくとも一つの領域の特徴量を抽出する第１の特徴抽出手段と、
前記第１の特徴抽出手段によって抽出された特徴量を含む特徴ベクトルを基に、前記少なくとも一つの領域を回転することによって得られる回転領域の特徴ベクトルを算出する第１の特徴量計算手段と、
前記第１の特徴抽出手段によって抽出された特徴量と前記教師ラベルとの関係に加えて、前記第１の特徴量計算手段によって算出された前記回転領域の特徴ベクトルと前記教師ラベルとの関係を学習して前記モデルを生成して学習するモデル学習手段とを含む付記１乃至４のいずれか一項に記載のデータ処理システム。
（付記６）
前記特徴量計算手段は、
前記少なくとも一つの領域から抽出された特徴量を少なくとも一つのグループごとにまとめた特徴ベクトルを生成し、生成した前記特徴ベクトルに含まれる特徴量を前記グループごとにローテーションさせることによって前記回転領域の特徴ベクトルを算出する付記５に記載のデータ処理システム。
（付記７）
前記学習手段は、
前記学習用画像にフィルタ処理を施す第１のフィルタ処理手段と、
前記学習用画像から前記少なくとも一つの領域を切り出す第１のトリミング処理手段と、
前記少なくとも一つの領域の特徴量を抽出する第１の特徴抽出手段と、
前記第１の特徴抽出手段によって抽出された特徴量を含む特徴ベクトルを基に、前記少なくとも一つの領域を回転することによって得られる回転領域の特徴ベクトルを算出する第１の特徴量計算手段と、
前記第１の特徴抽出手段によって抽出された特徴量と前記教師ラベルとの関係に加えて、前記第１の特徴量計算手段によって算出された前記回転領域の特徴ベクトルと前記教師ラベルとの関係を学習して前記モデルを生成して学習するモデル学習手段とを含み、
前記特徴量計算手段は、
前記少なくとも一つの領域から抽出された特徴量を少なくとも一つのグループごとにまとめた特徴ベクトルを生成し、生成した前記特徴ベクトルに含まれる特徴量を前記グループごとにローテーションさせることによって前記回転領域の特徴ベクトルを算出する付記１乃至４のいずれか一項に記載のデータ処理システム。
（付記８）
前記学習用画像上の少なくとも一つの領域に前記教師ラベルを付与し、前記教師ラベルが付与された前記学習用画像に関する情報を含む学習データを前記学習手段に出力する第１の出力手段と、
前記検出用画像と、前記対象物の検索条件とを含む検出データを前記検出手段に出力する第２の出力手段とを備え、
前記検出手段は、
前記第２の出力手段から取得した前記検出データに含まれる前記検出用画像に超解像処理を施す超解像処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像に関してフィルタ処理を行う第２のフィルタ処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像から少なくとも一つの領域を切り出す第２のトリミング処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像から切り出された領域の特徴量を抽出する第２の特徴抽出手段と、
前記第２の特徴抽出手段によって抽出された特徴量を前記モデル格納手段に格納された前記モデルに入力することによって、前記検出用画像に対象物が含まれるか否かを推定する対象物推定手段と、
前記対象物推定手段による推定結果を含む検出結果を出力する結果出力手段とを含む付記４乃至７のいずれか一項に記載のデータ処理システム。
（付記９）
前記対象物を含む領域の範囲を任意サイズで指定し、前記対象物を含む範囲をずらすことによって前記対象物を含む領域を順次切り出していくとともに、前記対象物を含まない領域の範囲を任意サイズで指定し、前記対象物を含まない範囲をずらすことによって前記対象物を含まない領域を順次切り出していき、前記学習用画像に関する情報を含む前記学習データを前記学習手段に出力する第１の出力手段と、
前記検出用画像と、前記対象物の検出条件とを含む検出データを前記検出手段に出力する第２の出力手段とを備え、
前記学習手段は、
前記指示手段から取得した前記学習データを参照し、学習に用いるサイズの範囲の領域に前記対象物が含まれるか否かを算出する学習領域算出手段を含み、
前記検出手段は、
前記第２の出力手段から取得した前記検出データに含まれる前記検出用画像に超解像処理を施す超解像処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像に関してフィルタ処理を行う第２のフィルタ処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像から少なくとも一つの領域を切り出す第２のトリミング処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない領域の特徴量を抽出する第２の特徴抽出手段と、
前記第２の特徴抽出手段によって抽出された特徴量を前記モデル格納手段に格納された前記モデルに入力することによって、前記検出用画像に対象物が含まれるか否かを推定する対象物推定手段と、
前記対象物推定手段による推定結果を含む検出結果を出力する結果出力手段とを含む付記４乃至７のいずれか一項に記載のデータ処理システム。
（付記１０）
前記学習用画像を複数の領域に分割し、前記分割された複数の領域のうち学習対象の領域に前記教師ラベルを付与し、前記教師ラベルが付与された前記学習用画像に関する情報を含む前記学習データを前記学習手段に出力する第１の出力手段と、
前記検出用画像と、前記対象物の検索条件とを含む検出データを前記検出手段に出力する第２の出力手段とを備え、
前記学習手段は、
前記指示手段から取得した前記学習用画像にフィルタ処理を施す第１のフィルタ処理手段と、
前記第１のフィルタ処理によってフィルタ処理が施された学習用画像から少なくとも一部の領域を切り出す第１のトリミング処理手段と、
前記第１のトリミング処理手段によって切り出された領域から特徴量を抽出する第１の特徴抽出手段と、
前記第１の特徴抽出手段によって抽出された特徴量と前記教師ラベルとの関係を学習して前記モデルを生成するモデル学習手段とを含み、
前記検出手段は、
前記第２の出力手段から取得した前記検出データに含まれる前記検出用画像に超解像処理を施す超解像処理手段と、
前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像に関してフィルタ処理を行う第２のフィルタ処理手段と、
前記第２のフィルタ処理手段によってフィルタ処理が行われた前記検出用画像から少なくとも一部の領域を切り出す第２のトリミング処理手段と、
第２のトリミング処理手段によって切り出された領域を回転処理する第２の回転処理手段と、
前記第２のトリミング処理手段によって切り出された領域と、前記第２の回転処理手段によって回転処理された複数の領域とから特徴量を抽出する第２の特徴抽出手段と、
前記第２の特徴抽出手段によって抽出された特徴量を前記モデル格納手段に格納された前記モデルに入力することによって、前記検出用画像に対象物が含まれるか否かを推定する対象物推定手段と、
前記対象物推定手段による推定結果を含む検出結果を出力する結果出力手段とを有する付記１乃至３のいずれか一項に記載のデータ処理システム。
（付記１１）
前記第１の出力手段は、前記学習用画像を表示する画面を有し、前記画面に表示されたグラフィックユーザーインターフェースを介して、前記学習対象とする領域に関する指定を受け付けるとともに、前記学習対象に設定された領域に前記教師ラベルを付与する操作を受け付ける付記８乃至１０のいずれか一項に記載のデータ処理システム。
（付記１２）
前記結果出力手段は、前記検出結果を表示する画面を有し、前記所定の画像処理が施された検出用画像および前記画像処理が施されていない画像を組み合わせた画像を前記画面に重畳して表示する付記８乃至１１のいずれか一項に記載のデータ処理システム。
（付記１３）
学習用画像上の少なくとも一つの領域に付与された教師ラベルと前記領域の画像との関係を学習してモデル化し、
前記学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および前記画像処理が施されていない検出用画像の中からそれぞれ前記モデルに基づいて対象物を含む領域を検出するデータ処理方法。
（付記１４）
学習用画像上の少なくとも一つの領域に付与された教師ラベルと前記領域の画像との関係を学習してモデル化する処理と、
前記学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および前記画像処理が施されていない検出用画像の中からそれぞれ前記モデルに基づいて対象物を含む領域を検出する処理とをコンピュータに実行させるデータ処理プログラム。

本発明は、映像監視システムにおける人物検出などに適用できる。また、本発明は、人工衛星によって取得された画像を用いる対象物検出にも適用できる。

１、２、３、４ データ処理システム
１０ 指示手段
１１ ラベル付与手段
１２ 学習指示手段
１３ 対象物指定手段
１４ 除外範囲指定手段
２０ 学習手段
２１ 学習用画像処理手段
２２ 特徴抽出手段
２３ 特徴量計算手段
２４ モデル学習手段
２５ 学習領域算出手段
３０ モデル格納手段
４０ 検出指示手段
５０ 検出手段
５１ 検出用画像処理手段
５２ 特徴抽出手段
５５ 対象物推定手段
５６ 結果出力手段
６０ 結果表示手段
６１ 検出領域表示手段
６２ 回転領域表示手段
２１１ フィルタ処理手段
２１２ トリミング処理手段
２１３ 回転処理手段
５１１ 超解像処理手段
５１２ フィルタ処理手段
５１５ トリミング処理手段
５１４ 回転処理手段

Claims (10)

1. 学習用画像上の少なくとも一つの領域に付与された教師ラベルと前記領域の画像との関係を学習してモデル化する学習手段と、
   前記学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および前記画像処理が施されていない検出用画像の中からそれぞれ前記モデルに基づいて対象物を含む領域を検出する検出手段とを備えるデータ処理システム。
2. 前記所定の画像処理は超解像処理である請求項１に記載のデータ処理システム。
3. 前記学習手段は、
   前記学習用画像上の少なくとも一つの領域に付与された教師ラベルと、前記領域の画像および前記画像を回転させた画像との関係を学習してモデル化する請求項１または２に記載のデータ処理システム。
4. 前記学習手段は、
   前記学習用画像にフィルタ処理を施す第１のフィルタ処理手段と、
   前記学習用画像から前記少なくとも一つの領域を切り出す第１のトリミング処理手段と、
   前記少なくとも一つの領域に回転処理を施す第１の回転処理手段と、
   前記少なくとも一つの領域の特徴量を抽出する第１の特徴抽出手段と、
   前記少なくとも一つの領域に関して前記特徴量と前記教師ラベルとの関係を学習して前記モデルを生成するモデル学習手段とを含む請求項１乃至３のいずれか一項に記載のデータ処理システム。
5. 前記学習手段は、
   前記学習用画像にフィルタ処理を施す第１のフィルタ処理手段と、
   前記学習用画像から前記少なくとも一つの領域を切り出す第１のトリミング処理手段と、
   前記少なくとも一つの領域の特徴量を抽出する第１の特徴抽出手段と、
   前記第１の特徴抽出手段によって抽出された特徴量を含む特徴ベクトルを基に、前記少なくとも一つの領域を回転することによって得られる回転領域の特徴ベクトルを算出する第１の特徴量計算手段と、
   前記第１の特徴抽出手段によって抽出された特徴量と前記教師ラベルとの関係に加えて、前記第１の特徴量計算手段によって算出された前記回転領域の特徴ベクトルと前記教師ラベルとの関係を学習して前記モデルを生成して学習するモデル学習手段とを含み、
   前記特徴量計算手段は、
   前記少なくとも一つの領域から抽出された特徴量を少なくとも一つのグループごとにまとめた特徴ベクトルを生成し、生成した前記特徴ベクトルに含まれる特徴量を前記グループごとにローテーションさせることによって前記回転領域の特徴ベクトルを算出する請求項１乃至４のいずれか一項に記載のデータ処理システム。
6. 前記学習用画像上の少なくとも一つの領域に前記教師ラベルを付与し、前記教師ラベルが付与された前記学習用画像に関する情報を含む学習データを前記学習手段に出力する第１の出力手段と、
   前記検出用画像と、前記対象物の検索条件とを含む検出データを前記検出手段に出力する第２の出力手段とを備え、
   前記検出手段は、
   前記第２の出力手段から取得した前記検出データに含まれる前記検出用画像に超解像処理を施す超解像処理手段と、
   前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像に関してフィルタ処理を行う第２のフィルタ処理手段と、
   前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像から少なくとも一つの領域を切り出す第２のトリミング処理手段と、
   前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像から切り出された領域の特徴量を抽出する第２の特徴抽出手段と、
   前記第２の特徴抽出手段によって抽出された特徴量を前記モデル格納手段に格納された前記モデルに入力することによって、前記検出用画像に対象物が含まれるか否かを推定する対象物推定手段と、
   前記対象物推定手段による推定結果を含む検出結果を出力する結果出力手段とを含む請求項４または５に記載のデータ処理システム。
7. 前記対象物を含む領域の範囲を任意サイズで指定し、前記対象物を含む範囲をずらすことによって前記対象物を含む領域を順次切り出していくとともに、前記対象物を含まない領域の範囲を任意サイズで指定し、前記対象物を含まない範囲をずらすことによって前記対象物を含まない領域を順次切り出していき、前記学習用画像に関する情報を含む前記学習データを前記学習手段に出力する第１の出力手段と、
   前記検出用画像と、前記対象物の検出条件とを含む検出データを前記検出手段に出力する第２の出力手段とを備え、
   前記学習手段は、
   前記指示手段から取得した前記学習データを参照し、学習に用いるサイズの範囲の領域に前記対象物が含まれるか否かを算出する学習領域算出手段を含み、
   前記検出手段は、
   前記第２の出力手段から取得した前記検出データに含まれる前記検出用画像に超解像処理を施す超解像処理手段と、
   前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像に関してフィルタ処理を行う第２のフィルタ処理手段と、
   前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない前記検出用画像から少なくとも一つの領域を切り出す第２のトリミング処理手段と、
   前記超解像処理手段によって超解像処理が施された前記検出用画像および超解像処理が施されていない領域の特徴量を抽出する第２の特徴抽出手段と、
   前記第２の特徴抽出手段によって抽出された特徴量を前記モデル格納手段に格納された前記モデルに入力することによって、前記検出用画像に対象物が含まれるか否かを推定する対象物推定手段と、
   前記対象物推定手段による推定結果を含む検出結果を出力する結果出力手段とを含む請求項４または５に記載のデータ処理システム。
8. 前記結果出力手段は、前記検出結果を表示する画面を有し、前記所定の画像処理が施された検出用画像および前記画像処理が施されていない画像を組み合わせた画像を前記画面に重畳して表示する請求項６または７に記載のデータ処理システム。
9. 学習用画像上の少なくとも一つの領域に付与された教師ラベルと前記領域の画像との関係を学習してモデル化し、
   前記学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および前記画像処理が施されていない検出用画像の中からそれぞれ前記モデルに基づいて対象物を含む領域を検出するデータ処理方法。
10. 学習用画像上の少なくとも一つの領域に付与された教師ラベルと前記領域の画像との関係を学習してモデル化する処理と、
    前記学習用画像と異なる検出用画像を入力とし、所定の画像処理が施された検出用画像および前記画像処理が施されていない検出用画像の中からそれぞれ前記モデルに基づいて対象物を含む領域を検出する処理とをコンピュータに実行させるデータ処理プログラム。

Images