JP2017182480A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2017182480A
JP2017182480A JP2016069151A JP2016069151A JP2017182480A JP 2017182480 A JP2017182480 A JP 2017182480A JP 2016069151 A JP2016069151 A JP 2016069151A JP 2016069151 A JP2016069151 A JP 2016069151A JP 2017182480 A JP2017182480 A JP 2017182480A
Authority
JP
Japan
Prior art keywords
image
pixel
image processing
feature amount
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016069151A
Other languages
English (en)
Other versions
JP6815741B2 (ja
Inventor
しおり 脇野
Shiori Wakino
しおり 脇野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016069151A priority Critical patent/JP6815741B2/ja
Priority to US15/469,217 priority patent/US10475187B2/en
Publication of JP2017182480A publication Critical patent/JP2017182480A/ja
Application granted granted Critical
Publication of JP6815741B2 publication Critical patent/JP6815741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像の位置座標を用いた演算処理結果のデータ量を削減する。【解決手段】画像処理装置100は、画像を画素の属性に基づいて複数の領域に分割しラベリングする領域分割部104と、領域分割部104により分割された領域ごとに対応する座標系を決定し、領域に属する画素の座標値を、対応する座標系の座標値に変換する座標変換部105と、座標変換部105により変換された座標値を用いて領域の特徴量を演算する特徴量演算部107と、を備える。画像処理装置100は、特徴量演算部107の演算結果を領域別に格納する格納領域を主記憶メモリ102にさらに備えてもよい。【選択図】 図1

Description

本発明は、画像処理装置および画像処理方法に関する。
従来、物体認識等の画像処理の前処理として、画像を色や模様、明るさといった属性が同じになるように複数の領域に分割する領域分割(Segmentation)手法が用いられている。これらの分割された領域は、その後、領域単位で符号化処理や認識処理が行えるため、画素レベルで画像を処理する場合に比べて処理量を削減することができる。近年、組み込み機器において高解像度の画像に対して画像処理を行うケースが増えてきており、領域分割後の領域単位で処理することができることで、組み込み機器でも高解像度の画像に対してリアルタイムで複雑な処理ができるようになると考えられる。
領域分割処理の一手法として、特許文献1には、K平均法(k-means clustering)を用いるクラスタリング手法が開示されている。この特許文献1に記載の技術では、少ないメモリと少ない作業時間とで領域分割処理を行うために、画像を複数のブロックに分け、ブロック単位で領域分割処理を実施している。
また、K平均法をベースにした手法として、非特許文献1には、画像をスーパーピクセルと呼ばれる知覚的に意味のある小領域に分割するSLIC(Simple Linear Iterative Clustering)という手法が開示されている。SLIC手法では、各画素を、画像上に格子状に配置した複数の代表点のいずれかにクラスタリングし、領域分割処理後、代表点を更新する。SLIC手法とK平均法との違いは、代表点にクラスタリングする座標空間を所定範囲に限定している点にある。SLIC手法によって分割された小領域は、比較的形状が等しく領域の数も安定していることが特徴である。
さらに、クラスタリングされた小領域の物体を認識する技術も開発されている。このような技術は、撮影画像のシーン判別等に応用される技術であり、小領域の特徴量を抽出し、抽出した特徴量を解析して物体を認識する。
特開平8−30787号公報
Radhakrishna Achanta, et al.、"SLIC Superpixels Compared to State-of-the-Art Superpixel Methods"、IEEE Transactions on Pattern Analysis and Machine Intelligence、vol.34、No.11、pp.2274-2282、Nov. 2012
クラスタリングされた小領域の特徴量は、同一小領域内の画素ごとに抽出したデータを累積演算することで得られ、演算された特徴量はメモリに格納される。特徴量をメモリに格納する場合、そのメモリのメモリサイズは、特徴量の最大値を格納可能なデータ幅が必要になる。画素の位置座標は、画像の原点から離れるほど増加する。そのため、特徴量が画素の位置座標を用いて演算されるデータである場合、処理対象の画像サイズが大きくなるほど特徴量のデータ量(桁数)が増加し、特徴量を格納するためのメモリサイズを大きくする必要がある。また、メモリに対するデータの読み書きに要する時間もかかるため、処理性能が低下してしまう。
そこで、本発明は、画像の領域認識等を行うための、画素の位置座標を用いた特徴量演算結果のデータ量を削減することを目的とする。
上記課題を解決するために、本発明に係る画像処理装置の一態様は、画像を画素の属性に基づいて複数の領域に分割する分割手段と、前記分割手段により分割された領域ごとに対応する座標系を決定し、前記画像の各画素の座標値を、前記各画素が属する前記領域に対応する前記座標系の座標値に変換する変換手段と、前記変換手段により変換された座標値を用いて前記領域の特徴量を演算する演算手段と、を備える。
本発明によれば、画像の領域認識等を行うための、画素の位置座標を用いた特徴量演算結果のデータ量を削減することができる。
画像処理装置のハードウェア構成図である。 主記憶メモリのメモリイメージである 画像処理装置の処理対象の画像を説明する図である。 領域分割処理結果の一例である。 小領域に応じた座標系の決定方法について説明する図である。 座標変換部の内部構成を示すブロック図である。 座標変換処理手順を示すフローチャートである。 領域ラベルとキャッシュメモリアドレスとを対応付けるテーブルである。 特徴量演算処理手順を示すフローチャートである。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
本実施形態では、画像を処理対象とし、画像を色や模様、明るさといった属性が同じになるように複数の局所的な小領域に分割する領域分割処理(セグメンテーション)を行い、小領域単位で認識処理等を行うための画像処理装置について説明する。画像処理装置は、認識処理に際し、領域分割された小領域の特徴量(領域特徴量)を算出する。領域特徴量は、画像の画質に関する特徴を表す画質特徴量や、画像の幾何的な特徴を表す幾何特徴量と含む。画質特徴量は、小領域のR、G、Bの色平均等を含み、幾何特徴量は、小領域の面積(以下、「0次モーメント」という。)、小領域の重心(以下、「1次モーメント」という。)、小領域の分散(以下、「2次モーメント」という。)等を含む。
本実施形態では、画像処理装置は、領域分割処理の手法として、色空間(R,G,B)と座標空間(x,y)の5次元の情報を用いて画素をクラスタリングするSLIC手法を用いるものとする。なお、本実施形態では、色空間をRGB(R,G,B)として説明するが、CIELAB(L*,a*,b*)やYCC(Y,Cb,Cr)であってもよい。
領域分割処理では、はじめにクラスターの中心となる代表点を画像中に格子状に配置し、各代表点に0、1、2、…とユニークな番号(以下、「領域ラベル」という。)を割り振る。そして、各画素を格子状に配置した複数の代表点のいずれかにクラスタリングし、各画素にその代表点の領域ラベルを割り振ることで、画像を複数の小領域(以下、単に「領域」ともいう。)に分割する。このとき、各画素を代表点にクラスタリングする座標空間は、所定範囲に限定する。領域分割処理後、各代表点を、それぞれ分割された小領域に応じて更新する。
図1は、本実施形態における画像処理装置100のハードウェア構成図である。画像処理装置100は、所定の制約条件のもとで画像を複数の局所的な小領域に分割する領域分割処理を行い、分割した小領域の特徴量を算出する装置である。本実施形態では、画像処理装置100は、画像を複数のブロックに分け、ブロック単位で処理(領域分割処理や特徴量算出処理)する場合について説明する。
画像処理装置100は、デジタルカメラ等の撮像装置を含む組み込み機器の一部として機能する組み込みコンピュータであってもよいし、パーソナルコンピューター(PC)により構成されていてもよい。
画像処理装置100は、CPU101、主記憶メモリ102、DMAC103、領域分割部104、座標変換部105、キャッシュメモリ106、特徴量演算部107およびシステムバス108を備える。
CPU101は、画像処理装置100における動作を統括的に制御するものであり、システムバス108を介して、各構成部(102、103、106)を制御する。主記憶メモリ102は、図示しないセンサ、あるいは、ネットワークインタフェース等の画像を取り込むデバイスによって取り込まれた処理対象の画像を格納する。また、主記憶メモリ102は、領域分割処理に必要なパラメータや、小領域をそれぞれ代表する代表点の情報を格納する。さらに、主記憶メモリ102は、CPU101のワークメモリとしても機能し、CPU101による処理結果を格納する領域としても使用される。
図2は、主記憶メモリ102のメモリイメージである。主記憶メモリ102は、入力データを格納する入力データ格納領域102aと、出力データを格納する出力データ格納領域102bとを備える。入力データ格納領域102aは、処理対象の画像(R,G,B)や、後述する領域分割部104が領域分割処理に使用するパラメータや代表点の情報を格納する領域である。出力データ格納領域102bは、領域分割部104が出力する領域ラベルLに関する情報や、特徴量演算部107の演算結果を格納(保持)する領域である。
出力データ格納領域102bは、小領域ごとの領域特徴量を格納する特徴量格納領域102cを含む。特徴量格納領域102cには、領域ラベルLの順に、小領域ごとに領域特徴量が格納される。領域特徴量は、画質特徴量(R、G、Bの色平均)と幾何特徴量(0次モーメント、1次モーメント、2次モーメント)とを含む32byteのデータとする。幾何特徴量の演算の一例を以下に示す。
Figure 2017182480
ここで、nは、同一の領域ラベルLが割り振られた画素の数である。また、(x(i),y(i))は、同一の領域ラベルLが割り振られたn個の画素のうち、i番目の画素の位置座標である。1次モーメントおよび2次モーメントは、画素単位で行われる累積演算の演算結果である累積演算値(以下、「特徴量データ」ともいう。)を用いて算出される。後述する特徴量演算部107は、ブロック単位で小領域別に累積演算値を演算し、1画像の処理(全ブロックの処理)が終了した後、累積演算値を加工し、最終的な小領域ごとの幾何特徴量を演算する。
本実施形態では、後述の座標変換部105における座標変換処理により、各画素の位置座標は8ビットに限定される。そのため、0次モーメントのデータ幅は8ビット、1次モーメントのデータ幅は24ビット、2次モーメントのデータ幅は32ビットに限定されることになる。
図1に戻って、DMAC103は、主記憶メモリ102と領域分割部104および座標変換部105との間でデータ転送するDMA(Direct Memory Access)コントローラであり、CPU101によって制御される。CPU101がDMAC103にデータ転送元アドレス、転送サイズ、アドレッシングパターン、データ転送先を設定し、データ転送開始のトリガを与えると、DMAC103は、設定に従ってデータ転送を行う。データ転送が終わると、DMAC103はCPU101に終了を通知する。
DMAC103は、転送先が領域分割部104に設定された場合、主記憶メモリ102の入力データ格納領域102aから、領域分割処理に必要なパラメータや代表点の情報を読み込み、領域分割部104に転送する。このとき、DMAC103は、領域分割処理に必要なパラメータとして、主記憶メモリ102から領域分割処理の所定の制約条件を読み込み、領域分割部104に転送する。また、DMAC103は、代表点の情報として、主記憶メモリ102から処理対象のブロック内の代表点、および処理対象のブロックの周囲の代表点の情報を読み込み、領域分割部104に転送する。
また、DMAC103は、転送先が領域分割部104と座標変換部105とに設定された場合、主記憶メモリ102の入力データ格納領域102aから処理対象のブロックの画素データをラスタ順で読み込み、領域分割部104と座標変換部105とに転送する。このとき、DMAC103は、画像の転送元アドレスから画素の位置座標(x,y)を算出可能であり、画素データを(R,G,B,x,y)に拡張して領域分割部104と座標変換部105とに転送する。
また、DMAC103は、転送元が領域分割部104、転送先が主記憶メモリ102に設定された場合、領域分割部104が出力する領域ラベルLを主記憶メモリ102に転送する。
領域分割部104は、DMAC103から転送される代表点の情報と画素データ(R,G,B,x,y)とを使用して、処理対象の画像上の各画素を代表点のいずれかにクラスタリングし、その領域にラベリングして領域ラベルLを出力する。このとき、領域分割部104は、DMAC103から転送される領域分割処理の所定の制約条件に応じて、画像を複数の局所的な小領域に分割しラベリングする。
上記所定の制約条件には、ステップサイズとサーチレンジとが含まれる。ステップサイズは、画像中に格子状に配置される初期代表点の間隔であり、サーチレンジは、各画素のクラスタリング時に代表点を探索する範囲である。これらの制約条件は、CPU101の制御によりDMAC103を介して与えられる。なお、領域分割部104は専用ハードウェアとして動作するようにしてもよいし、CPU101がプログラムを実行することにより領域分割部104の機能が実現されるようにしてもよい。
図3は、処理対象である画像について説明する図である。処理対象の画像のサイズ(image_size)は、縦(y方向)2040画素、横(x方向)4080画素とし、画素のデータは、色データ(R,G,B)24ビットで構成されるものとする。画素の位置座標は、左上の座標を原点(x,y)=(0,0)とし、水平方向にXの値が増加し、垂直方向にYの値が増加する。画像は複数のブロック(201〜205等)に分割され、領域分割部104は、ブロック単位で領域分割処理を実行する。各ブロックのサイズ(block_size)は、縦横255画素とする。
領域分割部104は、領域分割処理において、上述したように、はじめに画像全体に代表点を格子状に配置する。この格子の間隔がステップサイズである。本実施形態では、ステップサイズを85画素とする。領域分割処理後、各代表点は更新される。領域分割処理により、各画素は、初期状態において最も近傍に位置する代表点を中心とした所定範囲内に位置する複数の代表点のいずれかにクラスタリングされ、その代表点の領域ラベルLが割り振られる。上記所定範囲がサーチレンジである。
このように、領域分割部104は、クラスタリングする代表点を探索する範囲を示すサーチレンジを所定範囲に限定する。特定の代表点にクラスタリングする座標空間を所定範囲に限定することで、各小領域の大きさがほぼ等しい安定した領域分割処理を行うことができる。
サーチレンジが1ステップサイズである場合、各画素は、初期状態において最も近傍に位置する代表点と、その代表点を中心とした1ステップサイズの範囲内に位置する周囲8つの代表点との計9つの領域ラベルLのいずれかが割り振られることになる。つまり、注目画素がL=147の代表点を最近傍とする範囲211内の画素である場合、その画素は、範囲212内の代表点の領域ラベルL=98,99,100,146,147,148,194,195,196のいずれかにラベリングされる。したがって、ブロック204内の全画素を処理するためには、ブロック204内の代表点とブロック204の周囲の代表点、つまり範囲213内の合計25個の代表点の情報が必要となる。
領域分割部104は、DMAC103から領域分割処理に必要なパラメータと代表点の情報とを受信した後、画素データをラスタ順に受信し、領域分割処理を開始する。領域分割部104は、画素毎にどの代表点の領域ラベルLを割り振るかを判定し、判定結果である領域ラベルLを座標変換部105に引き渡す。なお、領域分割部104は、領域ラベルLをDMAC103にも引き渡し、主記憶メモリ102に格納するようにしてもよい。
領域分割処理結果の一例を図4に示す。なお、図4では、図3のブロック201〜204についてのみ示している。ブロックの境界部分では、複数のブロックを跨って同一の領域ラベルLが割り振られ得る。図4では、領域ラベルL=51は、2つのブロック201、202で割り振られており、領域ラベルL=98は、4つのブロック201〜204で割り振られている。
図1に戻って、座標変換部105は、画素データ(R,G,B,x,y)と領域ラベルLとを受信し、領域ラベルLに応じて位置座標(x,y)の座標変換を行う。具体的には、座標変換部105は、領域ラベルLに基づいて、その小領域に固有の座標系を決定し、位置座標(x,y)を、決定された座標系の座標値(x’,y’)に変換する。つまり、座標変換部105は、同一の領域ラベルLに割り振られた複数の画素の座標値を、同一の座標系の座標値に変換する。
図5は、小領域ごとに固有の座標系について説明する図である。上述したように、注目画素は、初期状態で最も近傍に位置する代表点を中心としたサーチレンジ内に位置する複数の代表点の領域ラベルLのうち、いずれかの領域ラベルLが割り振られる。本実施形態では、X方向の画像幅(image_size_x)は4080画素であり、ステップサイズは85画素であるため、代表点はX方向に48ずつ配置される。また、Y方向の画像幅(image_size_y)は2040画素であるため、代表点はY方向に24ずつ配置される。
このような配置であるとき、領域ラベルLの代表点の初期座標(Xini(L),Yini(L))は、次式で表すことができる。
Xini(L)=42+85*(L%48),
Yini(L)=42+85*(L−L%48)/48) ………(4)
そして、画素(x,y)が初期状態で最も近傍に位置する領域ラベルL(最近傍の代表点番号N)は、次式で表すことができる。
N=48*(y−y%85)/85+(x−x%85)/85 ………(5)
図5の画素301(x,y)=(85,85)を注目画素とした場合、最近傍の代表点番号はN=49であり、画素301は、0,1,2,48,49,50,96,97,98のいずれかの領域ラベルLが割り振られる。同様に、画素302(x,y)=(339,85)を注目画素とした場合、最近傍の代表点番号はN=51であり、画素302は、2,3,4,50,51,52,98,99,100のいずれかの領域ラベルLが割り振られる。
また、画素303(x,y)=(85,339)を注目画素とした場合、最近傍の代表点番号はN=145であり、画素303は、96,97,98,144,145,146,192,193,194のいずれかの領域ラベルLが割り振られる。さらに、画素304(x,y)=(339,339)を注目画素とした場合、最近傍の代表点番号はN=147であり、画素303は、98,99,100,146,147,148,194,195,196のいずれかの領域ラベルLが割り振られる。
つまり、領域ラベルLの視点で捉えると、特定の領域ラベルLが割り振られる可能性のある画素は、その領域ラベルLの代表点の初期座標からサーチレンジ内に位置する代表点を最近傍とする座標に位置するといえる。例えば、領域ラベルL=98が割り振られる可能性のある画素は、領域ラベルL=98の代表点の初期座標からサーチレンジ内に位置する代表点、49,50,51,97,99,145,146,147を最近傍とする範囲305内に位置する。
上記のとおり、画素(x,y)が初期状態で最も近傍に位置する代表点番号Nは、上記(5)式で表される。そのため、最近傍の代表点番号がN=49となる画素の位置座標(x,y)は、85≦x<170,85≦y<170の範囲内となる。したがって、範囲305の左上座標は(85,85)であり、画素301が範囲305の左上画素となる。また、最近傍の代表点番号がN=51となる画素の位置座標(x,y)は、225≦x<340,85≦y<170の範囲内となる。そのため、範囲305の右上座標は(339,85)であり、画素302が範囲305の右上画素となる。
同様に、最近傍の代表点番号がN=145となる画素の位置座標(x,y)は、85≦x<170,225≦y<340の範囲内となる。そのため、範囲305の左下座標は(85,339)であり、画素303が範囲305の左下画素となる。また、最近傍の代表点番号がN=147となる画素の位置座標(x,y)は、225≦x<240,225≦y<340の範囲内となる。そのため、範囲305の右下座標は(339,339)であり、画素304が範囲305の右下画素となる。
このように、領域ラベルL=98が割り振られる可能性のある画素が存在する範囲305は、画素301を原点としたxy方向に0〜+255の範囲となる。したがって、領域ラベルL=98に割り振られる画素の位置座標を、画素301を原点とした座標系に変換すると、その座標値は8ビットのデータ幅で表すことが可能である。
本実施形態では、座標変換部105は、領域分割処理の制約条件に基づいて、小領域ごとに固有の座標系の原点を決定する。具体的には、座標変換部105は、小領域ごとに固有の座標系として、同一の領域ラベルLが割り振られる可能性のある画素のうち、最小の座標(x,y)を原点とする座標系を決定し、座標変換を行う。以下、座標変換部105が実行する座標変換処理について詳細に説明する。
図6は、座標変換部105の内部構成を示すブロック図である。座標変換部105は、設定レジスタ105aと、代表点選択部105bと、原点選択部105cと、座標値変換部105dとを備える。この図6に示す座標変換部105の各部は専用のハードウェアとして動作してもよいし、各部の機能が、図1のCPU101がプログラムを実行することにより実現されてもよい。各部の少なくとも一部が専用のハードウェアとして動作する場合、専用のハードウェアは、CPU101の制御に基づいて動作する。
設定レジスタ105aは、領域分割部104が領域分割処理で用いるパラメータであるサーチレンジとステップサイズとを格納する。設定レジスタ105aは、代表点選択部105bと原点選択部105cとによって参照される。
代表点選択部105bは、領域ラベルLとサーチレンジ情報とに基づいて、領域ラベルLの代表点の初期座標からサーチレンジ内に位置する複数の代表点の内、座標値が最小となる代表点を選択する。代表点選択部105bは、上記(4)式を用いて代表点の初期座標を算出してもよいし、テーブルを参照して代表点の初期座標を導出してもよい。テーブル参照の場合、座標変換部105は、領域ラベルLと、その領域ラベルLの代表点の初期座標とを対応付けるテーブルを予め保持しておくものとする。
原点選択部105cは、代表点選択部105bにより選択された代表点の情報と、ステップサイズ情報とに基づいて、代表点選択部105bにより選択された代表点が最近傍となる画素のうち、最小座標を有する画素を原点として選択する。座標値変換部105dは、原点選択部105cにより選択された原点の座標を入力し、注目画素の位置座標(x,y)を、原点選択部105から入力された原点座標からの座標値(x’,y’)に変換する。
図7は、座標変換部105が実行する座標変換処理手順を示すフローチャートである。図7の処理は、図6に示す各部がそれぞれ別個のハードウェアとして動作することで実現されるようにしてもよいし、CPU101が必要なプログラムを読み出して実行することにより実現されるようにしてもよい。この図7の処理は、座標変換部105が、DMAC103から画素データ(R,G,B,x,y)、領域分割部104から領域ラベルLを受け取ると開始される。以降、アルファベットSはフローチャートにおけるステップを意味するものとする。
まずS1において、代表点選択部105bは、領域ラベルLの代表点の初期座標(Xini(L),Yini(L))を算出する。ここで、代表点選択部105bは、領域ラベルLをもとにテーブルを参照して初期座標を導出してもよいし、ステップサイズをもとに上述した計算式により初期座標を算出してもよい。次に、代表点選択部105bは、導出した代表点の初期座標からサーチレンジ内に存在する代表点のうち、最も座標値の小さい代表点を選択し、その代表点の初期座標を算出する。
例えば、代表点選択部105bは、領域分割部104から領域ラベルL=98を入力した場合、初期座標(Xini(98),Yini(98))=(212,212)を算出する。また、サーチレンジは1ステップサイズであることから、代表点選択部105bは、サーチレンジ内に位置する代表点のうち、領域ラベルL=49の代表点を最も座標値の小さい代表点として選択する。そして、代表点選択部105bは、領域ラベルL=49の代表点の初期座標(Xini(49),Yini(49))=(127,127)を算出する。
次にS2において、原点選択部105cは、S1において算出された代表点の初期座標を最近傍とする画素のうち、最小の座標値を算出する。具体的には、原点選択部105は、S1において算出された代表点の初期座標(Xini(L),Yini(L))からX方向およびY方向にそれぞれステップサイズの半分を減算した座標を算出し、算出した座標を原点座標とする。つまり、原点座標(Xorg(L),Yorg(L))=(Xini(L)−ステップサイズ/2,Yini(L)−ステップサイズ/2)である。ただし、原点座標がマイナスになる場合は0に補正する。こうして、新たな座標系が決定される。
上記のように、領域分割部104から領域ラベルL=98が入力された場合、S1において算出される代表点の初期座標は(127,127)である。ステップサイズは85画素であるため、原点選択部105cは、原点座標(127−85/2,127−85/2)=(85,85)を算出する。
最後にS3において、座標値変換部105dは、注目画素の位置座標(x,y)をS2において決定された座標系の座標値に変換する。具体的には、注目画素の位置座標(x,y)からS2において算出された原点座標(Xorg(L),Yorg(L))を減算することで、原点座標からの座標値(x’,y’)に変換する。つまり、x’=x−Xorg(L)、y’=y−Yorg(L)である。
以上のように、座標変換部105は、領域ラベルLの代表点の初期座標からサーチレンジ内に位置する代表点のうち、座標値が最小となる代表点を選択し、選択した代表点の初期座標を最近傍とする画素のうち、最小の座標を特定する。そして、座標変換部105は、特定した座標をその小領域の座標系の原点に決定する。このように、座標変換部105は、領域分割された小領域ごとに固有の座標系を決定し、処理対象の画像上の各画素の位置座標を、各画素が属する小領域に対応する座標系の座標値に変換する。
図1に戻って、キャッシュメモリ106は、主記憶メモリ102のデータを一時的に格納(保持)する。また、キャッシュメモリ106は、後述する特徴量演算部107が1ブロックの処理で演算する小領域ごとの特徴量データ(累積演算値)を格納(保持)する。キャッシュメモリ106は、処理の開始前に、CPU101から特徴量データの演算を行う小領域の領域ラベルLを通知され、主記憶メモリ102に格納されている特徴量データのうち、該当する領域ラベルLの特徴量データを内部メモリにコピーする。
キャッシュメモリ106のサイズは、1ブロック内の代表点とその周囲の代表点である計25個の領域ラベルLに対応する特徴量データを格納可能なサイズであり、本実施形態では、32byte*25=800byteとする。キャッシュメモリ106には、アドレス0番地に最も小さい領域ラベルLに対応する特徴量データを格納し、昇順に32byteずつ25個の特徴量データを格納する。
キャッシュメモリ106は、特徴量演算部107により領域ラベルLが引き渡されると、対応する領域ラベルLの特徴量データをリード、またはライトする。引き渡された領域ラベルLがキャッシュメモリ106内部に格納されていない領域ラベルLであるときは、主記憶メモリ102にリード、またはライトする。特徴量演算部107により1ブロックの処理が完了すると、キャッシュメモリ106は、内部に格納している全特徴量データを主記憶メモリ102に書き戻す。
キャッシュメモリ106は、キャッシュメモリ106のアドレスと格納している特徴量データに対応する領域ラベルLとを対応付けるテーブルを内部に備える。図8にテーブルを示す。図8において、フィールド106aの情報は、キャッシュメモリ106のアドレスであり、フィールド106bの情報は、格納されている特徴量データに対応する領域ラベルLである。図8では、図3のブロック204内の代表点とその周囲の代表点(範囲213内の25個の代表点)の領域ラベルLに対応する特徴量データを格納した例を示している。なお、主記憶メモリ102のアドレスは、主記憶メモリ102のベースアドレスに32*Lを加算することで求められる。
図1の特徴量演算部107は、座標変換部105が出力する変換後の画素データ(R,G,B,x’,y’)を入力として画素単位で累積演算を行い、特徴量データを演算する。ここで、特徴量演算部107は、同一の領域ラベルLが割り振られた複数の画素の変換後の座標値を用いて累積演算を行い、その領域ラベルLに対応する特徴量データを演算する。なお、特徴量演算部107は専用ハードウェアとして動作するようにしてもよいし、CPU101がプログラムを実行することにより特徴量演算部107の機能が実現されるようにしてもよい。
上述したように、特徴量演算部107は、領域特徴量として、R、G、Bの色平均等の画質特徴量に加えて、小領域の面積(0次モーメント)、小領域の重心(1次モーメント)、小領域の分散(2次モーメント)等の幾何特徴量を演算する。特徴量演算部107は、1次モーメントおよび2次モーメントについては、以下に示す特徴量データ(累積演算値)を演算する。
Figure 2017182480
図9は、特徴量演算部107が実行する特徴量演算処理手順を示すフローチャートである。図9の処理は、特徴量演算部107が専用のハードウェアとして動作することで実現されるようにしてもよいし、CPU101が必要なプログラムを読み出して実行することにより実現されるようにしてもよい。この図7の処理は、特徴量演算部107が、座標変換部105から画素データ(R,G,B,x’,y’)および領域ラベルLを受け取ると開始される。まずS11において、特徴量演算部107は、キャッシュメモリ106に領域ラベルLを引き渡し、キャッシュメモリ106から領域ラベルLの特徴量データ(累積演算値)RDataをリードする。
次にS12では、特徴量演算部107は、画素データ(R,G,B,x’,y’)を用いて累積演算処理を実行する。具体的には、特徴量演算部107は、リードデータの0番地データに対し、1を加算することで0次モーメントを演算する(0x00番地データ=+1)。また、特徴量演算部107は、4番地データにx’、8番地データにy’を加算することで1次モーメントを演算する(0x04番地データ=+x’、0x08番地データ=+y’)。
さらに、特徴量演算部107は、c番地データにx’2、10番地データにy’2を加算することで2次モーメントを演算する(0x0c番地データ=+x’ 2、0x10番地データ=+y’ 2)。また、特徴量演算部107は、14番地データにR、18番地データにG、1c番地データにBを加算することで色平均を演算する(0x14番地データ=+R、0x18番地データ=+G、0x1c番地データ=+B)。
最後にS13では、特徴量演算部107は、領域ラベルLと、S12において累積演算された特徴量データ(累積演算値)WDataとを引き渡し、キャッシュメモリ106にライトする。
以下、本実施形態における画像処理装置100の動作について具体的に説明する。ここでは、画像処理装置100が、図3のブロック201、202、203、204の順に処理する場合について説明する。
はじめに、画像処理装置100は、ブロック201を処理する。この場合、CPU101は、処理対象であるブロック201内とブロック201の周囲との計16個の代表点の情報として、領域ラベルL=0〜3、48〜51、96〜99、144〜147をDMAC103およびキャッシュメモリ106に通知する。
すると、キャッシュメモリ106は、通知された領域ラベルLをもとに、図8のテーブルのフィールド106bを更新する。つまり、フィールド106bには、上記の16個の領域ラベルLの情報が格納される。また、DMAC103は、主記憶メモリ102から、領域分割処理に必要なパラメータと上記の計16個の代表点の情報とを取得し、これらを領域分割部104に転送する。領域分割部104は、DMAC103から受け取った情報に基づいて領域分割処理を実施し、ブロック201の各画素を上記16個の代表点のいずれかの領域ラベルLに割り振る。
座標変換部105は、図7の処理フローに従い、各画素が割り振られた領域ラベルLについて、それぞれ小領域に固有の座標系の原点座標を決定する。そして、座標変換部105は、ブロック201内の各画素の座標値(x,y)を、各画素が属する小領域に対応する座標系の座標値(x’,y’)に変換する。座標変換部105が、ブロック201内の各画素が割り振られ得る領域ラベルLについて、それぞれ原点座標を算出した結果を表1に示す。
Figure 2017182480
特徴量演算部107は、座標変換部105により変換された座標値(R,G,B,x’,y’)を用いて、対応する領域ラベルLの特徴量データ(累積演算値)を演算し、領域ラベルLと演算した特徴量データとをキャッシュメモリ106に引き渡す。これにより、キャッシュメモリ106の対応するアドレスに領域ラベルLの特徴量データが格納される。特徴量演算部107は、ブロック201内の画素が割り振られた全ての領域ラベルLについて特徴量データの演算を行い、キャッシュメモリ106に特徴量データを格納する。
ブロック201の処理が完了すると、キャッシュメモリ106は、図8のテーブルのフィールド106aのアドレスに格納された特徴量データを、主記憶メモリ102の対応するアドレスにそれぞれコピーする。これにより、主記憶メモリ102が小領域別に特徴量データを格納する領域中で、領域ラベルL=0〜3、48〜51、96〜99、144〜147の特徴量データが更新される。
続いて、画像処理装置100は、ブロック202を処理する。この場合、CPU101は、処理対象であるブロック202内とブロック202の周囲との計20個の代表点の情報として、領域ラベルL=2〜6、50〜54、98〜102、146〜150をDMAC103およびキャッシュメモリ106に通知する。
すると、キャッシュメモリ106は、通知された領域ラベルLをもとに、図8のテーブルのフィールド106bを更新し、主記憶メモリ102に格納された特徴量データのうち、通知された領域ラベルLに対応する特徴量データを内部にコピーする。このとき、キャッシュメモリ106は、主記憶メモリ102から、ブロック201の処理にてコピーされた領域ラベルL=2,3,50,51,98,99,146,147の特徴量データを読み込む。このブロック202の処理では、ブロック201における特徴量データの演算結果に対してブロック202における特徴量データの演算結果を累積することになる。
また、DMAC103は、主記憶メモリ102から、領域分割処理に必要なパラメータと上記の計20個の代表点の情報とを取得し、これらを領域分割部104に転送する。領域分割部104は、DMAC103から受け取った情報に基づいて領域分割処理を実施し、ブロック202の各画素を上記20個の代表点のいずれかの領域ラベルLに割り振る。
座標変換部105は、図7の処理フローに従い、各画素が割り振られた領域ラベルLについて、それぞれ小領域に固有の座標系の原点座標を決定する。そして、座標変換部105は、ブロック202内の各画素の座標値(x,y)を、各画素が属する小領域に対応する座標系の座標値(x’,y’)に変換する。座標変換部105が、ブロック202内の各画素が割り振られ得る領域ラベルLについて、それぞれ原点座標を算出した結果を表2に示す。
Figure 2017182480
特徴量演算部107は、座標変換部105により変換された座標値(R,G,B,x’,y’)を用いて対応する領域ラベルLの特徴量データ(累積演算値)を演算し、領域ラベルLと演算した特徴量データとをキャッシュメモリ106に引き渡す。このとき、領域ラベルL=2,3,50,51,98,99,146,147については、キャッシュメモリ106から特徴量データをリードし、リードデータに対して累積演算を行う。これにより、キャッシュメモリ106に格納された領域ラベルLの特徴量データが更新される。特徴量演算部107は、ブロック201内の画素が割り振られた全ての領域ラベルLについて特徴量データの演算を行い、キャッシュメモリ106に特徴量データを格納する。
このように、領域ラベルL=2,3,50,51,98,99,146,147については、ブロック201における特徴量データの演算結果に対してブロック202における特徴量データの演算結果を累積する。本実施形態では、座標変換部105が小領域ごとに固有の座標系を決定するため、原点座標はブロックに依存せず一意に決定できる。したがって、複数のブロックに跨って割り振られた領域ラベルL、例えばブロック201とブロック202の両方に割り振られる領域ラベルL=51の幾何特徴量は、同一の原点座標からの座標値を用いて演算することができる。そのため、座標系を統一するといった複雑な処理を追加することなく、異なるブロックの演算結果を累積することができる。
ブロック202の処理が完了すると、キャッシュメモリ106は、図8のテーブルのフィールド106aのアドレスに格納された特徴量データを、主記憶メモリ102の対応するアドレスにそれぞれコピーする。これにより、主記憶メモリ102が小領域別に特徴量データを格納する領域中で、領域ラベルL=2〜6,50〜54,98〜102,146〜150の特徴量データが更新される。画像処理装置100は、ブロック203および204についても同様に処理する。
そして、画像処理装置100は、画像中の全てのブロックの処理が終了すると、小領域別に演算された特徴量データ(累積演算値)を加工し、最終的な小領域ごとの幾何特徴量を演算する。つまり、最終的に演算された上記(6)式や上記(7)式に示す小領域ごとの累積演算値と、各小領域を構成する画素の数nとを用いて、上記(2)式や上記(3)式に示す幾何特徴量を演算する。ただし、小領域の重心を表す1次モーメントについては、座標変換による原点座標のオフセット分を補正する処理が必要である。具体的には、原点座標が(Xs,Ys)である場合、座標値Xs、Ysをそれぞれ加算する補正が必要である。
Figure 2017182480
以上のように、画像処理装置100は、所定の制約条件のもとで、画像を複数の局所的な小領域に分割する領域分割処理を行う。このとき、画像処理装置100は、分割された小領域ごとに固有の座標系を決定し、画像の各画素の座標値を、各画素が属する小領域に対応する座標系の座標値に変換する。そして、画像処理装置100は、変換された座標値を用いて小領域の特徴量を演算する。また、画像処理装置100は、演算された特徴量を保持するメモリ(主記憶メモリ102やキャッシュメモリ106)を備える。
このように、画像処理装置100は、クラスタリングされた小領域に局所性があることを利用して、小領域ごとに固有の座標系を決定するので、各画素の座標値をコンパクトなローカル座標系の座標値に変換することができる。したがって、画像処理装置100は、コンパクトなビット数で小領域の特徴量を演算することができ、特徴量の演算結果のデータ量(桁数)を削減することができる。
画素の位置座標は、画像の原点から離れるほど増加する。そのため、特徴量が画素の位置座標を用いたデータである場合、処理対象の画像サイズが大きくなるほど特徴量のデータ量(桁数)が増加する。例えば、図3のブロック201内の画素の座標値は、x(i)=0〜254、y(i)=0〜254であり、x(i)、y(i)は共に8ビットのデータ幅で表される。一方、図3のブロック205内の画素の座標値は、x(i)=3824〜4079、y(i)=1784〜2039であり、x(i)は12ビット、y(i)は11ビットのデータ幅で表される。したがって、画素の位置座標をそのまま用いて特徴量を演算した場合、処理対象の画像サイズが大きくなるほど特徴量の演算結果のデータ量(桁数)が増加してしまう。その結果、特徴量を格納するためのメモリのサイズも大きくする必要がある。
これに対して、本実施形態では、処理対象の画像サイズの増加に依存させずに、特徴量の演算結果のデータ量(桁数)を削減することができるので、特徴量を保持(格納)するメモリサイズを小さく抑えることができる。
また、画像処理装置100は、画像を複数のブロックに分け、ブロック単位で処理を行う。処理対象のブロックを切り替える際、画像処理装置100は、主記憶メモリ102に対し、処理したブロックの特徴量データを書き戻し、次に処理するブロックで必要とする特徴量データを、主記憶メモリ102から読み出す。主記憶メモリ102へのアクセスは、データを要求してから到着するまでにレイテンシがかかる。書き戻しと読み出しのデータ量が大きいと、主記憶メモリ102へのアクセスがボトルネックになり、特徴量データの演算性能が上がらないという問題が生じる。さらには、主記憶メモリ102の帯域を消費(圧迫)するため、画像処理装置100全体の性能が上がらないという問題も生じる。これらの問題は、画像サイズが大きくなるほど主記憶メモリ102に対して読み書きするデータのデータ量が大きくなることで、顕著に発生し得る。
これに対して、本実施形態では、処理対象の画像サイズの増加に依存させずに、特徴量の演算結果のデータ量(桁数)を削減することができるので、メモリに対するデータの読み書きに要する時間を短くすることができる。その結果、画像処理装置100の処理性能を向上させることができる。
さらに、画像処理装置100は、領域分割された小領域ごとに固有の座標系を決定するため、小領域ごとに座標系を一意に決めることができる。そのため、小領域が複数のブロックに跨る場合であっても、異なるブロックの処理においてそれぞれ演算した小領域の特徴量データをそのまま累積した結果を用いて、複数のブロックに跨る小領域の特徴量を演算することができる。
特徴量データのデータ量を削減するために、画像を複数のブロックに分け、ブロックごとに座標系を設定することも考えられる。しかしながら、この場合、クラスタリングされた小領域が複数のブロックに跨る場合、異なる座標系で演算された特徴量データを個別に保持しておき、最後に座標系を合わせて累積する処理が必要である。このように、特徴量データを保持するコストや追加の演算コストがかかってしまう。
これに対して、本実施形態では、上記のような追加の処理コストを抑えることができる。なお、小領域ごとに固有のローカル座標系を用いて特徴量を演算する場合、領域の重心を表す1次モーメントについては、上記(8)式に示すように、ローカル座標系のオフセット分だけ演算値を補正する必要があるが、この処理の追加コストは十分小さい。
また、画像処理装置100は、座標変換処理に際し、領域分割処理の制約条件に基づいて座標系の原点を決定する。したがって、画像処理装置100は、各画素の位置座標を、領域分割処理により得られた小領域に応じた原点座標からのオフセット座標に変換し、小領域ごとの特徴量を演算することができる。
画像処理装置100は、領域分割処理として、各画素を、画像上に配置された、小領域をそれぞれ代表する複数の代表点のいずれかにクラスタリングする処理を行う。画像処理装置100が原点を決定するために用いる制約条件は、代表点の配置の間隔を示すステップサイズと、クラスタリングする代表点を探索する範囲を示すサーチレンジとである。つまり、画像処理装置100は、領域分割処理により小領域に属する可能性のある画素の位置座標を考慮して原点を決定することができる。したがって、画像処理装置100は、容易かつ適切に小領域ごとに固有の座標系を決定することができる。
また、画像処理装置100は、特定の代表点にクラスタリングする座標空間を所定範囲に限定する領域分割処理を行うので、小領域の大きさを限定し、小領域ごとに固有の座標系をコンパクトにすることができる。
さらに、画像処理装置100は、領域分割処理により同一の小領域に属する可能性のある複数の画素のうち最小の座標値を有する画素を、その小領域に対応する座標系の原点として決定する。本実施形態のように、ステップサイズを85画素、サーチレンジを1ステップサイズである場合、1つの小領域に属する可能性のある画素は、上記原点からxy方向にそれぞれ0〜+255の範囲内に位置することになる。したがって、原点座標を、上記のように最小の座標に決定することで、画像処理装置100は、各画素の座標変換を容易に行うことができる。上記の例の場合、各画素の座標値を上記原点からのオフセット座標に変換することで、各画素の座標値を8ビットのデータ幅で表すことができる。
このように、画像処理装置100は、特定の代表点にクラスタリングする座標空間を所定範囲に限定する領域分割処理によりクラスタリングされた小領域に属する画素の座標値を、上記所定範囲のうち、最小の座標を原点とする座標系の座標値に変換する。そのため、画素の位置座標を用いた特徴量である幾何特徴量のデータ幅を、画像サイズに依存せず一定にすることができる。
換言すると、画像処理装置100は、領域分割処理の制約条件に応じて、小領域ごとの特徴量の演算結果のデータ幅が所定幅となるように設定することができる。特徴量のデータ幅を決定する制約条件は、クラスタリングする代表点を探索する範囲を示すサーチレンジである。サーチレンジが大きいほど、1つの小領域に属する可能性のある画素の範囲は広くなるため、各画素の座標値を小領域に固有の座標系の座標値で表した際のデータ幅も大きくなる。画像処理装置100では、特徴量のデータ幅が所定幅(本実施形態では、0次モーメントのデータ幅が8ビット、1次モーメントのデータ幅が24ビット、2次モーメントのデータ幅が32ビット)となるように、領域分割処理の制約条件が決定されている。
また、画像処理装置100は、画像の幾何的な特徴を表す幾何特徴量を演算する。幾何特徴量は、領域の面積や重心、重心からの分散を表す情報を含む。このように、画像処理装置100は、特徴量として幾何特徴量を演算することで、適切に領域認識を行うことができる。
以上のように、本実施形態における画像処理装置100は、追加の演算コストを小さく抑えつつ、画像サイズの増加による幾何特徴量のデータ量およびメモリサイズの増加を抑えることができる。そのため、画像処理装置100は、幾何特徴量の演算に際して発生する主記憶メモリ102からのデータ読み出し時間を短くし、装置全体の処理性能を向上させることができる。
(変形例)
上記実施形態においては、画像処理装置100がキャッシュメモリ107を備える場合について説明したが、キャッシュメモリ107は備えていなくてもよい。この場合、主記憶メモリ102に対して累積演算結果のリードおよびライトが発生するが、上述したように累積和の桁数を削減することにより、主記憶メモリ102からのデータ読み出し時間を短くすることができ、上述した実施形態と同様の効果が得られる。
また、上記実施形態においては、画像をブロックに分割し、ブロック単位で処理をする場合について説明したが、ブロックに分割しなくてもよい。この場合にも累積和の桁数を削減し、上述した実施形態と同様の効果が得られる。
さらに、上記実施形態においては、ハードウェアで構成される画像処理装置100について説明したが、画像処理装置100のすべての機能をCPU等で行うソフトウェア処理により実現する場合であっても、同様の効果が得られる。
また、上記実施形態においては、小領域ごとに固有の座標系の原点座標は、領域ラベルLが割り振られる可能性のある複数の画素の座標のうち最小の座標としたが、小領域ごとに固有の座標系を決定できればよく、原点の決定方法は上記に限定されない。
さらに、上記実施形態においては、画像処理装置100は、特徴量として、RGB色平均、0次モーメント、x座標の1次モーメント、y座標の1次モーメント、x座標の2次モーメント、y座標の2次モーメントを演算する場合について説明した。しかしながら、画像処理装置100が演算する特徴量は上記に限定されない。例えば、画質特徴量として色分散を演算してもよいし、幾何特徴量としてXYモーメントを演算してもよい。
また、上記実施形態においては、画像処理装置100は、SLIC手法を用いた領域分割処理を行う場合について説明したが、領域分割処理の手法は上記に限定されるものではない。例えば、K平均法(k-means clustering)などの手法を用いることもできる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…画像処理装置、101…CPU、102…主記憶メモリ、104…領域分割部、105…座標変換部、105a…設定レジスタ、105b…代表点選択部、105c…原点選択部、105d…座標値変換部、107…特徴量演算部

Claims (12)

  1. 画像を画素の属性に基づいて複数の領域に分割する分割手段と、
    前記分割手段により分割された領域ごとに対応する座標系を決定し、前記画像の各画素の座標値を、前記各画素が属する前記領域に対応する前記座標系の座標値に変換する変換手段と、
    前記変換手段により変換された座標値を用いて前記領域の特徴量を演算する演算手段と、を備えることを特徴とする画像処理装置。
  2. 前記分割手段は、所定の制約条件のもとで前記画像を複数の領域に分割することを特徴とする請求項1に記載の画像処理装置。
  3. 前記変換手段は、前記制約条件に基づいて前記座標系の原点を決定することを特徴とする請求項2記載の画像処理装置。
  4. 前記分割手段は、前記各画素を、前記画像上に配置された、前記複数の領域をそれぞれ代表する複数の代表点のいずれかにクラスタリングすることで前記画像を分割することを特徴とする請求項2または3記載の画像処理装置。
  5. 前記制約条件は、前記代表点の配置の間隔を示すステップサイズを含むことを特徴とする請求項4に記載の画像処理装置。
  6. 前記制約条件は、クラスタリングする前記代表点を探索する範囲を示すサーチレンジを含むことを特徴とする請求項4または5に記載の画像処理装置。
  7. 前記変換手段は、前記分割手段により同一の前記領域に分割される可能性のある複数の画素のうち最小の座標値を有する画素を、その領域に対応する座標系の原点として決定することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記演算手段により演算される前記特徴量のデータ幅が所定幅となるように、前記制約条件が決定されていることを特徴とする請求項2から7のいずれか1項に記載の画像処理装置。
  9. 前記演算手段は、前記画像の幾何的な特徴を表す幾何特徴量を演算することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
  10. 前記演算手段により演算された前記特徴量を保持する保持手段をさらに備えることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 画像を画素の属性に基づいて複数の領域に分割するステップと、
    分割された領域ごとに対応する座標系を決定し、前記画像の各画素の座標値を、前記各画素が属する前記領域に対応する前記座標系の座標値に変換するステップと、
    変換された座標値を用いて前記領域の特徴量を演算するステップと、を含むことを特徴とする画像処理方法。
  12. コンピュータを、請求項1から10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2016069151A 2016-03-30 2016-03-30 画像処理装置および画像処理方法 Active JP6815741B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016069151A JP6815741B2 (ja) 2016-03-30 2016-03-30 画像処理装置および画像処理方法
US15/469,217 US10475187B2 (en) 2016-03-30 2017-03-24 Apparatus and method for dividing image into regions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016069151A JP6815741B2 (ja) 2016-03-30 2016-03-30 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2017182480A true JP2017182480A (ja) 2017-10-05
JP6815741B2 JP6815741B2 (ja) 2021-01-20

Family

ID=59959459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016069151A Active JP6815741B2 (ja) 2016-03-30 2016-03-30 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US10475187B2 (ja)
JP (1) JP6815741B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977923B (zh) * 2017-12-13 2020-02-04 深圳云天励飞技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108986034B (zh) * 2018-07-02 2023-07-25 武汉珞珈德毅科技股份有限公司 一种栅格数据坐标转换方法、系统、终端设备及存储介质
DE102020108514A1 (de) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen eines Bildaufnahmefehlers
CN114693670B (zh) * 2022-04-24 2023-05-23 西京学院 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830787A (ja) * 1994-05-10 1996-02-02 Fuji Xerox Co Ltd 画像領域分割方法及び画像領域統合方法
JPH1049684A (ja) * 1996-07-31 1998-02-20 Nec Corp 高速モーメント計算装置
JP2014041476A (ja) * 2012-08-22 2014-03-06 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2014153937A (ja) * 2013-02-08 2014-08-25 Canon Inc 特徴量算出装置、方法及びプログラム
JP2016038751A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 クラスタリング方法及びデータ処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
KR100719120B1 (ko) * 2005-02-26 2007-05-17 삼성전자주식회사 프라이버시영역을 마스크 처리하는 감시시스템 및 그 방법
JP5254893B2 (ja) * 2009-06-26 2013-08-07 キヤノン株式会社 画像変換方法及び装置並びにパターン識別方法及び装置
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
JP5742283B2 (ja) * 2011-02-18 2015-07-01 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9239850B2 (en) * 2011-11-18 2016-01-19 Nec Corporation Feature descriptor encoding apparatus, feature descriptor encoding method, and program
JP5914045B2 (ja) * 2012-02-28 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6452324B2 (ja) * 2014-06-02 2019-01-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6463081B2 (ja) * 2014-10-29 2019-01-30 キヤノン株式会社 データ処理装置、データ処理方法及びプログラム
JP6463101B2 (ja) * 2014-12-01 2019-01-30 キヤノン株式会社 領域分割装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830787A (ja) * 1994-05-10 1996-02-02 Fuji Xerox Co Ltd 画像領域分割方法及び画像領域統合方法
JPH1049684A (ja) * 1996-07-31 1998-02-20 Nec Corp 高速モーメント計算装置
JP2014041476A (ja) * 2012-08-22 2014-03-06 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2014153937A (ja) * 2013-02-08 2014-08-25 Canon Inc 特徴量算出装置、方法及びプログラム
JP2016038751A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 クラスタリング方法及びデータ処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINGJIA WU ET AL.: "Superpixel Regions Extraction for Target Detection", 2015 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING(ICSPCC), JPN6020016671, September 2015 (2015-09-01), ISSN: 0004268760 *
城殿 清澄 外3名: "高解像度レーザデータによる歩行者識別", 日本ロボット学会誌 第29巻 第10号, vol. 第29巻 第10号, JPN6020016670, 15 December 2011 (2011-12-15), JP, pages 97 - 104, ISSN: 0004268759 *

Also Published As

Publication number Publication date
JP6815741B2 (ja) 2021-01-20
US10475187B2 (en) 2019-11-12
US20170287138A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
US9021347B2 (en) Information processing method and apparatus, program, and storage medium
JP5340088B2 (ja) 情報処理方法及び装置
WO2021189901A1 (zh) 图像分割方法、装置、电子设备及计算机可读存储介质
WO2019042419A1 (zh) 图像跟踪点获取方法、设备及存储介质
JP6815741B2 (ja) 画像処理装置および画像処理方法
US8723989B2 (en) Image distortion processing apparatus, and method of operating an image distortion processing apparatus
JP2004522228A (ja) ディジタル画像を表現し比較する方法
JP5388835B2 (ja) 情報処理装置及び情報処理方法
US9600854B2 (en) Data processing apparatus and method of processing a plurality of input data based on respective attribute information thereof
US20110317927A1 (en) Clustering processing apparatus and clustering processing method
CN110263754B (zh) 屏下指纹去底纹方法、装置、计算机设备和存储介质
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
JP6210953B2 (ja) 画像処理装置および画像処理方法
CN111985471A (zh) 一种车牌定位方法、装置及存储介质
JP2015041293A (ja) 画像認識装置および画像認識方法
US20170206628A1 (en) Image processing apparatus, image processing method, and storage medium
JP5894492B2 (ja) 画像処理装置、画像検索装置及びプログラム
US20200133930A1 (en) Information processing method, information processing system, and non-transitory computer readable storage medium
JP6399518B2 (ja) 処理装置、処理方法、およびプログラム
US20150124079A1 (en) Image data forming apparatus and control method thereof
JP2022076346A (ja) 画像処理装置、画像処理方法、およびプログラム
CN113516738A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN115665335B (zh) 图像处理方法、装置、图像形成设备及介质
JP7057268B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R151 Written notification of patent or utility model registration

Ref document number: 6815741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03