JP2018520428A - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
JP2018520428A
JP2018520428A JP2017562016A JP2017562016A JP2018520428A JP 2018520428 A JP2018520428 A JP 2018520428A JP 2017562016 A JP2017562016 A JP 2017562016A JP 2017562016 A JP2017562016 A JP 2017562016A JP 2018520428 A JP2018520428 A JP 2018520428A
Authority
JP
Japan
Prior art keywords
image
pixel
compression
original
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017562016A
Other languages
English (en)
Other versions
JP6784704B2 (ja
JP2018520428A5 (ja
Inventor
ディン，ウェイ
Original Assignee
アリババ グループ ホウルディング リミテッド
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド, アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2018520428A publication Critical patent/JP2018520428A/ja
Publication of JP2018520428A5 publication Critical patent/JP2018520428A5/ja
Application granted granted Critical
Publication of JP6784704B2 publication Critical patent/JP6784704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本願は画像処理方法及び装置を開示する。この方法は、予め設定された圧縮率に従って原画像を低画素画像へ変換するステップと、低画素画像に含まれた対象画像の境界線を判定するために、低画素画像に境界線検出を実行するステップと、前記低画素画像に含まれる境界線を原画像内にマッピングして、原画像に含まれる対象画像を取得するステップとを含む。本願の技術的解決策により、原画像を低画素画像へ変換する。低画素画像は画素点が少なく、対象画像は低画素画像に基づいて取得されるため、低画素画像に基づく対象画像取得処理は対象画像の取得時間が短縮され、対象画像の取得効率が向上する。
【選択図】図３

Description

本願は、画像処理の分野に関し、特に、画像処理方法及び装置に関する。
科学技術の急速な発展にともない、ビデオ技術は、特定のシーンの監視、対象者の検索など、様々な分野で幅広く利用されている。
カメラで集めた原画像を処理するときに、多くの場合、この原画像から対象物体又は対象人物を識別する（即ち、対象画像を判定する）ことが必要となる。これまで、原画像から対象画像を判定するには（図１を参照）、原画像中の画素を１つずつ走査して、原画像から対象画像の境界線を判定するのが普通であった。この技術解決策を用いた場合、原画像が高解像画像であると、原画像には多数の画素点が含まれるので、原画像から対象画像を判定するために数秒間又はそれ以上に長い時間をかける必要がある。対象画像の取得に要する時間が長いため、効率が低下する。
以上のように、現在、原画像から対象画像を取得するために長い時間がかかるという問題がある。
本願の実施の形態は、原画像から対象画像を取得するために長い時間がかかるという既存の問題を解決するための画像処理方法及び装置を提供する。
本願の実施の形態が提供する特定の技術的解決策は、以下のとおりである。
画像取得方法は：
原画像を取得するステップであって、前記原画像は対象画像を含む、取得するステップと；画像圧縮処理後に低画素画像を取得するために、予め設定された圧縮率に従って前記原画像に画像圧縮処理を実行するステップと；前記低画素画像内の前記対象画像の境界線を判定するステップと；前記原画像内に含まれる前記対象画像を取得するために、前記判定した前記低画素画像内に含まれる境界線を前記原画像内にマッピングするステップと；を備える。
任意に、前記画像圧縮処理後に低画素画像を取得するために、予め設定された圧縮率に従って前記原画像に前記画像圧縮処理を実行する前記ステップは、具体的に：前記予め設定された圧縮率に従って圧縮後の各画素点の位置を判定するステップと；圧縮後の各画素点の画素値を取得するために、高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行するステップと；圧縮後の各画素点の前記画素値及び前記位置に従って前記低画素画像を生成するステップと；を備える。
任意に、圧縮後の各画素点の画素値を取得するために、高速バイリニア補間アルゴリズムを用いて前記原画像に前記画像圧縮処理を実行する前記ステップは、具体的に：前記原画像内に含まれる全ての原画素点のうち、前記予め設定された圧縮率に従って圧縮後の各画素点に対応する４つの原画素点を判定するステップと；圧縮後の各画素点に対応する前記４つの原画素点のうち、第１の方向への２対の原画素点と、第２の方向への２対の原画素点とを判定するステップであって、前記第１の方向は横方向で、前記第２の方向は縦方向である、或いは、前記第１の方向は縦方向で、前記第２の方向は横方向である、判定するステップと；前記第１の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第１補間を取得し、前記取得した２つの第１補間を初期補間とするステップ、又は、前記第２の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第２補間を取得し、前記取得した２つの第２補間を初期補間とするステップと；圧縮後の各画素に対応する前記初期補間に従って、圧縮後の各画素点に対応する補間を算出し、前記算出した圧縮後の各画素点に対応する補間に従って、圧縮後の各画素点の前記画素値を判定するステップと；を備える。
任意に、前記低画素画像内の前記対象画像の境界線を判定する前記ステップは、具体的に：前記低画素画像から検出対象領域を判定するステップと；前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出処理を実行するステップと；を備える。
任意に、前記低画素から前記検出対象領域を判定する前記ステップは、具体的に：前記低画素画像をバイナリ画像へ変換するために、前記低画素画像をバイナリ化するステップであって、前記バイナリ画像は２色のみを含む、バイナリ化するステップと；前記バイナリ画像内に含まれる少なくとも１本のエッジラインを取得するために、前記バイナリ画像にエッジ検出処理を実行するステップと；各エッジラインを別個に拡大するステップと；連結領域を取得するために、各々の拡大されたエッジラインを連結するステップと；特定領域を取得するために、前記連結領域を、各連結領域の位置情報のそれぞれに従ってスクリーニングするステップであって、前記特定領域とは前記対象画像内の特定のグラフィック部分を含む領域である、スクリーニングするステップと；前記低画素画像内の前記特定領域以外の領域を検出対象領域として判定するステップと；を備える。
更に、前記バイナリ画像に前記エッジ検出処理を実行する前記ステップの前に、本方法は；予め設定されたガウス・スムージング（平滑化）パラメータを用いて、前記バイナリ画像にガウス・スムージングを実行するステップを更に備える。
任意に、前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に前記境界線検出処理を実行するステップは、具体的に：前記低画素画像を２色のみを備えたバイナリ画像へ変換するために、前記低画素画像をバイナリ化するステップと；以下の演算を任意方向に実行するステップであって、前記以下の演算は、前記任意方向において前記バイナリ画像の前記検出対象領域内の２つ毎の隣接した画素点間の勾配値を、前記任意方向に対応する予め設定された初期勾配閾値と別個に比較すること、及び、前記比較結果に従って前記任意方向への初期境界線を取得することである、実行するステップと；各方向にて取得した初期境界線の数に従って前記対象画像の前記境界線をそれぞれ判定するステップと；を備える。
任意に、各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定する前記ステップは、具体的に：任意方向への検出結果を得るために、次の演算を実行するステップを備え；
前記演算は：前記任意方向への前記少なくとも２本の初期境界線から前記任意方向への境界線を取得するために、前記任意方向にて取得した初期境界線の数が少なくとも２本である場合に、前記任意方向への各初期境界線の位置情報に従って、前記任意方向への各初期境界線に直線検出を別個に実行する演算；又は、前記任意方向にて取得した前記初期境界線の数が２本未満である場合に、前記任意方向に対応する前記予め設定された初期勾配閾値を、予め設定された第１の勾配差に従って連続的に低減し、又、前記低減した初期勾配閾値を用いて、前記任意方向にて取得した前記初期境界線の数が少なくとも２本になるまで、前記任意方向にて前記バイナリ領域の前記検出対象領域を検出する演算；である。
任意に、前記原画像内に含まれる前記対象画像を取得するために、前記低画素画像内に含まれる前記境界線を前記原画像内にマッピングする前記ステップは、具体的に：前記低画素画像内の２つ毎の隣接した境界線の交差点を取得するステップと；前記取得した交差点を、前記予め設定された圧縮率に従って前記原画像内に別個にマッピングして、対応するマッピング点を前記原画像内に生成するステップと；前記原画像内にマッピングされた前記マッピング点を連続的に連結し、前記連結後に生成された四角形を、前記原画像内に含まれる対象画像として判定するステップと；を備える。
更に、前記原画像内に含まれる前記対象画像を取得する前記ステップの後に、本方法は；射影変換アルゴリズムを用いて前記対象画像を修正するステップを更に備える。
画像取得装置は：対象画像を含む原画像を取得するように構成された原画像取得部と；予め設定された圧縮率に従って前記原画像に画像圧縮処理を実行し、前記画像圧縮処理後に低画素画像を取得するように構成された低画素画像取得部と；前記低画素画像内の前記対象画像の境界線を判定するように構成された境界線判定部と；前記低画素画像内の前記判定された境界線を前記原画像内にマッピングして、前記原画像内に含まれる前記対象画像を取得するように構成された対象画像取得部と；を備える。
任意に、前記低画素画像取得部は、具体的に：前記予め設定された圧縮率に従って、圧縮後の各画素点の位置を判定し；高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行して、圧縮後の各画素点の画素値を取得し；圧縮後の各画素点の前記画素値及び前記位置に従って、前記低画素画像を生成する；ように構成される。
任意に、前記低画素画像取得部により、高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行して、圧縮後の各画素点の画素値を取得することは、具体的に：
前記予め設定された圧縮率に従って、前記原画像内に含まれる全ての原画素点から、圧縮後の各画素点に対応する４つの原画素点を判定することと；
圧縮後の各画素点に対応する前記４つの原画素点から、第１の方向への２対の原画素点と、第２の方向への２対の原画素点とを判定することであって、前記第１の方向は横方向、前記第２の方向は縦方向であり、又は、前記第１の方向は縦方向、前記第２の方向は横方向である、判定することと；
前記第１の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第１補間を取得し、前記取得した２つの第１補間を初期補間とすること；又は、前記第２の方向への圧縮後に各画素点の前記２対の原画素点にそれぞれ対応する第２補間を取得し、前記取得した２つの第２補間を初期補間とすることと；
圧縮後の各画素点に対応する前記初期補間に従って、圧縮後の各画素点に対応する補間を算出し、又、前記算出した圧縮後の各画素点に対応する補間に従って圧縮後の各画素点の前記画素値を判定することと；を備える。
任意に、前記境界線判定部は：前記低画素画像から検出対象領域を判定し；前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出処理を実行する；ように構成される。
任意に、前記境界線判定部によって、前記低画素画像から検出対象領域を判定することは、具体的に：前記低画素画像を２色のみを備えたバイナリ画像へ変換するために前記低画素画像をバイナリ化することと；前記バイナリ画像内に含まれる少なくとも１本のエッジラインを取得するために、前記バイナリ画像にエッジ検出処理を実行することと；各エッジラインを別個に拡大することと；連結領域を取得するために、各々の拡大されたエッジラインを連結することと；特定領域を取得するために、前記連結領域を、各々の連結領域の位置情報にそれぞれ従ってスクリーニングすることであって、前記特定領域は、前記対象画像内の特定のグラフィック部分を含む領域である、スクリーニングすることと；前記低画素画像内の前記特定領域以外の領域を前記検出対象領域として判定することと；を備える。
更に、本装置は：前記バイナリ画像に前記エッジ検出処理を実行する前に、予め設定されたガウス・スムージングパラメータを用いて前記バイナリ画像にガウス・スムージングを実行するように構成されたガウス・スムージング部を更に備える。
任意に、前記対象画像の前記境界線を判定するために、前記境界線判定部により、検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出を実行することは、具体的に：前記低画素画像を２色のみを含むバイナリ画像へ変換するために、前記低画素画像をバイナリ化することと；以下の演算を任意方向に実行することであって、前記以下の演算は、前記任意方向において前記バイナリ画像の前記検出対象領域内の２つ毎の隣接した画素点間の勾配値を、前記任意方向に対応する予め設定された初期勾配閾値と別個に比較すること、及び、前記比較結果に従って前記任意方向にて初期境界線を取得すること、である演算を任意方向に実行することと；各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定することと；を備える。
任意に、前記境界線判定部により、各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定することは、具体的に：任意方向への検出結果を得るために、次の演算を実行することを備え；
前記演算は：前記任意方向への前記少なくとも２本の初期境界線から前記任意方向への境界線を取得するために、前記任意方向にて取得した初期境界線の数が少なくとも２本である場合に、前記任意方向への各初期境界線の位置情報に従って、前記任意方向への各初期境界線に直線検出を別個に実行する演算；又は、前記任意方向にて取得した前記初期境界線の数が２本未満である場合に、前記任意方向に対応する前記予め設定された初期勾配閾値を、予め設定された第１の勾配差に従って連続的に低減し、又、前記低減した初期勾配閾値を用いて、前記任意方向にて取得した前記初期境界線の数が少なくとも２本になるまで、前記任意方向にて前記バイナリ領域の前記検出対象領域を検出する演算；である。
任意に、前記対象画像取得部は、具体的に：前記低画素画像内に含まれる２つ毎の隣接した境界線の交差点を取得し；前記取得した交差点を、前記予め設定された圧縮率に従って、前記原画像内に別個にマッピングし；前記原画像内にマッピングされた前記点を連続的に連結し、前記連結後に生成された四角形を前記原画像内に含まれる対象画像として判定する；ように構成される。
更に、本装置は：前記原画像内に含まれる前記対象画像の取得後に、射影変換アルゴリズムを用いて前記対象画像を修正するように構成された修正部を更に備える。
本願の実施の形態では、原画像を、予め設定された圧縮率に従って低画素画像へ変換し、この低画素画像に境界線検出を実行して、低画素画像に含まれる対象画像の境界線を判定し、次に、低画素画像に含まれる境界線を原画像内にマッピングして、原画像に含まれる対象画像を取得する。本願の技術的解決策により、原画像を低画素画像へ変換する。低画素画像は画素点数が少なく、この低画素画像に基づいて対象画像は取得されるため、低画素画像に基づく対象画像取得工程により、対象画像の取得時間が短縮され、対象画像の取得効率は向上する。
従来技術における原画像の略図である。 本願の実施の形態における画像処理システムのアーキテクチャ図である。 本願の実施の形態における画像処理のフローチャートである。 本願の実施の形態における低画素画像を生成するためのフローチャートである。 本願の実施の形態における直交座標系の概略図である。 本願の実施の形態における補間計算の概略図である。 本願の実施の形態において取得された連結領域の概略図である。 本願の実施の形態における対象画像の境界線を判定するためのフローチャートである。 本願の実施の形態における対象画像の境界線を判定するための概略図である。 本願の実施の形態における画像処理装置の構造概略図である。
原画像から対象画像を取得するために長い時間がかかるという既存の問題を解決するために、本願の実施の形態では、原画像を、予め設定された圧縮率に従って低画素画像へ変換し、この低画素画像に境界線検出を実行して、低画素画像に含まれる対象画像の境界線を判定し、次に、低画素画像に含まれる境界線を原画像内にマッピングして、原画像に含まれる対象画像を取得する。本願の技術的解決策により、原画像を低画素画像へ変換する。低画素画像は画素点数が少なく、この低画素画像に基づいて対象画像は取得されるため、低画素画像に基づく対象画像取得工程により、対象画像の取得時間が短縮され、対象画像の取得効率は向上する。
図２に示すのは、本願の実施の形態における画像処理システムのアーキテクチャ図である。画像処理システムは、原画像から対象画像を判定するべく、取得した原画像を処理するように構成された画像処理デバイスを含む。この画像処理デバイスは、対象画像をユーザに提示するために、ユーザ対話インターフェースを有していてもよい。加えて、画像処理システムは、処理されることになる原画像を画像処理デバイスへ提供するように構成された複数のカメラデバイスを更に含んでよい。任意であるが、画像処理システムは、カメラデバイスにより提供された原画像を集め、この集めた原画像を画像処理デバイスへ送信するように構成された画像収集デバイスを含んでもよい。画像処理デバイスは、カメラ機能を備えた様々なモバイル端末であってもよい。本願の実施の形態では、画像取得工程を詳細に説明するために、カメラ機能を有する様々なモバイル端末を、画像処理デバイスの一例として挙げている。
以下、本願の好ましい実施の形態を、添付図面を参照しながら詳細に例証する。
図３を参照すると、本願の実施の形態において、原画像を処理して原画像に含まれる対象画像を取得する工程は以下を含む。
ステップ３００：原画像が取得される。前記原画像は対象画像を含む。
ステップ３１０：画像圧縮処理後に低画素画像を取得するために、予め設定された圧縮率に従って前記原画像に画像圧縮処理が実行される。
ステップ３２０：前記対象画像の境界線が前記低画素画像から判定される。
ステップ３３０：前記原画像内に含まれる前記対象画像を取得するために、前記低画素画像内に含まれる境界線が前記原画像内にマッピングされる。
ステップ３００で、各カメラデバイスが撮影した原画像を画像処理デバイスが直接取得できるようにするために、画像収集デバイスは、各カメラデバイスから取得した原画像を画像処理デバイスへ別個に送信する。
ステップ３１０で、画像処理デバイスは、予め設定された圧縮率に従って低画素画像内の各画素点の位置を判定し、低画素画像内の各画素点の画素値を取得するために、高速バイリニア補間アルゴリズムを用いて原画像に画像圧縮処理を行い、更に、圧縮後の各画素点の画素値と位置とに従って低画素画像を生成する。ここで、予め設定された圧縮率とは、特定のアプリケーションシナリオに従って予め構成される値であり、予め設定された圧縮率は予め設定された横方向圧縮率と縦方向圧縮率を含み、横方向圧縮率は縦方向圧縮率と同等であっても同等でなくてもよい。
図４を参照すると、画像処理デバイスにより低画素画像を生成する工程において、画像処理デバイスにより低画素画像内の各画素点の画素値を取得する工程は具体的に次を含む。
ステップａ１：画像処理デバイスは、予め設定された圧縮率に従って、前記原画像内に含まれる全ての原画素点から、圧縮後の各画素点に対応する４つの原画素点を判定する。
本願のこの実施の形態では、任意ではあるが、図５ａを参照すると、画像処理デバイスは原画像中に直交座標系を確立し、ここで、横方向を横軸とし、この横軸に対して垂直な縦方向を縦軸とし、原画像の左上隅を原点とする。直交座標系に基づき、第１の方向は横軸の正方向、第２の方向は縦軸の正方向である、或いは、第１の方向は縦軸の正方向、第２の方向は横軸の正方向である。
更に、画像処理デバイスは、原画像に含まれる全ての原画素点の中から、圧縮後の各画素点に対応する４つの原画素点を、原画像の解像度と予め設定された圧縮率とに従って判定する。ここで、１つの圧縮された画素点に対応する原画素点の数は１と同値若しくはこれより大きく、又は、４より小さい若しくは４と同値であり、又、この数は予め設定された圧縮率に従って判定される。例えば、予め設定された圧縮率が５：２である（つまり、５×５の画素点を２×２の画素点に圧縮する）場合には、圧縮後の第１の画素点に対応する原画素点は、第２行の第２の画素点、第２行の第３の画素点であり、並びに、第３行の第２の画素点、第３行の第３の画素点である。このケースでは、１つの圧縮された画素点に対応する原画素点の数は４つである。別の実施例では、予め設定された横方向圧縮率と縦方向圧縮率が両方とも３：１である（つまり、３×３の画素点を１つの画素点に圧縮する）場合には、圧縮後の第１の画素点に対応する原画素点は、第３行の第３の画素点である（３÷１＝３）。このケースでは、１つの圧縮された画素点に対応する原画素点の数は１つである。
任意であるが、計算を容易にするために、圧縮された画素点に対応する原画素点の数が４つ未満である場合、通常は、原画素点の数を４つまで拡大する。つまり、原画素点の付近にある原画素点は、予め設定された圧縮率に従って圧縮された画素点に対応する原画素点として判定される。判定されたそれぞれの原画素点について対応する重み値が構成され、４つの原画素点とその重み値に基づいて、１つの圧縮された画素点の画素値が判定される。例えば、図５ｂを参照すると、上述の確立された直交座標系に基づいて、原画像の解像度はａ１×ａ２、予め設定された圧縮率はｑであり、したがって、生成される低画素画像の解像度はｂ１×ｂ２となり、ここで、ａ１／ｂ１＝ｑ、及び、ａ２／ｂ２＝ｑである。直交座標系の原点から開始して、低画素画像内の第１の画素点はＰであり、画素点Ｐに対応する原画像の第１の原画素点はＱ１１で表され、画素点Ｐに対応する原画像の第２の原画素点はＱ１２で表され、画素点Ｐに対応する原画像の第３の原画素点はＱ２１で表され、画素点Ｐに対応する原画像の第４原画素点はＱ２２で表される。ここで、各原画素点の重み値は、予め設定された圧縮率に従って取得できる。例えば、予め設定された圧縮率が５：２である（つまり、５×５の画素点を２×２の画素点に圧縮する）場合には、圧縮後の第１の画素点に対応している原画素に対応する４つの原画素点は、第２行の第２の画素点、第２行の第３の画素点、並びに、第３行の第２の画素点、第３行の第３の画素点である。第２行の第２の画素点から圧縮された画素点までの距離は０．５（５÷２−２の絶対値）であり、第２行の第２の画素点の重み値は０．５であり、同様に、他の３つの画素点の重み値もやはり０．５である。
重み値は正の整数又は正でない整数であるため、重み値が正でない整数の場合には、任意であるが、重み値にシフト演算を実行して対応する正の整数を取得し、取得した正の整数に従って画像処理を実行する。画像処理が完了したら、取得した低画素画像に含まれる各画素点の位置に再びシフト演算を実行し、各画素値に修正演算を実行することで、画像処理量を確実に減らしつつ、最終的に取得された対象画像の精度を高める。
ステップａ２：画像処理デバイスは、圧縮後の各画素点に対応する前記４つの原画素点から、第１の方向への２対の原画素点と、第２の方向への２対の原画素点とを判定する。
本願のこの実施の形態では、画像処理デバイスが、１つの圧縮された画素点に対応する４つの原画像を２つの対に分割し、ここで、４つの原画素点の中で、同一行又は同一列に位置した２つの原画素点を１つの対とする。例えば、予め設定された圧縮率が５：２の場合、圧縮後の第１の画素点に対応している原画素に対応する４つの原画素点は第２行の第２の画素点、第２行の第３の画素点、並びに、第３行の第２の画素点、第３行の第３の画素点である。このケースでは、第２行の第２の画素点と第２行の第３の画素点が対であり、第３行の第２の画素点と第３行の第３の画素点が対である。
取得した４つの原画素点に基づき、画像処理デバイスは、圧縮後の各画素点に対応する４つの原画素点のうち、第１の方向における２対の原画素点と、第２の方向における２対の原画素点とを判定する。例えば、図５ｂを参照すると、第１の方向が横軸の正方向、第２の方向が縦軸の正方向である場合、第１の方向における２対の原画素点はそれぞれＱ１１とＱ１２、並びに、Ｑ２１とＱ２２であり、第２の方向における２対の原画素点はそれぞれＱ１１とＱ２１、並びに、Ｑ１２とＱ２２である。
ステップａ３：画像処理デバイスは、前記第１の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第１補間を取得し、前記取得した２つの第１補間を初期補間とし；又は、画像処理デバイスは、前記第２の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第２補間を取得し、前記取得した２つの第２補間を初期補間とする。
本願のこの実施の形態では、圧縮後の各画素点に対応する初期補間を取得する場合、画像処理デバイスは次の２つの方式を採用できる。
第１の方式：画像処理デバイスが、第１の方向への圧縮後の各画素点の２対の原画素点にそれぞれ対応する第１補間を取得し、取得した２つの補間を圧縮後の各画素点に対応する初期補間とする。例えば、図５ｂを参照すると、第１の方向が横軸の正方向であり、第２の方向が縦軸の正方向である場合には、第１補間はＱ１１とＱ１２の補間、Ｑ２１とＱ２２の補間である。
第２の方式：画像処理デバイスが、第２の方向への圧縮後の各画素点の２対の原画素点にそれぞれ対応する第２補間を取得し、取得した２つの補間を圧縮後の各画素点に対応する初期補間とする。例えば、図５ｂを参照すると、第１の方向が横軸の正方向であり、第２の方向が縦軸の正方向である場合、第２補間はＱ１１とＱ２１の補間、Ｑ１２とＱ２２の補間である。
ステップａ４：画像処理デバイスが、圧縮後の各画素点に対応する補間を、圧縮後の各画素点に対応する２つの初期補間に従って算出し、この算出した圧縮後の各画素点に対応する補間を圧縮後の各画素点の画素値として判定する。
本願のこの実施の形態では、ステップａ３の２つの方式に基づき、圧縮後の各画素点に対応する補間を取得するための２つの方式がある。
第１の方式：画像処理デバイスは、第１の方向への圧縮後の各画素点の２対の原画素点にそれぞれ対応する第１補間を、圧縮後の各画素点に対応する初期補間として判定し、第２の方向への圧縮後の各画素点に対応する判定した２つの初期補間の補間を算出し、この補間を圧縮後の各画素点に対応する補間とする。例えば、図５ｂを参照すると、第１の方向が横軸の正方向であり、第２の方向が縦軸の正方向である場合に、Ｑ１１とＱ１２の初期補間はＲ１であり、Ｑ２１とＱ２２の初期補間はＲ２であり、初期補間Ｒ１と初期補間Ｒ２との補間を算出し、この算出した補間を、原画素点Ｑ１１、Ｑ１２、Ｑ２１、Ｑ２２の圧縮後の画素点Ｐの画素値として判定する。
第２の方式：画像処理デバイスは、第２の方向への圧縮後の各画素点の２対の原画素点にそれぞれ対応する第２の補間を、圧縮後の各画素点に対応する初期補間として判定し、第１の方向への圧縮後の各画素点に対応する判定した２つの初期補間の補間を算出し、この補間を圧縮後の各画素点に対応する補間とする。例えば、図５ｂを参照すると、第１の方向が横軸の正方向であり、第２の方向が縦軸の正方向である場合に、Ｑ１１とＱ２１の初期補間はＲ３であり、Ｑ１２とＱ２２の初期補間はＲ４であり、初期補間Ｒ３と初期補間Ｒ４との補間を算出し、この算出した補間を、原画素点Ｑ１１、Ｑ１２、Ｑ２１、Ｑ２２の圧縮後の画素点Ｐの画素値として判定する。
低画素画像内の画素点の全ての画素値は、原画素点の画素値に従って高速バイリニア補間アルゴリズムを用いて取得できる。ここで、次式を用いて任意のＲｉを取得できる。

Ｒｉ＝Ｑａ×ｑａ＋Ｑｂ×ｑｂ

ここで、Ｒｉは補間であり、Ｑａは第１の原画素点の画素値であり、ｑａは第１の原画素点の重み値であり、重み値は予め設定された圧縮率に従って取得されたものであり、Ｑｂは第２の原画素点の画素値であり、ｑｂは第２の原画素点の重み値であり、重み値は予め設定された圧縮率に従って取得されたものである。
任意であるが、圧縮後の各画素点に対応する補間の算出中に、原画素点の各行の重み値と、原画素点の各列の重み値とを最初に算出してもよく、そして、算出した原画素点の各行の重み値と、算出した原画素点の各列の重み値とを記録することで、原画素点の行数と列数が既知である場合には、補間の算出工程中に原画素点の重み値を直接呼び出すことができる。そして、圧縮後の各画素点に対応する原画素点の重み値を算出する必要がないので、低画素画像の効率的な生成が強化される。
任意であるが、圧縮後の各画素点に対応する補間の算出中に、任意の圧縮された画素点に対応する第１補間又は第２補間を算出によって入手する場合には、画像処理デバイスは第１の補間又は第２の補間を局所的にバッファリングしてよい。別の圧縮された画素点に対応する補間の算出中に採用した原画素点が、任意の圧縮された画素点に対応する原画素点と同一である場合には、再度算出することなく、第１の補間又は第２の補間を直接呼び出すだけでよいため、これにより低画素画像の取得に要する時間を短縮する。
本願のこの実施の形態では、画像処理デバイスは、圧縮後の各画素点の画素値を既述の方式によって判定し、圧縮後の各画素点の位置及び画素値に従って低画素画像を生成する。
高解像度の原画像は先に述べた技術的解決策によって低画素画像へ変換される。また、以下で述べる画像を処理するための各ステップは低画素画像に基づくものであるため、原画像の処理中に原画像内の過剰に多い画素点の数によって生じる大容量の画像処理の問題を回避でき、システムの処理負担が軽減され、画像処理時間が短縮され、画像処理効率が向上する。
ステップ３２０で、取得した低画素画像内の対象画像の境界線を判定する。対象画像はいくつかの特定のグラフィック部分を含んでよいため、特定のグラフィック部分によって、以降での対象画像の境界線の検出工程に干渉が生じ、これにより、検出された対象画像の境界線にエラーを生じる可能性がある。そのため、低画素画像から対象画像の境界線を判定する場合には、先ず、特定のグラフィック部分を除去してから、特定のグラフィック部分を含まない検出対象領域のみを検出し、次に、検出対象領域から対象画像の境界線を判定する必要がある。例えば、ＩＤカード画像を含む原画像では、ＩＤカード画像を対象画像とし、このケースでは、対象画像に含まれる人物写真部分と文字部分とが特定のグラフィック部分である。
具体的には、低画素画像をカラー画像からグレー画像へ変換し、このグレー画像をバイナリ化して、低画素画像をバイナリ画像へ変換する。ここで、バイナリ画像は２色のみであり、２色のうち一方は画素値０、他方は画素値２５５であることが好ましい。このバイナリ画像にエッジ検出処理を実行して、バイナリ画像に含まれる少なくとも１本のエッジラインを取得する。エッジ検出処理はキャニーエッジ検出処理であってよい。各エッジラインは別個に拡大される。取得した各エッジラインにはクラックが入っていることがあるが、このケースでは、拡大された各エッジラインどうしを連結して連結領域を取得する。全ての連結領域を各々の連結領域の位置情報にそれぞれ従ってスクリーニングして、特定領域を取得する。ここで、特定領域とは、対象画像に含まれた特定のグラフィック部分である。低画素画像内の特定領域以外の部分は検出対象領域として判定される。位置情報は、低画素画像内の各々の連結領域の位置である。
任意であるが、画像処理デバイスは、予め設定されたエッジ検出パラメータを用いてバイナリ画像にエッジ検出処理を実行できる。エッジ検出パラメータが低いほど、より多くのエッジラインが検出され、エッジ検出パラメータが高いほど、検出されるエッジラインは少ない。加えて、画像処理デバイスは、予め設定された拡大パラメータを用いて各エッジラインを更に拡大してよい。この拡大パラメータはエッジ検出パラメータに適合されている。エッジ検出パラメータがより低く、より多くのエッジラインが検出される場合には、より小さい拡大パラメータを採用する。エッジ検出パラメータがより高く、検出されるエッジラインがより少ない場合には、より大きい拡大パラメータを採用する。拡大パラメータは５×５又は３×３であることが好ましい。
前出の工程において、特定領域を取得するために、全ての連結領域を各々の連結領域の位置情報に従ってそれぞれスクリーニングするステップは、各連結領域の位置情報を取得するステップと、対象画像の予め推定された領域を取得するステップとを具体的に含む。この予め推定された領域とは、既存の技術を用いて予め推定された領域である。全ての連結領域のうち、予め推定された領域内に位置する任意の連結領域を特定領域として判定する。全ての連結領域のうち、予め推定された領域外に位置する任意の連結領域を非特定領域として判定する。例えば、図６を参照すると、低画素画像に画像処理を実行した後に、連結領域Ａと連結領域Ｂとが取得され、対象画像の予め推定された領域はＣである。図６からは、連結領域Ａが予め推定された領域Ｃ内に位置し、連結領域Ｂは予め推定された領域Ｃ外に位置していることがわかる。したがって、連結領域Ａは特定領域であり、連結領域Ｂは特定領域ではない。
更に、バイナリ画像にエッジ検出処理を行う前に、画像処理デバイスは、第１の予め設定されたガウス・スムージングパラメータを用いて、バイナリ画像にガウス・スムージングを更に行ってもよい。ここで、第１の予め設定されたガウス・スムージングパラメータは、特定のアプリケーションシナリオに従って予め設定することができる。例えば、第１の予め設定されたガウス・スムージングパラメータは５×５又は３×３であってよい。技術的解決策により、エッジ検出処理を画像に施す前にバイナリ画像にガウス・スムージングを行って、バイナリ画像に含まれるノイズテクスチャを除去することで、ノイズ干渉によって生じる画像処理精度低下の問題が回避され、画像処理精度が効率的に向上する。
先の技術的解決策により、低画素画像に含まれる特定領域を除去し、特定領域を含まない検出対象領域のみに境界線検出を実行すれば、検出対象でない領域に対して画像処理デバイスが画像処理工程を実行することが回避されるので、画像処理効率は効率的に向上する。加えて、画像処理デバイスは、特定領域を含まない検出対象領域に限って境界線検出を実行すれば、特定領域内の特定のグラフの勾配値が境界線検出条件を満たす場合には、特定領域内の曲線を境界線として判定してしまう問題が回避され、対象画像取得精度が効果的に確保される。
ステップ３２０で、画像処理デバイスが、検出対象領域内の２つ置きに隣接する画素点間の勾配値を算出し、算出した勾配値に従って検出対象領域にエッジ領域検出を行い、更に、低画素画像に含まれる対象画像の境界線を判定する。
具体的に、図７を参照すると、低画素画像に含まれる対象画像の境界線を判定する工程は以下のステップを含む。
ステップｂ１：前記低画素画像はバイナリ化され、前記低画素画像はバイナリ画像に変換され、前記バイナリ画像は２色のみを含む。
本願のこの実施の形態では、低画素画像を、カラー画像から、２色のみを含むバイナリ画像へ変換する。この２色の一方は画素値０であり、他方は画素値２５５である。技術的解決策により、画像処理デバイスはカラー低画素画像をバイナリ画像へ変換するので、勾配値を用いて行う境界線検出における複雑性は低減し、画像処理の効率が向上する。
更に、画像処理デバイスによって、２つ置きに隣接する画素点間の勾配を取得する工程は：第１の画素点及び第２の画素点を含む２つの任意の隣接した画素点について、第１の画素点の第１のカラー画素値（Ｓ１）、第２のカラー画素値（Ｓ２）、第３のカラー画素値（Ｓ３）を取得するステップと；第２の画素点の第１のカラー画素値（Ｕ１）、第２のカラー画素値（Ｕ２）、第３のカラー画素値（Ｕ３）を取得するステップと；第１の画素点の第１のカラー画素値（Ｓ１）と第２の画素点の第１のカラー画素値（Ｕ１）との間の差分の絶対値、第１の画素点の第２のカラー画素値（Ｓ２）と第２の画素点の第２のカラー画素値（Ｕ２）との間の差分の絶対値、第１の画素点の第３のカラー画素値（Ｓ３）と第２の画素点の第３のカラー画素値（Ｕ３）との間の差分の絶対値を別個に算出し、算出した３つの絶対値を第１の画素点間の勾配値とするステップとを含む。具体的に、画像処理デバイスは、次式を用いて、２つの任意の隣接した画素点間の勾配値を算出できる：

Ｔ＝｜Ｓ１−Ｕ１｜＋｜Ｓ２−Ｕ２｜＋｜Ｓ３−Ｕ３｜

ここで、Ｔは２つの任意の隣接した画素点間の勾配値、Ｓ１は第１の画素点の第１のカラー画素値、Ｓ２は第１の画素点の第２のカラー画素値、Ｓ３は第１の画素点の第３のカラー画素値、Ｕ１は第２の画素点の第１のカラー画素値、Ｕ２は第２の画素点の第２のカラー画素値、Ｕ３は第２の画素点の第３のカラー画素値である。２つの隣接した画素点は、２つの縦方向に隣接した画素点、又は、２つの横方向に隣接した画素点を含む。
本願のこの実施の形態では、２つ毎の隣接した画素点間の勾配値を算出する工程を説明するために、３つの基本色のみから成る原画像を例に挙げている。また、原画像が４つ以上の基本色を含む場合には、２つ毎の隣接した画素点間の勾配値の取得中に採用される原理は、３つの基本色から成る原画素から、２つ毎の隣接した画素点間の勾配値の取得中に採用される原理と同じであってよい。そのため、ここでは詳細について繰り返し述べない。
ステップｂ２：以下の演算が任意方向に実行され、前記以下の演算は：前記任意方向において前記バイナリ画像の前記検出対象領域内の２つ毎の隣接した画素点間の勾配値を、前記任意方向に対応する予め設定された初期勾配閾値と別個に比較すること、及び、前記比較結果に従って前記任意方向への初期境界線を取得することである。
本願のこの実施の形態において、対象画像は閉じた四角形である。そのため、端末は、予め設定された初期勾配閾値が任意方向に対応する状態で、バイナリ画像の検出対象領域内の任意方向に２つ置きに隣接した画素点間の勾配値を別個に比較し、任意方向に沿って隣接した画素点の任意の群における隣接した画素点間の勾配値が、全て予め設定された初期勾配閾値よりも大きい場合に、端末は、隣接した画素点群内の一群の画素で構成された線を任意方向への境界線として判定する。ここで、任意方向とは第１の方向又は第２の方向であり、第１の方向は、原点から横軸の正方向に沿う方向であり、第２の方向は、原点から縦軸の正方向に沿う方向であり（第１の解決策）、又は、第１の方向は原点から縦軸の正方向に沿う方向であり、第２の方向は原点から横軸の正方向に沿う方向である（第２の解決策）。
第１の解決策を採用する場合には、画像処理デバイスは、第１の方向への境界線の取得処理中に、バイナリ画像内の２つ毎の縦方向に隣接した画素点間の勾配値を算出して、取得した勾配値を第１の初期勾配閾値と比較し、更に、２つの任意の隣接した行内の全ての画素点のうち２つ毎の縦方向に隣接した画素点間の勾配値が第１の初期勾配閾値に達する場合に、２つの任意の隣接した行の上方の行の画素点で形成された線を、第１の方向における１つの初期境界線であると判定する必要がある。２つの任意の隣接した行内の全ての画素点のうち任意の２つの縦方向に隣接した画素点間の勾配値が第１の初期勾配閾値に達しない場合には、画像処理デバイスは、画素点から成る次の隣接した２行間の勾配値が全て境界線検出条件を満たしているかどうかを検出し続ける。同様に、画像処理デバイスは、第２の方向への境界線の取得処理中に、バイナリ画像内の２つ毎の横方向に隣接した画素点間の勾配値を算出し、取得した勾配値を第２の初期勾配閾値と比較し、更に、２つの任意の隣接した列内の全ての画素点のうち２つ毎の横方向に隣接した画素点間の勾配値が第２の初期勾配閾値に達する場合に、２つの任意の隣接した列の左側の線を、第２の方向における１つの初期境界線であると判定する必要がある。２つの任意の隣接した列内の全ての画素点のうち任意の２つの横方向に隣接した画素点間の勾配値が第２の初期勾配閾値に達しない場合には、画像処理装置は、画素点から成る次の隣接した２列間の勾配値が全て境界線検出条件を満たしているかどうかを検出し続ける。
第２の解決策を採用する場合には、画像処理デバイスは、第１の方向への境界線の取得処理中に、第１の方向への境界線を取得する際に、バイナリ画像内の２つ毎の横方向に隣接した画素点間の勾配値を算出し、取得した勾配値を第１の初期勾配閾値と比較し、更に、２つの任意の隣接した列内の全ての画素点のうち２つ毎の横方向に隣接した画素点間の勾配値が第１の初期勾配閾値に達する場合に、２つの任意の隣接した列の左側の線を、第１の方向における１つの初期境界線であると判定する必要がある。２つの任意の隣接した列内の全ての画素点のうち任意の２つの横方向に隣接した画素点間の勾配値が第１の初期勾配閾値に達しない場合には、画像処理デバイスは、画素点から成る次の隣接した２列間の勾配値が全て境界線検出条件を満たしているかどうかを検出し続ける。同様に、画像処理デバイスは、第２の方向への境界線の取得処理中に、バイナリ画像内の２つ毎の縦方向に隣接した画素点間の勾配値を算出し、取得した勾配値を第２の初期勾配閾値と比較し、更に、２つの任意の隣接した行内の全ての画素点のうち２つ毎の縦方向に隣接した画素点間の勾配値が第２の初期勾配閾値に達する場合に、２つの任意の隣接した行の上方の行における線を、第２の方向における１つの初期境界線であると判定する必要がある。２つの任意の隣接した行内の全ての画素点のうち任意の２つの縦方向に隣接した画素点間の勾配値が第２の初期勾配閾値に達しない場合には、画像処理デバイスは、画素点から成る次の隣接した２行間の勾配値が全て境界線検出条件を満たしているかどうかを検出し続ける。第１の初期勾配閾値と第２の初期勾配閾値は共に、特定のアプリケーションシナリオに従って予め設定された値であり、これらは互いに等しくても等しくなくてもよい。
例えば、図８を参照すると、第１の方向が横軸の正方向である際の、第１の方向への境界線の検出を例にとると、バイナリ画像内のｉ番目の行と（ｉ＋１）番目の行が隣接した２行であり、各行は３つの画素点を含んでいる。ここで、ｉ番目の行は画素点Ｚｉ１、Ｚｉ２、Ｚｉ３を含み、（ｉ＋１）番目の行は画素点Ｚ（ｉ＋１）１、Ｚ（ｉ＋１）２、Ｚ（ｉ＋１）３を含み、第１の初期勾配閾値はＴであり、Ｚｉ１とＺ（ｉ＋１）１は２つの縦方向に隣接した画素点であり、Ｚｉ２とＺ（ｉ＋１）２は２つの縦方向に隣接した画素点であり、Ｚｉ３とＺ（ｉ＋１）３は２つの縦方向に隣接した画素点であり、画素点Ｚｉ１と画素点Ｚ（ｉ＋１）１の間の勾配値はＴ１であり、画素点Ｚｉ２と画素点Ｚ（ｉ＋１）２の間の勾配値はＴ２であり、画素点Ｚｉ３と画素点Ｚ（ｉ＋１）３の間の勾配値はＴ３である。Ｔ１、Ｔ２、Ｔ３が全てＴより大きい又はＴと等しい場合には、ｉ番目の行を第１の方向への境界線として判定する。Ｔ１、Ｔ２、Ｔ３のうち少なくとも１つがＴよりも小さい場合には、境界線条件を満たしている境界線が（ｉ＋１）番目の行と（ｉ＋２）番目の行との間に存在するかどうかを検出し続ける。
任意であるが、画像処理デバイスは、境界線を検出する際に、連続的なハフ変換アルゴリズムを用いて境界線検出を実行してよい。
本願のこの実施の形態では、画像処理デバイスは、バイナリ画像内の検出対象領域に境界線検出を実行する前に、第２の予め設定されたガウス・スムージングパラメータを用いてバイナリ画像にガウス・スムージングを更に実行してよく、第２の予め設定されたガウス・スムージングパラメータは、特定のアプリケーションシナリオに従って予め設定されてよい。例えば、第１の予め設定されたガウス・スムージングパラメータは５×５又は３×３であってよい。技術的解決策により、エッジ検出処理を画像に実行する前にバイナリ画像にガウス・スムージングを行ってバイナリ画像に含まれるノイズテクスチャを除去することで、ノイズ干渉により生じる画像処理精度の低下の問題を回避でき、画像処理精度が効果的に高まる。
ステップｂ３：直線検出は、前記任意方向への前記少なくとも２本の初期境界線から前記任意方向への境界線を取得するために、前記任意方向にて取得した初期境界線の数が少なくとも２本である場合に、前記任意方向への各初期境界線の位置情報に従って、前記任意方向への各初期境界線に別個に実行される。
本願のこの実施の形態では、画像処理デバイスは、任意方向にて取得した初期境界線の数が２よりも大きい又は等しいかどうかを判断し、任意方向にて取得した初期境界線の数が２よりも大きい又は等しい場合には、各初期境界線の位置に従って、初期境界線にスクリーニングを実行することで、全ての初期境界線から任意方向への境界線を選択する。
具体的に、対象画像の境界線検出処理では、検出結果が少なくとも２本の第１の方向への初期境界線と、少なくとも２本の第２の方向への初期境界線とを得ると、第１の方向への各初期境界線の位置情報に従って、第１の方向への初期境界線の各々に直線検出を個別に実行し、これにより、少なくとも２本の第１の方向への初期境界線から第１の方向への２本の境界線を取得し、更に、第２の方向への各初期境界線の位置情報に従って、第２の方向への初期境界線の各々に直線検出を個別に実行し、これにより、少なくとも２本の第２の方向への初期境界線から２本の第２の方向への境界線を取得する。
本願のこの実施の形態では、画像処理デバイスは、複数の初期境界線を得るために、様々な方向での検出が可能である。複数の初期境界線は背景画像のような干渉因子を含んでいる可能性があるため、複数の初期境界線は対象画像の全ての境界線ではなく、又、同時に、対象画像の境界線を判定するために、取得した全ての初期境界線を検出する必要がある。
具体的に、画像処理デバイスは、各初期境界線に次の演算を実行する。画像処理デバイスが初期境界線の位置情報を取得する。この位置情報は、低画素画像における横軸からの初期境界線の距離と、縦軸からの初期境界線の距離である。画像処理デバイスは、対象画像の予め推定された領域を取得し、初期境界線の位置情報を予め推定された領域と比較する。初期境界線の位置情報と予め推定された領域との間のマッチングが成功すると、初期境界線が対象画像の境界線として判定される。初期境界線の位置情報と予め推定された領域との間のマッチングが失敗すると、初期境界線は対象画像の境界線ではないと判定される。ここで、初期境界線の位置情報と予め推定された領域との間のマッチングの成功は、横軸からの初期境界線の距離が、横軸からの予め推定された領域の任意の境界線の距離と等しい、又は、縦軸からの初期境界線の距離が、縦軸からの予め推定された領域の任意の境界線の距離と等しいことを指す。
更に、初期境界線のスクリーニング処理後に依然として複数の境界線が存在している場合には、画像処理デバイスは、初期境界線どうしが交差した後の交差点どうしの間の各初期境界線において或る長さの線分を取得し、多様な方向へ延び、対象画像の側部間の比率を満たしており、交差点を有する初期境界線を、対象画像の辺どうしの間の比率に従って、複数の初期境界線から除去して、対象画像の境界線として機能できるようにする。例えば、対象画像はＩＤカード画像であり、ＩＤカードの長さ／幅比は４：３であり、画像処理デバイスが取得した第１の方向への第１の初期境界線の長さは８ｃｍであり、第２の方向にあって、第１の初期境界線と交差する第２の初期境界線の長さは４ｃｍである。第１の初期境界線と第２の境界線の長さ比は４：３と等しくないため、第１の初期境界線と第２の初期境界線は対象画像の境界線ではない。画像処理デバイスが取得した第１の方向への第３の初期境界線の長さは８ｃｍ、第２の方向にあって、第１の初期境界線と交差する第４の初期境界線の長さは６ｃｍである。第１の初期境界線の第２の初期境界線に対する長さ比は４：３であるので、第１の初期境界線と第２の初期境界線は対象画像の境界線である。
この技術的解決策により、複数の限定条件を採用して、初期境界線から対象画像の境界線を取得することで、取得した対象画像の境界線の精度を確保する。
ステップｂ３：前記任意方向に対応する前記予め設定された初期勾配閾値は、前記任意方向にて取得した前記初期境界線の数が２本未満である場合に、予め設定された第１の勾配差に従って連続的に低減され、又、前記バイナリ領域の前記検出対象領域は、前記低減した初期勾配閾値を用いて、前記任意方向にて取得した前記初期境界線の数が少なくとも２本になるまで、前記任意方向にて検出される。
本願のこの実施の形態では、任意方向にて取得した初期境界線の数が予め設定された数よりも少ない場合には、予め設定された初期勾配閾値を下げ、この低下した初期勾配閾値を用いてエッジ領域検出を再び実行する。任意方向において取得できる境界線の数が依然として２本よりも少ない場合には、予め設定された初期勾配閾値を再び下げ、任意方向にて取得される初期境界線の数が２本を下回らなくなるまでこの工程を繰り返し、更に、各初期境界線の位置に従って初期境界線にスクリーニングを実行して、全ての初期境界線の中から任意方向への境界線を選択する。
具体的には、対象画像の境界線検出工程において、検出結果で、第１の方向への初期境界線を少なくとも２本取得できなかった場合には、第１の方向において取得される初期境界線の数が少なくとも２本になるまで、第１の初期勾配閾値を予め設定された第１の勾配差に従って連続的に下げる。第１の方向への初期境界線が複数取得された場合には、第１の方向への各初期境界線の位置情報に従って、第１の方向への各初期境界線に直線検出を個別に実行し、第１の方向への複数の初期境界線から第１の方向への２本の境界線を取得する。同様に、検出結果で、第２の方向への初期境界線を少なくとも２本取得できなかった場合には、第２の方向において少なくとも２本の初期境界線が取得されるまで、第２の初期勾配閾値を、予め設定された第２の勾配差に従って連続的に下げる。第２の方向への初期境界線が複数取得された場合には、第２の方向への各初期境界線の位置情報に従って、第２の方向への各初期境界線に直線検出を個別に実行し、複数の第２の方向への初期境界線から第２の方向への２本の境界線を取得する。
本願のこの実施の形態では、第１の方向が横軸の正方向であり、第２の方向が縦軸の正方向である場合に、画像処理デバイスが、第１の方向への２つ毎の隣接した画素点間の勾配を連続的に算出した後に、画素点から成る任意の２つの隣接した行間に、予め設定された第１の勾配閾値を満たす勾配がないと判定すると、画像処理デバイスは、予め設定された第１の勾配差に従って第１の初期勾配閾値を下げ、前出の工程を再び実行する。減少した勾配閾値に従って第１の方向への２本の初期境界線を取得できる場合には、画像処理デバイスは工程を終了する。減少した勾配閾値に従って第１の方向への２本の初期境界線を取得できない場合には、画像処理デバイスが、下げた勾配閾値に従って第１の方向への２本の初期境界線を取得できるまで、再び、予め設定された第１の勾配差に従って第１の初期勾配閾値を下げる。同様に、画素点から成る２つ毎の隣接した列間の勾配を連続的に算出した後に、画像処理デバイスが、画素点から成る任意の２つの隣接した列間に、予め設定された第２の勾配閾値を満たす勾配値がないと判定すると、画像処理デバイスが、予め設定された第２の勾配差に従って第２の初期勾配閾値を下げ、前出の処理を再び実行する。減少した勾配閾値に従って第２の方向への２本の初期境界線を取得できる場合には、画像処理デバイスが処理を終了する。減少した勾配閾値に従って第２の方向への２本の初期境界線を取得できない場合には、画像処理デバイスが、下げた勾配閾値に従って第２の方向への２本の初期境界線が取得できるまで、予め設定された第２の勾配差に従って第２の初期勾配閾値を再び下げる。
更に、第１の方向が縦軸の正方向であり、第２の方向が横軸の正方向である場合には、画像処理デバイスによって対象画像の境界線を取得する方式は、第１の方向が横軸の正方向であり、第２の方向が縦軸の正方向であるケースと同一である。したがって、ここでは詳細について繰り返さない。
ここで、第１の予め設定された勾配差は特定のアプリケーションシナリオに従って予め設定された値である。例えば、この値は１０である。
ステップ３３０で、低画素画像に含まれる境界線の交差点の位置情報を取得する。取得した交差点を、予め設定された圧縮率に従って、原画像内に個別にマッピングする。交差点から原画像内にマッピングされた点を連続的に連結し、連結後に生成された四角形を原画像に含まれた対象画像として判定する。ここで、ステップ３１０の高速バイリニア補間アルゴリズムの反転処理を採用して、各々の補間点を原画像にマッピングする。
更に、原画像に含まれる対象画像を取得した後に、射影変換アルゴリズムを用いて対象画像を修正する。具体的には、原画像内における対象画像の形状は、撮影アングルにより、対象物体の形状といくらか違っていてよい。例えば、対象物体はＩＤカードであり、その形状は四角形である一方、対象画像は平行四辺形である。そのため、画像処理デバイスが、射影変換アルゴリズムを用いて対象画像を修正し、全ての交差点のうち任意の交差点を頂点とし、この頂点と任意の隣接する頂点との間の距離を対象画像の任意の辺長とし、対象画像の他の頂点を対象画像の長さ／幅比に従って判定し、全ての頂点を連続的に連結すると、グラフが修正された対象画像が形成される。
技術的解決策により、原画像はカラー画像又はグレー画像であってよく、原画像の形式は限定されず、高い普遍性を達成する。更に、２つの隣接した画素点間の勾配値に従って対象画像の初期境界線を判定し、取得した初期境界線を、対象物体の形状と取得した初期境界線の位置情報とに従ってスクリーニングして、対象画像の境界線を判定し、これにより、背景画像が対象画像と非常に類似している場合に対象画像上の背景画像からの干渉の問題を回避でき、取得した対象画像の精度が確保される。加えて、画像処理デバイスがモバイル端末である場合には、先の技術的解決策によって、対象画像の取得処理と修正処理にかかる時間はほんの６００ｍｓとなり、画像処理が高速化する。
本願のこの実施の形態では、画像処理デバイスがモバイル端末である場合には、この技術的解決策を、Ａｎｄｒｏｉｄシステム、ＩＯＳシステム及びその他の様々なオペレーティングシステムに適用できる。
上記技術的解決策に基づいて、図９を参照し、本願の実施の形態は、画像取得装置を更に提供し、本装置は、原画像取得部９０と、原画像取得部９１と、境界線判定部９２と、対象画像取得部９３とを備え：
原画像取得部９０は、対象画像を含む原画像を取得するように構成され；
原画像取得部９１は、予め設定された圧縮率に従って前記原画像に画像圧縮処理を実行し、前記画像圧縮処理後に低画素画像を取得するように構成され；
境界線判定部９２は、前記低画素画像内の前記対象画像の境界線を判定するように構成され；
対象画像取得部９３は、前記低画素画像内の前記判定された境界線を前記原画像内にマッピングして、前記原画像内に含まれる前記対象画像を取得するように構成される。
前記低画素画像取得部９１は、具体的に：前記予め設定された圧縮率に従って、圧縮後の各画素点の位置を判定し；高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行して、圧縮後の各画素点の画素値を取得し；圧縮後の各画素点の前記画素値及び前記位置に従って、前記低画素画像を生成する；ように構成される。
任意で、前記低画素画像取得部９１により、高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行して、圧縮後の各画素点の画素値を取得することは、具体的に：
前記予め設定された圧縮率に従って、前記原画像内に含まれる全ての原画素点から、圧縮後の各画素点に対応する４つの原画素点を判定することと；
圧縮後の各画素点に対応する前記４つの原画素点から、第１の方向への２対の原画素点と、第２の方向への２対の原画素点とを判定することであって、前記第１の方向は横方向、前記第２の方向は縦方向であり、又は、前記第１の方向は縦方向、前記第２の方向は横方向である、判定することと；
前記第１の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第１補間を取得し、前記取得した２つの第１補間を初期補間とすること；又は、前記第２の方向への圧縮後に各画素点の前記２対の原画素点にそれぞれ対応する第２補間を取得し、前記取得した２つの第２補間を初期補間とすることと；
圧縮後の各画素点に対応する前記初期補間に従って、圧縮後の各画素点に対応する補間を算出し、又、前記算出した圧縮後の各画素点に対応する補間に従って圧縮後の各画素点の前記画素値を判定することと；を含む。
任意で、前記境界線判定部９２は：前記低画素画像から検出対象領域を判定し；前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出処理を実行する；ように構成される。
任意で、前記境界線判定部９２によって、前記低画素画像から検出対象領域を判定することは、具体的に：前記低画素画像を２色のみを備えたバイナリ画像へ変換するために前記低画素画像をバイナリ化することと；前記バイナリ画像内に含まれる少なくとも１本のエッジラインを取得するために、前記バイナリ画像にエッジ検出処理を実行することと；
各エッジラインを別個に拡大することと；連結領域を取得するために、各々の拡大されたエッジラインを連結することと；特定領域を取得するために、前記連結領域を、各々の連結領域の位置情報にそれぞれ従ってスクリーニングすることであって、前記特定領域は、前記対象画像内の特定のグラフィック部分を含む、スクリーニングすることと；前記低画素画像内の前記特定領域以外の領域を前記検出対象領域として判定することと；を含む。
更に、ガウス・スムージング部９４を更に備え、ガウス・スムージング部は、前記バイナリ画像に前記エッジ検出処理を実行する前に、予め設定されたガウス・スムージングパラメータを用いて前記バイナリ画像にガウス・スムージングを実行するように構成される。
任意で、前記対象画像の前記境界線を判定するために、前記境界線判定部９２により、検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出を実行することは、具体的に：前記低画素画像を２色のみを備えたバイナリ画像へ変換するために、前記低画素画像をバイナリ化することと；以下の演算を任意方向に実行することであって、前記以下の演算は、前記任意方向において前記バイナリ画像の前記検出対象領域内の２つ毎の隣接した画素点間の勾配値を、前記任意方向に対応する予め設定された初期勾配閾値と別個に比較すること、及び、前記比較結果に従って前記任意方向にて初期境界線を取得すること、である演算を任意方向に実行することと；各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定することと；を含む。
任意で、境界線判定部９２により、各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定することは、具体的に：任意方向への検出結果を得るために、次の演算を実行することを備え；
前記演算は：前記任意方向への前記少なくとも２本の初期境界線から前記任意方向への境界線を取得するために、前記任意方向にて取得した初期境界線の数が少なくとも２本である場合に、前記任意方向への各初期境界線の位置情報に従って、前記任意方向への各初期境界線に直線検出を別個に実行し；前記任意方向にて取得した前記初期境界線の数が２本未満である場合に、前記任意方向に対応する前記予め設定された初期勾配閾値を、予め設定された第１の勾配差に従って連続的に低減し、又、前記低減した初期勾配閾値を用いて、前記任意方向にて取得した前記初期境界線の数が少なくとも２本になるまで、前記任意方向にて前記バイナリ画像の前記検出対象領域を検出する。
任意で、前記対象画像取得部９３は、具体的に：前記低画素画像内に含まれる２つ毎の隣接した境界線の交差点を取得し；前記取得した交差点を、前記予め設定された圧縮率に従って、前記原画像内に別個にマッピングし；前記原画像内にマッピングされた前記点を連続的に連結し、前記連結後に生成された四角形を前記原画像内に含まれる対象画像として判定する；ように構成される。
任意で、本装置は修正部９５を更に備え、修正部は、前記原画像内に含まれる前記対象画像が取得された後に、射影変換アルゴリズムを用いて前記対象画像を修正するように構成される。
画像取得装置はその一部が画像処理デバイス内に配置されてもよく、画像取得装置は画像処理デバイスであってもよい。
結論として、本願のこの実施の形態では、原画像を取得し；予め設定された圧縮率に従ってこの原画像に画像圧縮処理を実行し、画像圧縮処理の後に低画素画像を取得し；低画素画像から検出対象領域を取得し、ここで、検出対象領域は特定のグラフィック部分を含まない領域であり；検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って検出対象領域に境界線検出を実行して、低画素画像に含まれる対象画像の境界線を判定し；低画素画像に含まれる境界線を原画像内にマッピングして、原画像に含まれた対象画像を取得する。本願の技術的解決策により、原画像を低画素画像へ変換する処理と、対象画像の境界線を取得する処理は、両方とも低画素画像に基づくものであり、また、低画素画像は画素点の数が少ないため、低画素画像の処理時間が短縮され、対象画像の取得効率が向上する。更に、特定領域は干渉因子であるため、低画素画像内の特定領域を含まない部分を検出対象領域とし、即ち、低画素画像内の干渉因子を除去して、検出対象領域のみを検出するようにすることで、画像処理時間を短縮しつつ画像処理精度を確保できる。加えて、検出対象領域内の２つ毎の隣接した画素点間の勾配値の変化に従って対象画像の境界線を判定し、得られた境界線を原画像内にマッピングして、原画像内の対象画像を判定する。これにより、取得した低画素画像内の対象画像と原画像内の対象画像との間に差が存在する問題が回避され、対象画像取得の精度を確保できる。
当業者は、本願の実施の形態は、方法、システム、又はコンピュータプログラム製品として提供され得ることを理解するはずである。したがって、本願の実施の形態は、完全なハードウェアの実施の形態、完全なソフトウェアの実施の形態、又はソフトウェアとハードウェアの組み合わせの実施の形態において実現できる。さらに、本願は、コンピュータで用いることができるプログラムコードを含む１つ以上のコンピュータで用いることができる記憶媒体（磁気ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリなどを非限定的に含む）上で実現されるコンピュータプログラム製品の形態を採ることもできる。
本願を、本願の実施の形態による方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照に説明した。コンピュータプログラム命令を用いて、フローチャート及び／又はブロック図の各工程及び／又はブロックを実施でき、またフローチャート及び／又はブロック図の工程及び／又はブロックの組み合わせを実施できることは言うまでもない。これらのコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、組込み型プロセッサ、又はマシンを生成する別のあらゆるプログラム可能な処理デバイスに提供することで、コンピュータ又は別のプログラム可能な処理デバイスのプロセッサによって実行される命令が、フローチャートの１つ以上の工程及び／又はブロック図の１つ以上のブロックにおける特定機能を実施する装置を生成する。
これらのコンピュータプログラム命令は、コンピュータ又は別のあらゆるプログラム可能な処理デバイスを特定方法で作動するよう命令できるコンピュータで読取り可能なメモリに格納することもでき、コンピュータで読取り可能なメモリに格納された命令は、命令装置を含む製品を生成する。この命令装置は、フローチャートの１つ以上の工程における、及び／又は、ブロック図の１つ以上のブロックにおける特定機能を実施する装置である。
これらのコンピュータプログラム命令はコンピュータ又は別のプログラム可能なデータ処理デバイスにロードすることもでき、そうすることで一連の演算及びステップがコンピュータ又は別のプログラム可能な端末デバイス上で実行され、コンピュータ実装処理を達成することができる。したがって、コンピュータ又は別のプログラム可能なデバイス上で実行される命令は、フローチャートの１つ以上の工程、及び／又はブロック図の１つ以上のブロックにおける特定機能を実施するためのステップを提供する。
本願の実施の形態のうちの好ましい実施の形態を説明したが、当業者は、基本的な発明の概念を知った上で、これらの実施の形態に他の変更及び修正を加えることができる。したがって、付帯の特許請求の範囲は、本願の実施の形態の範囲に含まれる、好ましい実施の形態と全ての変更及び修正とを包含すると解釈されることを意図している。
当業者は、本願の実施の形態の趣旨及び範囲から逸脱せずに、本願の実施の形態に様々な補正及び修正を加えられることが明白である。したがって、本願の実施の形態のこれらの補正及び修正が本願の特許請求の範囲及びその均等な技術の範囲に含まれる場合、本願はその補正及び修正を含むことを意味する。

Claims (20)

  1. 画像処理方法であって：
    対象画像を含む原画像を取得するステップと；
    画像圧縮処理後に低画素画像を取得するために、予め設定された圧縮率に従って前記原画像に画像圧縮処理を実行するステップと；
    前記低画素画像内の前記対象画像の境界線を判定するステップと；
    前記原画像内に含まれる前記対象画像を取得するために、前記判定した前記低画素画像内に含まれる境界線を前記原画像内にマッピングするステップと；を備える、
    画像処理方法。
  2. 前記画像圧縮処理後に低画素画像を取得するために、予め設定された圧縮率に従って前記原画像に前記画像圧縮処理を実行する前記ステップは、具体的に：
    前記予め設定された圧縮率に従って圧縮後の各画素点の位置を判定するステップと；
    圧縮後の各画素点の画素値を取得するために、高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行するステップと；
    圧縮後の各画素点の前記画素値及び前記位置に従って前記低画素画像を生成するステップと；を備える、
    請求項１に記載の方法。
  3. 圧縮後の各画素点の画素値を取得するために、高速バイリニア補間アルゴリズムを用いて前記原画像に前記画像圧縮処理を実行する前記ステップは、具体的に：
    前記原画像内に含まれる全ての原画素点のうち、前記予め設定された圧縮率に従って圧縮後の各画素点に対応する４つの原画素点を判定するステップと；
    圧縮後の各画素点に対応する前記４つの原画素点のうち、第１の方向への２対の原画素点と、第２の方向への２対の原画素点とを判定するステップであって、前記第１の方向は横方向で、前記第２の方向は縦方向である、或いは、前記第１の方向は縦方向で、前記第２の方向は横方向である、判定するステップと；
    前記第１の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第１補間を取得し、前記取得した２つの第１補間を初期補間とするステップ、又は、前記第２の方向への圧縮後の各画素点の前記２対の原画素点にそれぞれ対応する第２補間を取得し、前記取得した２つの第２補間を初期補間とするステップと；
    圧縮後の各画素に対応する前記初期補間に従って、圧縮後の各画素点に対応する補間を算出し、前記算出した圧縮後の各画素点に対応する補間に従って、圧縮後の各画素点の前記画素値を判定するステップと；を備える、
    請求項２に記載の方法。
  4. 前記低画素画像内の前記対象画像の境界線を判定する前記ステップは、具体的に：
    前記低画素画像から検出対象領域を判定するステップと；
    前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出処理を実行するステップと；を備える、
    請求項１乃至３のいずれか１項に記載の方法。
  5. 前記低画素から前記検出対象領域を判定する前記ステップは、具体的に：
    前記低画素画像をバイナリ画像へ変換するために、前記低画素画像をバイナリ化するステップであって、前記バイナリ画像は２色のみを含む、バイナリ化するステップと；
    前記バイナリ画像内に含まれる少なくとも１本のエッジラインを取得するために、前記バイナリ画像にエッジ検出処理を実行するステップと；
    各エッジラインを別個に拡大するステップと；
    連結領域を取得するために、各々の拡大されたエッジラインを連結するステップと；
    特定領域を取得するために、前記連結領域を、各連結領域の位置情報のそれぞれに従ってスクリーニングするステップであって、前記特定領域とは前記対象画像内の特定のグラフィック部分を含む領域である、スクリーニングするステップと；
    前記低画素画像内の前記特定領域以外の領域を検出対象領域として判定するステップと；を備える、
    請求項４に記載の方法。
  6. 前記バイナリ画像に前記エッジ検出処理を実行する前記ステップの前に、
    予め設定されたガウス・スムージングパラメータを用いて、前記バイナリ画像にガウス・スムージングを実行するステップを更に備える、
    請求項５に記載の方法。
  7. 前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に前記境界線検出処理を実行するステップは、具体的に：
    前記低画素画像を２色のみを備えたバイナリ画像へ変換するために、前記低画素画像をバイナリ化するステップと；
    以下の演算を任意方向に実行するステップであって、前記以下の演算は、前記任意方向において前記バイナリ画像の前記検出対象領域内の２つ毎の隣接した画素点間の勾配値を、前記任意方向に対応する予め設定された初期勾配閾値と別個に比較すること、及び、前記比較結果に従って前記任意方向への初期境界線を取得することである、実行するステップと；
    各方向にて取得した初期境界線の数に従って前記対象画像の前記境界線をそれぞれ判定するステップと；を備える、
    請求項４に記載の方法。
  8. 各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定する前記ステップは、具体的に：
    任意方向への検出結果を得るために、次の演算を実行するステップを備え；
    前記演算は：
    前記任意方向への前記少なくとも２本の初期境界線から前記任意方向への境界線を取得するために、前記任意方向にて取得した初期境界線の数が少なくとも２本である場合に、前記任意方向への各初期境界線の位置情報に従って、前記任意方向への各初期境界線に直線検出を別個に実行する演算；又は
    前記任意方向にて取得した前記初期境界線の数が２本未満である場合に、前記任意方向に対応する前記予め設定された初期勾配閾値を、予め設定された第１の勾配差に従って連続的に低減し、又、前記低減した初期勾配閾値を用いて、前記任意方向にて取得した前記初期境界線の数が少なくとも２本になるまで、前記任意方向にて前記バイナリ領域の前記検出対象領域を検出する演算；である、
    請求項７に記載の方法。
  9. 前記原画像内に含まれる前記対象画像を取得するために、前記低画素画像内に含まれる前記境界線を前記原画像内にマッピングする前記ステップは、具体的に：
    前記低画素画像内の２つ毎の隣接した境界線の交差点を取得するステップと；
    前記取得した交差点を、前記予め設定された圧縮率に従って前記原画像内に別個にマッピングして、対応するマッピング点を前記原画像内に生成するステップと；
    前記原画像内にマッピングされた前記マッピング点を連続的に連結し、前記連結後に生成された四角形を、前記原画像内に含まれる対象画像として判定するステップと；を備える、
    請求項４に記載の方法。
  10. 前記原画像内に含まれる前記対象画像を取得する前記ステップの後に、
    射影変換アルゴリズムを用いて前記対象画像を修正するステップを更に備える、
    請求項４に記載の方法。
  11. 画像処理装置であって：
    対象画像を含む原画像を取得するように構成された原画像取得部と；
    予め設定された圧縮率に従って前記原画像に画像圧縮処理を実行し、前記画像圧縮処理後に低画素画像を取得するように構成された低画素画像取得部と；
    前記低画素画像内の前記対象画像の境界線を判定するように構成された境界線判定部と；
    前記低画素画像内の前記判定された境界線を前記原画像内にマッピングして、前記原画像内に含まれる前記対象画像を取得するように構成された対象画像取得部と；を備える、
    画像処理装置。
  12. 前記低画素画像取得部は、具体的に：
    前記予め設定された圧縮率に従って、圧縮後の各画素点の位置を判定し；
    高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行して、圧縮後の各画素点の画素値を取得し；
    圧縮後の各画素点の前記画素値及び前記位置に従って、前記低画素画像を生成する；ように構成された、
    請求項１１に記載の装置。
  13. 前記低画素画像取得部により、高速バイリニア補間アルゴリズムを用いて前記原画像に画像圧縮処理を実行して、圧縮後の各画素点の画素値を取得することは、具体的に：
    前記予め設定された圧縮率に従って、前記原画像内に含まれる全ての原画素点から、圧縮後の各画素点に対応する４つの原画素点を判定することと；
    圧縮後の各画素点に対応する前記４つの原画素点から、第１の方向への２対の原画素点と、第２の方向への２対の原画素点とを判定することであって、前記第１の方向は横方向、前記第２の方向は縦方向であり、又は、前記第１の方向は縦方向、前記第２の方向は横方向である、判定することと；
    前記第１の方向への圧縮後の、各画素点の前記２対の原画素点にそれぞれ対応する第１補間を取得し、前記取得した２つの第１補間を初期補間とすること；又は、前記第２の方向への圧縮後の、各画素点の前記２対の原画素点にそれぞれ対応する第２補間を取得し、前記取得した２つの第２補間を初期補間とすることと；
    圧縮後の各画素点に対応する前記初期補間に従って、圧縮後の各画素点に対応する補間を算出し、又、前記算出した圧縮後の各画素点に対応する補間に従って圧縮後の各画素点の前記画素値を判定することと；を備える、
    請求項１２に記載の装置。
  14. 前記境界線判定部は：
    前記低画素画像から検出対象領域を判定し；
    前記対象画像の前記境界線を判定するために、前記検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出処理を実行する；ように構成された、
    請求項１１乃至１３のいずれか１項に記載の装置。
  15. 前記境界線判定部によって、前記低画素画像から検出対象領域を判定することは、具体的に：
    前記低画素画像を２色のみを備えたバイナリ画像へ変換するために前記低画素画像をバイナリ化することと；
    前記バイナリ画像内に含まれる少なくとも１本のエッジラインを取得するために、前記バイナリ画像にエッジ検出処理を実行することと；
    各エッジラインを別個に拡大することと；
    連結領域を取得するために、各々の拡大されたエッジラインを連結することと；
    特定領域を取得するために、前記連結領域を、各々の連結領域の位置情報にそれぞれ従ってスクリーニングすることであって、前記特定領域は、前記対象画像内の特定のグラフィック部分を含む領域である、スクリーニングすることと；
    前記低画素画像内の前記特定領域以外の領域を前記検出対象領域として判定することと；を備える、
    請求項１４に記載の装置。
  16. 前記バイナリ画像に前記エッジ検出処理を実行する前に、予め設定されたガウス・スムージングパラメータを用いて前記バイナリ画像にガウス・スムージングを実行するように構成されたガウス・スムージング部を更に備える、
    請求項１５に記載の装置。
  17. 前記対象画像の前記境界線を判定するために、前記境界線判定部により、検出対象領域内の２つ毎の隣接した画素点間の勾配値に従って、前記検出対象領域に境界線検出を実行することは、具体的に：
    前記低画素画像を２色のみを含むバイナリ画像へ変換するために、前記低画素画像をバイナリ化することと；
    以下の演算を任意方向に実行することであって、前記以下の演算は、前記任意方向において前記バイナリ画像の前記検出対象領域内の２つ毎の隣接した画素点間の勾配値を、前記任意方向に対応する予め設定された初期勾配閾値と別個に比較すること、及び、前記比較結果に従って前記任意方向にて初期境界線を取得すること、である演算を任意方向に実行することと；
    各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定することと；を備える、
    請求項１４に記載の装置。
  18. 各方向にて取得した前記初期境界線の数に従って、前記対象画像の前記境界線をそれぞれ判定することは、具体的に：
    任意方向への検出結果を得るために、次の演算を実行することを備え；
    前記演算は：
    前記任意方向への前記少なくとも２本の初期境界線から前記任意方向への境界線を取得するために、前記任意方向にて取得した初期境界線の数が少なくとも２本である場合に、前記任意方向への各初期境界線の位置情報に従って、前記任意方向への各初期境界線に直線検出を別個に実行する演算；又は
    前記任意方向にて取得した前記初期境界線の数が２本未満である場合に、前記任意方向に対応する前記予め設定された初期勾配閾値を、予め設定された第１の勾配差に従って連続的に低減し、又、前記低減した初期勾配閾値を用いて、前記任意方向にて取得した前記初期境界線の数が少なくとも２本になるまで、前記任意方向にて前記バイナリ領域の前記検出対象領域を検出する演算；である、
    請求項１７に記載の装置
  19. 前記対象画像取得部は、具体的に：
    前記低画素画像内に含まれる２つ毎の隣接した境界線の交差点を取得し；
    前記取得した交差点を、前記予め設定された圧縮率に従って、前記原画像内に別個にマッピングし；
    前記原画像内にマッピングされた前記点を連続的に連結し、前記連結後に生成された四角形を前記原画像内に含まれる対象画像として判定する；ように構成された、
    請求項１４に記載の装置。
  20. 前記原画像内に含まれる前記対象画像の取得後に、射影変換アルゴリズムを用いて前記対象画像を修正するように構成された修正部を更に備える、
    請求項１４に記載の装置。
JP2017562016A 2015-05-29 2016-04-28 画像処理方法及び装置 Active JP6784704B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510291061.2A CN106296578B (zh) 2015-05-29 2015-05-29 一种图像处理方法及装置
CN201510291061.2 2015-05-29
PCT/CN2016/080445 WO2016192494A1 (zh) 2015-05-29 2016-04-28 一种图像处理方法及装置

Publications (3)

Publication Number Publication Date
JP2018520428A true JP2018520428A (ja) 2018-07-26
JP2018520428A5 JP2018520428A5 (ja) 2019-12-12
JP6784704B2 JP6784704B2 (ja) 2020-11-11

Family

ID=57440130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562016A Active JP6784704B2 (ja) 2015-05-29 2016-04-28 画像処理方法及び装置

Country Status (9)

Country Link
US (2) US10417770B2 (ja)
EP (1) EP3306562B1 (ja)
JP (1) JP6784704B2 (ja)
KR (1) KR102095626B1 (ja)
CN (1) CN106296578B (ja)
ES (1) ES2805728T3 (ja)
PL (1) PL3306562T3 (ja)
SG (2) SG10202001849PA (ja)
WO (1) WO2016192494A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106482739B (zh) * 2016-11-30 2020-07-17 英华达（上海）科技有限公司 自动导引运输车导航方法
CN109949332B (zh) * 2017-12-20 2021-09-17 北京京东尚科信息技术有限公司 用于处理图像的方法和装置
CN112972889B (zh) * 2017-12-29 2024-06-25 深圳硅基仿生科技股份有限公司 图像处理装置和方法及视网膜刺激器
CN108171230A (zh) * 2018-01-02 2018-06-15 联想(北京)有限公司 图像处理方法和装置
CN108769646B (zh) 2018-05-06 2020-02-18 Oppo广东移动通信有限公司 三维视频通信方法及系统、电子装置、服务器和可读存储介质
WO2020037566A1 (zh) * 2018-08-22 2020-02-27 深圳配天智能技术研究院有限公司 一种图像处理、匹配方法、装置及存储介质
CN109754381B (zh) * 2019-01-03 2023-01-17 广东小天才科技有限公司 一种图像处理方法及系统
CN111429399B (zh) * 2019-01-09 2023-08-01 银河水滴科技（北京）有限公司 一种直线检测方法及装置
CN110428414B (zh) * 2019-08-02 2023-05-23 杭州睿琪软件有限公司 一种识别图像中票据数量的方法及装置
CN110544223A (zh) * 2019-09-10 2019-12-06 腾讯科技（深圳）有限公司 一种图像降噪的方法、装置、终端设备及可读存储介质
CN110852938B (zh) * 2019-10-28 2024-03-19 腾讯科技（深圳）有限公司 一种展示图片生成方法、装置及存储介质
CN111221996B (zh) * 2019-11-25 2023-04-25 上海华兴数字科技有限公司 仪表屏幕视觉检测方法和系统
CN113068043B (zh) * 2020-01-02 2024-04-30 武汉金山办公软件有限公司 一种png图像压缩方法、装置、电子设备及存储介质
CN111368915A (zh) * 2020-03-04 2020-07-03 广东博智林机器人有限公司 一种图纸校对方法、装置、设备及存储介质
CN111724329B (zh) * 2020-07-03 2022-03-01 北京字节跳动网络技术有限公司 图像的处理方法、装置以及电子设备
CN114067008A (zh) * 2020-07-31 2022-02-18 京东方科技集团股份有限公司 图像处理方法及装置、电子设备、图像显示系统
CN114451784B (zh) * 2020-11-05 2024-07-05 云米互联科技(广东)有限公司 饮水机控制方法、饮水机及计算机可读存储介质
CN113643364A (zh) * 2021-07-05 2021-11-12 珠海格力电器股份有限公司 一种图像目标检测方法、装置和设备
CN113870293B (zh) * 2021-09-27 2022-10-14 东莞拓斯达技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114820829B (zh) * 2022-06-24 2022-09-09 数聚(山东)医疗科技有限公司 一种用于放射影像的智能压缩方法
CN115358958A (zh) * 2022-08-26 2022-11-18 北京字跳网络技术有限公司 特效图生成方法、装置、设备及存储介质
CN116188472B (zh) * 2023-05-04 2023-07-07 无锡康贝电子设备有限公司 一种数控机床零件的在线视觉检测方法
CN116758106B (zh) * 2023-07-13 2024-02-27 江苏中天吉奥信息技术股份有限公司 基于无人机的水流登记单元界线核实方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113203A (ja) * 1998-09-30 2000-04-21 Canon Inc 画像処理装置及び方法
US20060034500A1 (en) * 2002-11-18 2006-02-16 Koninklijke Philips Electronics, N.V. Method and device for image registration
JP2007189665A (ja) * 2005-12-16 2007-07-26 Canon Inc 撮像装置及び再生装置
JP2011517888A (ja) * 2008-03-20 2011-06-16 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． サムネイルに基く画像クオリティ検査
JP2011166728A (ja) * 2010-01-13 2011-08-25 Nikon Corp 画像処理装置、画像処理方法
JP2011217130A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 画像符号化装置および方法並びにプログラム
US20120057802A1 (en) * 2010-03-18 2012-03-08 Yasuhiro Yuki Data processing device and data processing method
JP2012231367A (ja) * 2011-04-27 2012-11-22 Fujifilm Corp 画像圧縮装置、画像伸長装置、方法、及びプログラム
JP2014195148A (ja) * 2013-03-28 2014-10-09 Pfu Ltd 画像処理装置、領域決定方法及びコンピュータプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325447A (en) * 1991-10-02 1994-06-28 Environmental Research Institute Of Michigan Handwritten digit normalization method
US5351314A (en) * 1991-10-04 1994-09-27 Canon Information Systems, Inc. Method and apparatus for image enhancement using intensity dependent spread filtering
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
US6690724B1 (en) * 1997-01-10 2004-02-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing device, and data recording medium
JPH10208056A (ja) * 1997-01-16 1998-08-07 Honda Motor Co Ltd 直線検出方法
US6417867B1 (en) 1999-05-27 2002-07-09 Sharp Laboratories Of America, Inc. Image downscaling using peripheral vision area localization
JP2001188910A (ja) 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP4100885B2 (ja) * 2001-07-11 2008-06-11 キヤノン株式会社 帳票認識装置、方法、プログラムおよび記憶媒体
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7379594B2 (en) * 2004-01-28 2008-05-27 Sharp Laboratories Of America, Inc. Methods and systems for automatic detection of continuous-tone regions in document images
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
US8386909B2 (en) * 2005-04-07 2013-02-26 Hewlett-Packard Development Company, L.P. Capturing and presenting interactions with image-based media
CN1879553B (zh) * 2005-06-15 2010-10-06 佳能株式会社 在胸部图像中检测边界的方法及装置
US7684595B2 (en) * 2006-06-23 2010-03-23 The United States Of America As Represented By The Secretary Of The Navy Method of facial recognition
US20080298648A1 (en) * 2007-05-31 2008-12-04 Motorola, Inc. Method and system for slap print segmentation
US8331720B2 (en) 2007-08-15 2012-12-11 Japan Science And Technology Agency Image processing device, method, and program
JP5161311B2 (ja) * 2007-09-19 2013-03-13 トムソン ライセンシング 画像をスケーリングするシステムおよび方法
CN101630360B (zh) * 2008-07-14 2012-12-19 上海分维智能科技有限公司 一种在高清晰图像中识别车牌的方法
US8395824B2 (en) * 2008-07-17 2013-03-12 Samsung Electronics Co., Ltd. Method for determining ground line
CN101742291B (zh) * 2008-11-14 2012-11-07 北大方正集团有限公司 压缩图像目标的定位与识别方法及装置
CN101511022B (zh) * 2009-03-20 2010-07-07 北京航空航天大学 一种机载视频压缩与目标跟踪联合实现方法
JP5075182B2 (ja) * 2009-10-20 2012-11-14 楽天株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP5565041B2 (ja) * 2010-03-30 2014-08-06 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9413477B2 (en) * 2010-05-10 2016-08-09 Microsoft Technology Licensing, Llc Screen detector
US9070182B1 (en) * 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
JP5569206B2 (ja) * 2010-07-15 2014-08-13 ソニー株式会社 画像処理装置および方法
JP5844991B2 (ja) * 2011-04-14 2016-01-20 キヤノン株式会社 ソースノード及びその送信方法
JP5514338B2 (ja) * 2012-04-11 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US9008422B2 (en) * 2012-06-28 2015-04-14 Lexmark International, Inc. Methods of content-driven image cropping
CN102800094A (zh) * 2012-07-13 2012-11-28 南京邮电大学 一种快速彩色图像分割方法
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
US9466009B2 (en) * 2013-12-09 2016-10-11 Nant Holdings Ip. Llc Feature density object classification, systems and methods
CN103927767B (zh) * 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
JP6282193B2 (ja) * 2014-07-28 2018-02-21 クラリオン株式会社 物体検出装置
US9355311B2 (en) * 2014-09-23 2016-05-31 Konica Minolta Laboratory U.S.A., Inc. Removal of graphics from document images using heuristic text analysis and text recovery
US10325165B2 (en) * 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
US10062165B2 (en) * 2014-10-29 2018-08-28 Shimadzu Corporation Image processing device
CN105139364A (zh) 2015-10-10 2015-12-09 湖北知本信息科技有限公司 一种图像增强方法及其应用
CN105489194B (zh) * 2015-11-24 2018-09-04 小米科技有限责任公司 一种显示图像的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113203A (ja) * 1998-09-30 2000-04-21 Canon Inc 画像処理装置及び方法
US20060034500A1 (en) * 2002-11-18 2006-02-16 Koninklijke Philips Electronics, N.V. Method and device for image registration
JP2007189665A (ja) * 2005-12-16 2007-07-26 Canon Inc 撮像装置及び再生装置
JP2011517888A (ja) * 2008-03-20 2011-06-16 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． サムネイルに基く画像クオリティ検査
JP2011166728A (ja) * 2010-01-13 2011-08-25 Nikon Corp 画像処理装置、画像処理方法
US20120057802A1 (en) * 2010-03-18 2012-03-08 Yasuhiro Yuki Data processing device and data processing method
JP2011217130A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 画像符号化装置および方法並びにプログラム
JP2012231367A (ja) * 2011-04-27 2012-11-22 Fujifilm Corp 画像圧縮装置、画像伸長装置、方法、及びプログラム
JP2014195148A (ja) * 2013-03-28 2014-10-09 Pfu Ltd 画像処理装置、領域決定方法及びコンピュータプログラム

Also Published As

Publication number Publication date
CN106296578A (zh) 2017-01-04
JP6784704B2 (ja) 2020-11-11
EP3306562A4 (en) 2019-01-16
SG11201709583SA (en) 2017-12-28
SG10202001849PA (en) 2020-04-29
PL3306562T3 (pl) 2020-11-02
KR20180013982A (ko) 2018-02-07
KR102095626B1 (ko) 2020-04-01
EP3306562A1 (en) 2018-04-11
US10417770B2 (en) 2019-09-17
ES2805728T3 (es) 2021-02-15
WO2016192494A1 (zh) 2016-12-08
EP3306562B1 (en) 2020-04-08
US20200005432A1 (en) 2020-01-02
CN106296578B (zh) 2020-04-28
US20180075608A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP2018520428A (ja) 画像処理方法及び装置
US9715761B2 (en) Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
KR101142739B1 (ko) 검색 영역을 제한한 이미지 복원 장치 및 방법
JP2018520428A5 (ja)
CN109509198B (zh) 校正损伤的设备和方法
EP2347388B1 (en) Method, apparatus and software for determining motion vectors
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
KR102158390B1 (ko) 영상 처리 방법 및 장치
CN106251348A (zh) 一种面向深度相机的自适应多线索融合背景减除方法
JP4990876B2 (ja) 画像処理装置
KR101940402B1 (ko) 영상의 경계 검출 방법 및 장치
US20170289493A1 (en) Projection apparatus, image processing apparatus, and image processing method
CN111133474B (zh) 图像处理设备、图像处理方法和计算机可读记录介质
RU2470368C2 (ru) Способ обработки изображений
Yang et al. RIFO: Restoring images with fence occlusions
JP5751157B2 (ja) 映像信号処理装置及び映像信号処理方法
US11508083B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US6810134B2 (en) Method, system and apparatus for choosing an optimal candidate value for block matching
CN114332202B (zh) 血管模型的处理方法及其装置、计算机可读存储介质
JP7243513B2 (ja) 計測システムおよび計測方法
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
CN108470330B (zh) 图像检测方法及系统
Lee et al. Image recomposition using seam carving and insertion considering the rule of thirds
US10902560B2 (en) Or relating to filters
JP6226206B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191101

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200903

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200903

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200915

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201023

R150 Certificate of patent or registration of utility model

Ref document number: 6784704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250