JP2021515313A - 画像処理方法、装置及びコンピュータ記憶媒体 - Google Patents

画像処理方法、装置及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2021515313A
JP2021515313A JP2020544626A JP2020544626A JP2021515313A JP 2021515313 A JP2021515313 A JP 2021515313A JP 2020544626 A JP2020544626 A JP 2020544626A JP 2020544626 A JP2020544626 A JP 2020544626A JP 2021515313 A JP2021515313 A JP 2021515313A
Authority
JP
Japan
Prior art keywords
target
region
image
target area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020544626A
Other languages
English (en)
Other versions
JP7090169B2 (ja
Inventor
ウェンタオ リウ
ウェンタオ リウ
チェン チエン
チェン チエン
チェン チェン
チェン チェン
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Publication of JP2021515313A publication Critical patent/JP2021515313A/ja
Application granted granted Critical
Publication of JP7090169B2 publication Critical patent/JP7090169B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/20Linear translation of a whole image or part thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • G06T3/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本願の実施例は画像処理方法、装置及びコンピュータ記憶媒体を開示する。前記方法は、第1画像を取得し、前記第1画像における目標対象を認識して前記目標対象の第1目標領域を取得し、前記第1目標領域に関連する第2目標領域を取得するステップと、前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成するステップと、を含む。

Description

(関連出願の相互参照)
本願は、出願番号が201811110229.5であり、出願日が2018年9月21日である中国特許出願に基づいて提出され、且つ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願は、画像処理技術に関し、具体的には、画像処理方法、装置及びコンピュータ記憶媒体に関する。
インターネット技術の急速な発展に伴い、様々な画像処理ツールが登場しており、例えば、画像における目標人物に対して、「脚部リシェイプ」、「腕リシェイプ」、「腰部リシェイプ」、「肩部リシェイプ」等の「ボディリシェイプ」によって局所的に太くしたり痩せさせたりして人物の体つきをより完璧にする変形操作を、実行可能である。しかしながら、このような局所的な変形処理は目標人物の局所領域に対して行われ、この局所変形処理を行った後目標人物に全体的に違和感が生じることが多い。
本願の実施例は画像処理方法、装置及びコンピュータ記憶媒体を提供する。
本願の実施例の技術的解決手段は以下のように実現される。
本願の実施例は、第1画像を取得し、前記第1画像における目標対象を認識して前記目標対象の第1目標領域を取得し、前記第1目標領域に関連する第2目標領域を取得するステップと、前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成するステップと、を含む画像処理方法を提供する。
本願のいくつかの選択可能な実施例では、前記第1目標領域の画像変形処理過程で前記第2目標領域に対して画像変形処理を行う前記ステップは、前記第1目標領域に対して第1変形パラメータで画像変形処理を行っている過程で、前記第2目標領域に対して第2変形パラメータで画像変形処理を行うステップを含み、前記第1変形パラメータの変形度合いが前記第2変形パラメータの変形度合いより高い。
本願のいくつかの選択可能な実施例では、前記第2変形パラメータは、前記第2目標領域における画素点と前記第1目標領域との間の距離の変化に伴って変化する。
本願のいくつかの選択可能な実施例では、前記第2目標領域における画素点と前記第1目標領域との間の距離が大きいほど、前記第2目標領域における画素点に対応する第2変形パラメータで表される変形度合いが低い。
本願のいくつかの選択可能な実施例では、前記第2目標領域は、前記第1目標領域に隣接する肢体領域が存在する少なくとも1つの肢体領域を含む。
本願のいくつかの選択可能な実施例では、前記第1目標領域が肩部領域であり、前記第2目標領域が腰部領域及び/又は胸部領域であり、又は、前記第1目標領域が腰部領域であり、前記第2目標領域が胸部領域及び/又は肩部領域である。
本願のいくつかの選択可能な実施例では、前記第1画像における目標対象を認識する前記ステップは、前記第1画像における目標対象の肢体検出情報を認識するステップを含み、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、前記第1目標領域に対して画像変形処理を行うステップは、前記第1目標領域に対応する肢体輪郭点情報に基づいて前記第1目標領域の輪郭線を決定するステップと、前記第1目標領域に対応する輪郭点情報に基づいて第1目標領域の中線を決定するステップと、前記第1目標領域を前記輪郭線から前記中線に向かう方向に圧縮処理するか、又は前記第1目標領域を前記中線から前記輪郭線に向かう方向に引き伸ばし処理するステップと、を含む。
本願のいくつかの選択可能な実施例では、前記第1目標領域に対して画像変形処理を行うステップの前に、前記方法は、前記第1画像に対して格子区画を行って複数の格子制御面を取得するステップを更に含み、前記第1目標領域に対して画像変形処理を行うステップは、前記第1目標領域に対応する第1格子制御面に基づいて前記第1目標領域に対して画像変形処理を行うステップを含み、前記第2目標領域に対して画像変形処理を行うステップは、前記第2目標領域に対応する第2格子制御面に基づいて前記第2目標領域に対して画像変形処理を行うステップを含む。
本願のいくつかの選択可能な実施例では、前記方法は、前記目標対象の第3目標領域を取得するステップであって、前記第3目標領域が、腕領域及び/又は手部領域を含むステップと、前記第3目標領域と目標対象の肢体領域の縁部の間の第1距離を決定するステップと、前記第1距離が所定条件を満たすか否かを判断するステップと、を更に含み、前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成する前記ステップは、前記第1距離が所定条件を満たした場合に、前記第1目標領域の画像変形処理過程で前記第2目標領域と前記第3目標領域に対して画像変形処理を行って第2画像を生成するステップを含む。
本願のいくつかの選択可能な実施例では、前記第1距離が所定条件を満たすか否かを判断する前記ステップは、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さいか否かを判断するステップと、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さい場合に、前記第1距離が所定条件を満たしたと決定するステップと、を含む。
本願のいくつかの選択可能な実施例では、前記第3目標領域に対して画像変形処理を行うステップは、前記第1目標領域と前記第2目標領域との間の位置関係に基づいて第3目標領域を、前記第1目標領域に対応する第1領域と前記第2目標領域に対応する第2領域に区画するステップと、第1変形パラメータで前記第1領域に対して画像変形処理を行い、第2変形パラメータで前記第2領域に対して画像変形処理を行うステップと、を含む。
本願の実施例は、第1画像を取得するように構成される取得ユニットと、前記第1画像における目標対象を認識して前記目標対象の第1目標領域を取得し、前記第1目標領域に関連する第2目標領域を取得するように構成される認識ユニットと、前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成するように構成される画像処理ユニットと、を含む画像処理装置を更に提供する。
本願のいくつかの選択可能な実施例では、前記画像処理ユニットは、前記第1目標領域に対して第1変形パラメータで画像変形処理を行っている過程で、前記第2目標領域に対して第2変形パラメータで画像変形処理を行うように構成され、前記第1変形パラメータの変形度合いが前記第2変形パラメータの変形度合いより高い。
本願のいくつかの選択可能な実施例では、前記第2変形パラメータは、前記第2目標領域における画素点と前記第1目標領域との間の距離の変化に伴って変化する。
本願のいくつかの選択可能な実施例では、前記第2目標領域における画素点と前記第1目標領域との間の距離が大きいほど、前記第2目標領域における画素点に対応する第2変形パラメータで表される変形度合いが低い。
本願のいくつかの選択可能な実施例では、前記第2目標領域は、前記第1目標領域に隣接する肢体領域が存在する少なくとも1つの肢体領域を含む。
本願のいくつかの選択可能な実施例では、前記第1目標領域が肩部領域であり、前記第2目標領域が腰部領域及び/又は胸部領域であり、又は、前記第1目標領域が腰部領域であり、前記第2目標領域が胸部領域及び/又は肩部領域である。
本願のいくつかの選択可能な実施例では、前記認識ユニットは、前記第1画像における目標対象の肢体検出情報を認識するように構成され、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、前記画像処理ユニットは、前記第1目標領域に対応する肢体輪郭点情報に基づいて前記第1目標領域の輪郭線を決定し、前記第1目標領域に対応する輪郭点情報に基づいて第1目標領域の中線を決定し、前記第1目標領域を前記輪郭線から前記中線に向かう方向に圧縮処理するか、又は前記第1目標領域を前記中線から前記輪郭線に向かう方向に引き伸ばし処理するように構成される。
本願のいくつかの選択可能な実施例では、前記画像処理ユニットは、前記第1画像に対して格子区画を行って複数の格子制御面を取得するように構成され、更に前記第1目標領域に対応する第1格子制御面に基づいて前記第1目標領域に対して画像変形処理を行うように構成され、更に前記第2目標領域に対応する第2格子制御面に基づいて前記第2目標領域に対して画像変形処理を行うように構成される。
本願のいくつかの選択可能な実施例では、前記認識ユニットは、更に前記目標対象の第3目標領域を取得し、前記第3目標領域と目標対象の肢体領域の縁部の間の第1距離を決定するように構成され、前記第3目標領域が、腕領域及び/又は手部領域を含み、前記画像処理ユニットは、更に前記第1距離が所定条件を満たすか否かを判断し、前記第1距離が所定条件を満たした場合に、前記第1目標領域の画像変形処理過程で前記第2目標領域と前記第3目標領域に対して画像変形処理を行って第2画像を生成するように構成される。
本願のいくつかの選択可能な実施例では、前記画像処理ユニットは、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さいか否かを判断し、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さい場合に、前記第1距離が所定条件を満たしたと決定するように構成される。
本願のいくつかの選択可能な実施例では、前記画像処理ユニットは、前記第1目標領域と前記第2目標領域との間の位置関係に基づいて第3目標領域を、前記第1目標領域に対応する第1領域と前記第2目標領域に対応する第2領域に区画し、第1変形パラメータで前記第1領域に対して画像変形処理を行い、第2変形パラメータで前記第2領域に対して画像変形処理を行うように構成される。
本願の実施例は、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、このプログラムがプロセッサにより実行される時に本願の実施例の前記方法のステップを実現するコンピュータ読取可能記憶媒体を更に提供する。
本願の実施例は、メモリと、プロセッサと、メモリに記憶されている、プロセッサ上で作動可能なコンピュータプログラムと、を含み、前記プロセッサが前記プログラムを実行する時に本願の実施例の前記方法のステップを実現する画像処理装置を更に提供する。
本願の実施例で提供される画像処理方法、装置及びコンピュータ記憶媒体によれば、前記方法は、第1画像を取得し、前記第1画像における目標対象を認識して前記目標対象の第1目標領域を取得し、前記第1目標領域に関連する第2目標領域を取得するステップと、前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成するステップと、を含む。本願の実施例の技術的解決手段を採用すれば、ある局所領域(第1目標領域)の画像変形処理過程でこの局所領域に関連する他の領域(第2目標領域)に対して画像変形処理を行うことで、この局所領域のみに対して画像変形処理を行って比例のバランスが崩れることを回避し、画像変形処理の効果が大幅に向上し、ユーザの操作体験が改善される。
本願の実施例の画像処理方法のフローチャート1である。 本願の実施例の画像処理方法のフローチャート2である。 本願の実施例の画像処理装置の構成の構造模式図である。 本願の実施例の画像処理装置のハードウェア構成の構造模式図である。
以下、図面及び具体的な実施例を参照しながら本願を更に詳細に説明する。
本願の実施例は画像処理方法を提供する。図1は本願の実施例の画像処理方法のフローチャートであり、図1に示すように、方法は、
第1画像を取得し、第1画像における目標対象を認識して目標対象の第1目標領域を取得し、第1目標領域に関連する第2目標領域を取得するステップ101と、
第1目標領域の画像変形処理過程で第2目標領域に対して画像変形処理を行って第2画像を生成するステップ102と、を含む。
本実施例の画像処理方法は第1画像における目標対象を認識し、目標対象は、被処理対象として、画像における真実な人物であってもよく、他の実施形態では、アニメキャラクター等の仮想人物であってもよい。勿論、目標対象は他の種類の対象であってもよく、本願の実施例で限定されない。
いくつかの実施例では、画像認識アルゴリズムによって第1画像における目標対象を認識し、目標対象に対応する肢体領域は、頭部領域、肩部領域、胸部領域、腰部領域、腕領域、手部領域、臀部領域、脚部領域及び足部領域等の中の少なくとも1種を含む。
いくつかの実施例では、第1目標領域は、例えば、肩部領域又は腰部領域等、上記肢体領域のうちの任意の肢体領域であってもよく、第2目標領域は第1目標領域に関連する領域である。一例として、第1目標領域と第2目標領域との間の関連性は、第1目標領域と第2目標領域の位置関係が特定条件を満たすことである。例えば、第1目標領域と第2目標領域の位置関係は、第1目標領域と第2目標領域が隣接するという特定条件を満たしてもよい。更に例えば、第1目標領域と第2目標領域の位置関係は、第1目標領域と第2目標領域との間の距離が所定閾値より小さいという所定条件を満たしてもよく、ここで、第1目標領域と第2目標領域との間の距離が画素距離であり、上記所定閾値が第1画像における目標対象の画素サイズに関連し、一例として、上記所定閾値が第1目標領域の幅又は長さの画素サイズに関連するものであってよい。
いくつかの実施形態では、第2目標領域が第1目標領域と接触し、ここで、第2目標領域は、第1目標領域に隣接する肢体領域が存在する少なくとも1つの肢体領域を含む。一例として、第1目標領域が肩部領域であり、第2目標領域が腰部領域と胸部領域であってもよく、又は、第1目標領域が腰部領域であり、第2目標領域が胸部領域と肩部領域であってもよく、又は第2目標領域が更に臀部領域と脚部領域であってもよい。一例として、目標対象(即ち、目標人物)の胴体部分を構成する肢体領域は、肩部領域、胸部領域及び腰部領域を含んでよく、肩部領域を第1目標領域とする時に、胸部領域と腰部領域を第2目標領域としてよく、又は、腰部領域を第1目標領域とする時に、胸部領域と肩部領域を第2目標領域としてよい。
いくつかの実施形態では、第2目標領域と第1目標領域が隣接しなくてもよい。一例として、第1目標領域が肩部領域であり、第2目標領域が腰部領域であってもよく、又は、第1目標領域が腰部領域であり、第2目標領域が肩部領域又は脚部領域等である。
いくつかの実施形態では、第1目標領域の画像変形処理過程で第2目標領域に対して画像変形処理を行うステップは、第1目標領域に対して第1変形パラメータで画像変形処理を行っている過程で、第2目標領域に対して第2変形パラメータで画像変形処理を行うステップを含み、ここで、第1変形パラメータの変形度合いが第2変形パラメータの変形度合いより高い。ここで、第2変形パラメータは、第2目標領域における画素点と第1目標領域との間の距離の変化に伴って変化する。
いくつかの実施例では、第1目標領域と第2目標領域に対する画像変形処理は、画像圧縮処理又は画像引き伸ばし処理を含んでよく、ここで、画像圧縮処理は、第1目標領域の両側縁部から中線に向かう方向の圧縮処理、第2目標領域の両側縁部から中線に向かう方向の圧縮処理であり、第1目標領域に対応する圧縮度合いが第2目標領域に対応する圧縮度合いより高く、画像引き伸ばし処理は、第1目標領域の中線から両側縁部に向かう方向の引き伸ばし処理、第2目標領域の中線から両側縁部に向かう方向の引き伸ばし処理であり、第1目標領域に対応する引き伸ばす度合いが第2目標領域に対応する引き伸ばす度合いより高い。画像圧縮処理が「痩せる」処理であり、画像引き伸ばし処理が「太くする」処理であることが理解可能である。
いくつかの実施例では、第1目標領域に対して画像変形処理を行っている過程で、第1目標領域に対して画像変形処理を行い、例えば肩部領域又は腰部領域に対して画像変形処理を行うと共に、第1目標領域に関連する第2目標領域に対して画像変形処理を行い、それによって、目標人物の局所領域(即ち、第1目標領域)の画像変形処理過程で、この局所領域に関連する他の領域(即ち、第2目標領域)にも対応的に画像変形処理を行うことで、この局所領域のみに対して画像変形処理を行って比例のバランスが崩れることが回避される。
いくつかの実施例では、第2目標領域の変形度合いが第1目標領域の変形パラメータより低く、第1目標領域が肩部領域であり、第2目標領域が胸部領域と腰部領域であることを例とすると、第1目標領域の第1変形パラメータで表される変形度合いを例えば100%とすれば、腰部領域の第2変形パラメータで表される変形度合いが50%等であってよい。ここで、第1変形パラメータ及び第2変形パラメータの最小値を事前に設定しても良い。
ここで、第2目標領域における異なる位置の第2変形パラメータで表される変形度合いは、この位置と第1目標領域との間の距離に関連する。ここで、この位置と第1目標領域との間の距離は、この位置と第1目標領域の縁部の間の距離であってよい。再度第1目標領域が肩部領域であり、第2目標領域が胸部領域と腰部領域であることを例とすると、第1目標領域(即ち、肩部領域)に対応する第1変形パラメータを例えば100%とし、第2目標領域における肩部領域から最も遠い腰部領域中の腰線位置に対応する第2変形パラメータを例えば50%とすれば、第2目標領域における腰線位置と第1目標領域の縁部の間の中央位置に対応する第2変形パラメータが例えば75%等であってよく、そのようにして必要に応じて様々な所望の体つき、例えば逆三角形の体つき又は他の特別な体つき等を実現できる。
更に例えば、第1目標領域が肩部領域であり、第2目標領域が腕領域であることを例とすると、腕領域の各点から肩部領域までの距離が線形漸増している場合に、即ち腕領域と肩部領域の連結部分が肩部領域までの距離の最も短いところであり、腕領域と手部領域の連結部分が肩部領域までの距離の最も遠いところであり、この場合に、第1目標領域(即ち、肩部領域)から第2目標領域内の肩部領域へ最も遠い縁部までのところにおいて、各画素点に対応する変形パラメータが漸減する。一例として、第1目標領域(即ち、肩部領域)に対応する第1変形パラメータを例えば100%とし、第2目標領域における肩部領域まで最も遠い腕縁部に対応する第2変形パラメータを例えば0%とすれば、第2目標領域における腕の中央位置に対応する第2変形パラメータが例えば50%等であってよく、そのようにして、目標領域の肩部領域の変形処理過程で肩部領域に関連する腕領域を適応的に変形処理することによって、肩部を広過ぎ厚過ぎるように調整したが、腕が細過ぎるようになること、又は肩部を狭過ぎるように調整したが、腕が粗過ぎるようになることを回避し、それによって目標対象の局所調整を可能にしながら、目標対象の全体的な比例のバランスも取れる。
いくつかの実施例では、第2目標領域における画素点と第1目標領域との間の距離が大きいほど、第2目標領域における画素点に対応する第2変形パラメータで表される変形度合いが低い。一例として、再度第1目標領域が肩部領域であり、第2目標領域が胸部領域と腰部領域であることを例とすると、腰部領域は胸部領域に比べて肩部領域までの距離が遠く、そのように腰部領域の変形度合いが胸部領域の変形度合いより低く、更に、腰部領域の、胸部領域から離れる画素点の変形度合いが、胸部領域に近い画素点の変形度合いより低く、胸部領域の、肩部領域から離れた画素点の変形度合いが、肩部領域に近い画素点の変形度合いより低い。実際に応用するに際して、胸部領域と腰部領域における各画素点と肩部領域の一側の輪郭線との間の画素距離をそれぞれ決定し、画素距離に基づいて各画素点に対応する変形パラメータをそれぞれ決定するようにしてよく、ここで、変形パラメータに対応する変形度合いは画素距離が増大するに伴って低下する。
いくつかの実施例では、画像変形アルゴリズムによって第1目標領域と第2目標領域に対して画像変形処理を行う。
いくつかの実施形態では、第1画像における目標対象の肢体検出情報を認識し、肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、肢体キーポイント情報は肢体キーポイントの座標情報を含み、肢体輪郭点情報は肢体輪郭点の座標情報を含む。
具体的には、肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、肢体キーポイント情報は肢体キーポイントの座標情報を含み、肢体輪郭点情報は肢体輪郭点の座標情報を含む。ここで、肢体輪郭点は目標対象の肢体領域の肢体輪郭を表し、即ち、肢体輪郭点の座標情報によって目標対象の肢体輪郭縁部を形成することが可能である。ここで、肢体輪郭点は、腕輪郭点、手部輪郭点、肩部輪郭点、脚部輪郭点、足部輪郭点、腰部輪郭点、頭部輪郭点、臀部輪郭点、胸部輪郭点の中の少なくとも1種を含む。ここで、肢体キーポイントは目標対象の骨格を表すキーポイントであり、即ち、肢体キーポイントの座標情報によって肢体キーポイントを連結すれば、目標対象の主要骨格を形成可能である。ここで、肢体キーポイントは、腕キーポイント、手部キーポイント、肩部キーポイント、脚部キーポイント、足部キーポイント、腰部キーポイント、頭部キーポイント、臀部キーポイント、胸部キーポイントの中の少なくとも1種を含む。
そのように、いくつかの実施形態では、第1目標領域に対して画像変形処理を行うステップは、第1目標領域に対応する肢体輪郭点情報に基づいて第1目標領域の輪郭線を決定するステップと、第1目標領域に対応する肢体輪郭点情報に基づいて第1目標領域の中線を決定するステップと、第1目標領域を輪郭線から中線に向かう方向に圧縮処理するか、又は第1目標領域を中線から輪郭線に向かう方向に引き伸ばし処理するステップと、を含む。それに対応するように、第2目標領域に対して画像変形処理を行うステップは、第2目標領域に対応する肢体輪郭点情報に基づいて第2目標領域の輪郭線を決定するステップと、第2目標領域に対応する輪郭点情報に基づいて第2目標領域の中線を決定するステップと、第2目標領域を輪郭線から中線に向かう方向に圧縮処理するか、又は第2目標領域を中線から輪郭線に向かう方向に引き伸ばし処理するステップと、を含む。
いくつかの実施形態では、第1画像に対して格子区画を行って複数の格子制御面を取得し、第1目標領域に対応する第1格子制御面に基づいて第1目標領域に対して画像変形処理を行い、第2目標領域に対応する第2格子制御面に基づいて第2目標領域に対して画像変形処理を行う。
いくつかの実施形態では、第1画像をN*M個の格子制御面に平均的に区画し、NとMが共にも正整数であり、NとMが同じなものであってもよいし、異なったものであってもよい。例えば、第1画像における目標対象を中心として目標対象の所在する矩形領域に対して格子区画を行ってから、この矩形領域の格子区画粒度に基づいて矩形領域以外の背景領域に対して格子区画を行う。一実施例では、格子制御面の数量が、第1画像における目標対象に対応する肢体領域の第1画像での比例に関係する。例えば、1つの格子制御面が目標対象の一部の肢体領域に対応してよく、例えば1つの格子制御面が目標対象の脚部に対応し、又は1つの格子制御面が目標対象の胸部と腰部に対応し、それによって目標対象の局所変形に寄与する。
いくつかの実施例では、格子制御面が初期状態で矩形となり、格子制御面に更に複数の仮想制御点(又は制御線)を有し、制御点(又は制御線)を移動させることで格子制御面を構成する各制御線の曲率を変更し、それによって格子制御面の変形処理を実現し、以上から理解できるように、変形処理後の格子制御面が曲面になる。
例えば、格子制御面は具体的にはcatmull romスプライン曲線で形成されるcatmull rom曲面であってよい。catmull romスプライン曲線は複数の制御点を有してよく、以上から理解できるように、catmull rom曲面は複数のcatmull romスプライン曲線で形成されてよい。任意のcatmull romスプライン曲線に対応する複数の制御点のうちの少なくとも一部の制御点を移動させることで、catmull romスプライン曲線の変形処理を実現し、以上から理解できるように、複数本のcatmull romスプライン曲線の制御点を移動させることで、複数本のcatmull romスプライン曲線で形成されたcatmull rom曲面に対応する肢体領域の局所変形処理が実現される。ここで、制御点がcatmull rom曲面を形成したcatmull rom曲線に存在するので、制御点を移動させることで制御点のcatmull rom曲線での所在位置の曲率及び/又は位置を変更し、以上から理解できるように、制御点を移動させることで対応するcatmull rom曲線におけるある点又はこの点の近傍の曲線の曲率及び/又は位置を変更でき、それによってcatmull rom曲面おける局所領域の変形処理を実現でき、局所変形をより精確にし、画像処理の効果を高くすることができる。
そのように本願の実施例では第1目標領域と第2目標領域のそれぞれの所在する格子制御面によって、第1目標領域と第2目標領域に対して画像変形処理を行ってよい。
本願の実施例の技術的解決手段を採用すれば、ある局所領域(第1目標領域)の画像変形処理過程で、この局所領域に関連する他の領域(第2目標領域)に対して画像変形処理を行うことで、この局所領域のみに対して画像変形処理を行って比例のバランスが崩れることを回避し、画像変形処理の効果が大幅に向上し、ユーザの操作体験が改善される。
前記実施例によれば、本願の実施例は画像処理方法を更に提供する。図2は本願の実施例の画像処理方法のフローチャート2であり、図2に示すように、方法は、
第1画像を取得し、第1画像における目標対象を認識して目標対象の第1目標領域を取得し、第1目標領域に関連する第2目標領域を取得し、目標対象の第3目標領域を取得するステップ201であって、第3目標領域が、腕領域及び/又は手部領域を含むステップ201と、
第3目標領域と目標対象の肢体領域の縁部の間の第1距離を決定するステップ202と、
第1距離が所定条件を満たすか否かを判断するステップ203と、
第1距離が所定条件を満たした場合に、第1目標領域の画像変形処理過程で第2目標領域と第3目標領域に対して画像変形処理を行って第2画像を生成するステップ204と、を含む。
いくつかの実施例では、目標対象の第3目標領域の取得方式については前記実施例における第1目標領域又は第2目標領域の取得方式を参照してよく、ここで詳細な説明を省略する。
いくつかの実施例では、第3目標領域と目標対象の肢体領域の縁部との間の距離によっては画像変形処理方式を決定する。ここで、目標対象の肢体領域は目標対象の任意の肢体領域であり、即ち、肢体領域は第1目標領域又は第2目標領域であるように限定されなく、他の任意の肢体領域であってもよい。
いくつかの実施形態では、第1距離が所定条件を満たすか否かを判断するステップは、第1距離と第1目標領域の幅との比が所定閾値より小さいか否かを判断するステップと、第1距離と第1目標領域の幅との比が所定閾値より小さい場合に、第1距離が所定条件を満たしたと決定するステップと、を含む。
本実施例では、第3目標領域と目標対象の肢体領域の縁部との間の距離は、第3目標領域の肢体領域に近い縁部から肢体領域の縁部までの平均距離であってよい。第3目標領域が腕領域であることを例とすると、第3目標領域と目標対象の肢体領域の縁部との間の距離は、腕領域の内側縁部と肢体領域の縁部の平均距離であってよい。実際に応用するに際して、腕の内側縁部の輪郭点と肢体領域の縁部の距離の平均値を計算することで実現可能である。ここで、上記距離は具体的には、画素点間の距離であってよく、画素点間に存在する画素点の数量で表してよく、それに対応するように、第1目標領域の幅も画素数量で表しても良い。
更に、第1距離と第1目標領域の幅を比較し、即ち、本実施例では、第1目標領域の幅を参照基準として、第3目標領域と目標対象の肢体領域の縁部との間の距離が近いかそれとも遠いかを決定する。実際に応用するに際して、所定閾値を事前に設定してよく、即ち、第1距離と第1目標領域の幅との比が所定閾値より小さい場合に、第3目標領域が肢体領域の縁部に近いことを示し、それに対応するように、第1距離と第1目標領域の幅との比が所定閾値以上である場合に、第3目標領域が肢体領域の縁部まで遠いことを示す。
関連技術において、一定の所定閾値を2つの物体の距離の遠近を評価する基礎とすることが多く、例えば、所定の画素閾値を、第3目標領域と目標対象の肢体領域の縁部との間の距離が所定条件を満たすか否かを判断する基準とし、しかしながら、このような方式によれば以下のようなことが発生する可能性がある。画像1において、第3目標領域と目標対象の肢体領域の縁部との間の距離が所定の画素閾値を超えており、その場合、第1目標領域の画像変形処理過程で、この第3目標領域を処理することがない。画像2において、この画像2における目標対象のサイズが画像1と同じであるが、画像2のサイズが画像1より大きく、即ち目標対象が画像2に占める割合が小さくなり、この場合、第3目標領域と目標対象の肢体領域の縁部との間の距離が所定の画素閾値を超えないことが発生する可能性が高く、そのため、画像2の第1目標領域の画像変形処理過程で第3目標領域に対して適応的な画像変形処理を行うことになる。そのため、このような方法は画像サイズが様々であり又は目標対象の画像に占める割合が様々である場合に適合しない。本実施形態において、第1目標領域の幅を、第3目標領域と目標対象の肢体領域の縁部との間の距離を決定する基準とし、例えば第1目標領域が肩部領域であり、第3目標領域が腕領域である場合に、肩部領域の幅を基準として腕領域と肢体領域の縁部の間の距離と肩部の幅の比例を決定し、この比例に基づいて第3目標領域を共に画像変形処理するか否かを判断し、それによって異なる画像サイズ及び画像における異なる目標対象の画素サイズに適応できる。
本実施例では、第1距離と第1目標領域の幅との比が所定閾値より小さい場合に、即ち第3目標領域が目標対象の肢体領域の縁部に近い時に、第1目標領域の画像変形処理過程で第2目標領域と第3目標領域に対して画像変形処理を行う。それに対応するように、第1距離と第1目標領域の幅との比が所定閾値より小さくない場合に、即ち第3目標領域が目標対象の肢体領域の縁部まで遠い時に、第1目標領域の画像変形処理過程で第2目標領域に対して画像変形処理を行うが、第3目標領域に対して画像変形処理を行わない。
一例において、依然として第1目標領域が肩部領域であり、第2目標領域が胸部領域と腰部領域であり、第3目標領域が腕領域及び手部領域であることを例とすると、腕領域及び手部領域の内側縁部から胴体領域(胸部領域と腰部領域を含む)の縁部までの平均距離(即ち、第1距離)を決定し、この平均距離と肩部領域の幅との比例が所定閾値より小さい場合に、腕領域及び手部領域が胴体領域に近いことを示し、肩部領域の画像変形処理過程で、胸部領域と腰部領域に対して画像変形処理を行うことに加えて、腕領域及び手部領域に対しても画像変形処理を行う。
ここで、第1目標領域と第2目標領域の画像変形処理過程については前記実施例の説明を参照してよく、ここで詳細な説明を省略する。
第3目標領域の画像変形処理において、いくつかの実施形態では、第1目標領域と第2目標領域との間の位置関係に基づいて第3目標領域を、第1目標領域に対応する第1領域と第2目標領域に対応する第2領域に区画し、第1変形パラメータで第1領域に対して画像変形処理を行い、第2変形パラメータで第2領域に対して画像変形処理を行う。
いくつかの実施形態では、第3目標領域に対する画像変形処理は第1目標領域と第2目標領域に適応させる画像変形処理であり、即ち第3目標領域(例えば、腕領域と手部領域)の幅に対して変形処理を行わず、第1目標領域と第2目標領域の画像変形処理の過程で第3目標領域と目標対象の肢体領域との間の距離を調整して、第3目標領域と目標対象の肢体領域との間の距離を遠くし、それによって第1目標領域と第2目標領域の画像変形処理が完了した後、第3目標領域と目標対象の肢体領域との間の距離が遠いので、第3目標領域に変形処理を行わなくても画像の全体的な変形効果がおかしいことがない。
いくつかの実施形態では、第1距離が所定条件を満たさない場合に、即ち第3目標領域と目標対象の肢体領域の縁部との間の距離と第1目標領域の幅との比例が所定閾値以上である時に、第3目標領域を考慮せず、第1目標領域の画像変形処理過程で第2目標領域のみに対して画像変形処理を行う。
本願の実施例の技術的解決手段を採用すれば、第1態様において、ある局所領域(第1目標領域)の画像変形処理過程でこの局所領域に関連する他の領域(第2目標領域)に対して画像変形処理を行うことで、この局所領域のみに対して画像変形処理を行って比例のバランスが崩れることを回避し、ここで、他の領域(例えば第2目標領域)に対応する変形パラメータはこの他の領域における画素点とこの局所領域(例えば第1目標領域)との間の距離によって変化し、例えば、距離が大きいほど、対応する変形パラメータで表される変形度合いが低く、即ち変形が小さく、それによって、必要に応じて様々な所望の変形効果を実現でき、一方、本願は主に局所領域を変形処理するものであり、関連する他の領域を異なる変形パラメータで変形処理することで、目標対象の全体的な比例のバランスが取れるという効果を達成できる。
第2態様において、第3目標領域と肢体領域の縁部の間の距離を検出し、第3目標領域と肢体領域の縁部の間の距離が近い時に、第1目標領域の画像変形処理の過程で第2目標領域と第3目標領域に対して画像変形処理を行って、画像変形処理の効果が大幅に向上し、ユーザの操作体験が改善され、ここで、第3目標領域と肢体領域の縁部の間の距離(即ち、第1距離)は第1目標領域の幅を基準とし、即ち第1距離と第1目標領域の幅との比が所定閾値より小さいか否かを判断し、第1距離と第1目標領域の幅との比が所定閾値より小さければ、第3目標領域が肢体領域に近いことを示し、第1距離と第1目標領域の幅との比が特定距離より大きければ、第3目標領域が肢体領域まで遠いことを示し、それによって、各種画像サイズ又は同じ画像サイズでありながら目標対象の占める比例が異なる場合に適応可能であり、即ち本願の実施例は様々な場合の画像変形処理に適用できる。
本願の実施例は画像処理装置を更に提供し、図3は本願の実施例の画像処理装置の構成の構造模式図であり、図3に示すように、装置は、
第1画像を取得するように構成される取得ユニット31と、
第1画像における目標対象を認識して目標対象の第1目標領域を取得し、第1目標領域に関連する第2目標領域を取得するように構成される認識ユニット32と、
第1目標領域の画像変形処理過程で第2目標領域に対して画像変形処理を行って第2画像を生成するように構成される画像処理ユニット33と、を含む。
本願のいくつかの選択可能な実施例では、画像処理ユニット33は、第1目標領域に対して第1変形パラメータで画像変形処理を行っている過程で、第2目標領域に対して第2変形パラメータで画像変形処理を行うように構成され、第1変形パラメータの変形度合いが第2変形パラメータの変形度合いより高い。
いくつかの実施例では、第2変形パラメータは、第2目標領域における画素点と第1目標領域との間の距離の変化に伴って変化する。
ここで、第2目標領域における画素点と第1目標領域との間の距離が大きいほど、第2目標領域における画素点に対応する第2変形パラメータで表される変形度合いが低い。
いくつかの実施例では、第2目標領域は、第1目標領域に隣接する肢体領域が存在する少なくとも1つの肢体領域を含む。
一例として、第1目標領域が肩部領域であり、第2目標領域が腰部領域及び/又は胸部領域であり、又は、第1目標領域が腰部領域であり、第2目標領域が胸部領域及び/又は肩部領域である。
本願のいくつかの選択可能な実施例では、認識ユニット32は、第1画像における目標対象の肢体検出情報を認識するように構成され、肢体検出情報は、肢体キーポイント情報及び/又は肢体輪郭点情報を含み、
画像処理ユニット33は、第1目標領域に対応する肢体輪郭点情報に基づいて第1目標領域の輪郭線を決定し、第1目標領域に対応する輪郭点情報に基づいて第1目標領域の中線を決定し、第1目標領域を輪郭線から中線に向かう方向に圧縮処理するか、又は第1目標領域を中線から輪郭線に向かう方向に引き伸ばし処理するように構成される。
本願のいくつかの選択可能な実施例では、画像処理ユニット33は、第1画像に対して格子区画を行って複数の格子制御面を取得するように構成され、更に第1目標領域に対応する第1格子制御面に基づいて第1目標領域に対して画像変形処理を行うように構成され、更に第2目標領域に対応する第2格子制御面に基づいて第2目標領域に対して画像変形処理を行うように構成される。
本願のいくつかの選択可能な実施例では、認識ユニット32は、更に目標対象の第3目標領域を取得し、第3目標領域と目標対象の肢体領域の縁部の間の第1距離を決定するように構成され、前記第3目標領域が、腕領域及び/又は手部領域を含み、
画像処理ユニット33は、更に第1距離が所定条件を満たすか否かを判断し、第1距離が所定条件を満たした場合に、第1目標領域の画像変形処理過程で第2目標領域と第3目標領域に対して画像変形処理を行って第2画像を生成するように構成される。
ここで、画像処理ユニット33は、第1距離と第1目標領域の幅との比が所定閾値より小さいか否かを判断し、第1距離と第1目標領域の幅との比が所定閾値より小さい場合に、第1距離が所定条件を満たしたと決定するように構成される。
本願のいくつかの選択可能な実施例では、画像処理ユニット33は、第1目標領域と第2目標領域との間の位置関係に基づいて第3目標領域を、第1目標領域に対応する第1領域と第2目標領域に対応する第2領域に区画し、第1変形パラメータで第1領域に対して画像変形処理を行い、第2変形パラメータで第2領域に対して画像変形処理を行うように構成される。
本願の実施例では、装置における取得ユニット31、認識ユニット32及び画像処理ユニット33は、実際に応用するに際して、いずれも中央処理装置(CPU、Central Processing Unit)、デジタル信号プロセッサ(DSP、Digital Signal Processor)、マイクロコントローラーユニット(MCU、Microcontroller Unit)又はフィールドプログラマブルゲートアレイ(FPGA、Field−Programmable Gate Array)によって実現可能である。
本願の実施例は画像処理装置を更に提供し、図4は本願の実施例の画像処理装置のハードウェア構成の構造模式図であり、図4に示すように、画像処理装置は、メモリ42と、プロセッサ41と、メモリ42に記憶されている、プロセッサ41上で作動可能なコンピュータプログラムと、を含み、プロセッサ41がプログラムを実行する時に本願の実施例の前記のいずれか一項の画像処理方法を実現する。
画像処理装置における各コンポーネントがバスシステム43によって接続されてよいことが理解可能である。バスシステム43がこれらのコンポーネントの間の接続通信を実現するためのものであることが理解可能である。バスシステム43はデータバスに加えて、更に電源バス、制御バス及び状態信号バスを含む。ただし、説明を明瞭にするために、図4において各種のバスがすべてバスシステム43とされている。
メモリ42は揮発性メモリ又は不揮発性メモリであってもよく、揮発性及び不揮発性メモリの両方を含んでもよいことが理解可能である。ここで、不揮発性メモリは、読み出し専用メモリ(ROM、Read Only Memory)、プログラマブル読み出し専用メモリ(PROM、Programmable Read−Only Memory)、消去可能プログラマブル読み出し専用メモリ(EPROM、Erasable Programmable Read−Only Memory)、電気的消去可能なプログラマブル読み出し専用メモリ(EEPROM、Electrically Erasable Programmable Read−Only Memory)、磁気ランダムアクセスメモリ(FRAM、ferromagnetic random access memory)、フラッシュメモリ(Flash Memory)、磁性面メモリ、光ディスク又はシーディーロム(CD−ROM、Compact Disc Read−Only Memory)であってよく、磁性面メモリは磁気ディスクメモリ又は磁気テープメモリであってよい。揮発性メモリはランダムアクセスメモリ(RAM、Random Access Memory)であってよく、外部キャッシュとして用いられる。例示的なものであり限定する意図がない説明によれば、例えば、スタティックランダムアクセスメモリ(SRAM、Static Random Access Memory)、同期スタティックランダムアクセスメモリ(SSRAM、Synchronous Static Random Access Memory)、ダイナミックランダムアクセスメモリ(DRAM、Dynamic Random Access Memory)、同期ダイナミックランダムアクセスメモリ(SDRAM、Synchronous Dynamic Random Access Memory)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(DDRSDRAM、Double Data Rate Synchronous Dynamic Random Access Memory)、強化型同期ダイナミックランダムアクセスメモリ(ESDRAM、Enhanced Synchronous Dynamic Random Access Memory)、同期接続ダイナミックランダムアクセスメモリ(SLDRAM、SyncLink Dynamic Random Access Memory)、ダイレクトラムバスランダムアクセスメモリ(DRRAM、Direct Rambus Random Access Memory)のような多くの形のRAMが使用可能である。本願の実施例に記載のメモリ42は、これらのメモリ及び他のいかなる適切なメモリを含むが、それらに限定されない。
上記の本願の実施例で開示された方法は、プロセッサ41に用いることができ、又はプロセッサ41によって実現することができる。プロセッサ41は信号処理能力を有する集積回路チップであってよい。実施過程では、上記方法の各ステップはプロセッサ41のハードウェアの集積論理回路又はソフトウェア形態のコマンドによって完成可能である。上記プロセッサ41は共通プロセッサ、DSPまたは他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理デバイス、離散ハードウェアコンポーネント等であってもよい。プロセッサ41は、本願の実施例で開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。共通プロセッサは、マイクロプロセッサ又はいかなる一般のプロセッサ等であってもよい。本願の実施例で開示された方法のステップによれば、ハードウェア復号プロセッサにより実行、完成し、又は復号プロセッサ中のハードウェア及びソフトウェアモジュールの組合により実行、完成するように直接体現することができる。ソフトウェアモジュールは記憶媒体にあってもよく、該記憶媒体はメモリ42に位置し、プロセッサ41はメモリ42中の情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを完成する。
上記実施例で提供された画像処理装置によって画像処理を行う時に、上述したように分割した各プログラムモジュールを例にして説明したが、実用において、必要に応じて上記処理を異なるプログラムモジュールによって完了するように割り当ててもよく、即ち装置の内部構造を異なるプログラムモジュールに分割して上述した全てまたは一部の処理を完了するようにしてもよいことを説明する必要がある。なお、上記実施例で提供された画像処理装置及び画像処理方法の実施例が同じ構想によるものであり、その具体的な実施過程の詳細については方法の実施例を参照し、ここで重複説明を省略する。
例示的な実施例では、本願の実施例はさらにコンピュータ読み取り可能な記憶媒体、例えば、画像処理装置内のプロセッサ41によって実行して、前記方法の前記ステップを完了することができるコンピュータプログラムを含むメモリ42を提供する。コンピュータ読み取り可能な記憶媒体はFRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁性面記憶装置、光ディスク、またはCD−ROMなどのメモリであってもよく、また上記メモリの一つまたは任意の組み合わせを含む様々な機器、例えば携帯電話、コンピュータ、タブレットデバイス、携帯情報端末などであってもよい。
本願の実施例は、コンピュータコマンドが記憶されているコンピュータ読取可能記憶媒体であって、このコマンドがプロセッサにより実行される時に本願の実施例の前記のいずれか一項に記載の画像処理方法を実現するコンピュータ読取可能記憶媒体を更に提供する。
なお、本願が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、ROM、RAM、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
あるいは、本願の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい)に本願の各実施例の前記方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ROM、RAM、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
以上で説明したのは本願の具体的な実施形態に過ぎず、本願の保護範囲がそれに限定されるものでなく、本願に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本願の保護範囲に含まれる。従って、本願の保護範囲は請求項の保護範囲に準ずるべきである。

Claims (24)

  1. 第1画像を取得し、前記第1画像における目標対象を認識して前記目標対象の第1目標領域を取得し、前記第1目標領域に関連する第2目標領域を取得するステップと、
    前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成するステップと、を含む画像処理方法。
  2. 前記第1目標領域の画像変形処理過程で前記第2目標領域に対して画像変形処理を行う前記ステップは、
    前記第1目標領域に対して第1変形パラメータで画像変形処理を行っている過程で、前記第2目標領域に対して第2変形パラメータで画像変形処理を行うステップを含み、
    前記第1変形パラメータの変形度合いが前記第2変形パラメータの変形度合いより高い請求項1に記載の方法。
  3. 前記第2変形パラメータは、前記第2目標領域における画素点と前記第1目標領域との間の距離の変化に伴って変化する請求項2に記載の方法。
  4. 前記第2目標領域における画素点と前記第1目標領域との間の距離が大きいほど、前記第2目標領域における画素点に対応する第2変形パラメータで表される変形度合いが低い請求項3に記載の方法。
  5. 前記第2目標領域は、前記第1目標領域に隣接する肢体領域が存在する少なくとも1つの肢体領域を含む請求項1−4のいずれか一項に記載の方法。
  6. 前記第1目標領域が肩部領域であり、前記第2目標領域が腰部領域及び/又は胸部領域であり、又は、
    前記第1目標領域が腰部領域であり、前記第2目標領域が胸部領域及び/又は肩部領域である請求項1−5のいずれか一項に記載の方法。
  7. 前記第1画像における目標対象を認識する前記ステップは、前記第1画像における目標対象の肢体検出情報を認識するステップを含み、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、
    前記第1目標領域に対して画像変形処理を行うステップは、前記第1目標領域に対応する肢体輪郭点情報に基づいて前記第1目標領域の輪郭線を決定するステップと、
    前記第1目標領域に対応する輪郭点情報に基づいて第1目標領域の中線を決定するステップと、
    前記第1目標領域を前記輪郭線から前記中線に向かう方向に圧縮処理するか、又は前記第1目標領域を前記中線から前記輪郭線に向かう方向に引き伸ばし処理するステップと、を含む請求項1−6のいずれか一項に記載の方法。
  8. 前記第1目標領域に対して画像変形処理を行うステップの前に、前記第1画像に対して格子区画を行って複数の格子制御面を取得するステップを更に含み、
    前記第1目標領域に対して画像変形処理を行うステップは、前記第1目標領域に対応する第1格子制御面に基づいて前記第1目標領域に対して画像変形処理を行うステップを含み、
    前記第2目標領域に対して画像変形処理を行うステップは、前記第2目標領域に対応する第2格子制御面に基づいて前記第2目標領域に対して画像変形処理を行うステップを含む請求項1−7のいずれか一項に記載の方法。
  9. 前記目標対象の第3目標領域を取得するステップであって、前記第3目標領域が、腕領域及び/又は手部領域を含むステップと、
    前記第3目標領域と目標対象の肢体領域の縁部の間の第1距離を決定するステップと、
    前記第1距離が所定条件を満たすか否かを判断するステップと、を更に含み、
    前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成する前記ステップは、
    前記第1距離が所定条件を満たした場合に、前記第1目標領域の画像変形処理過程で前記第2目標領域と前記第3目標領域に対して画像変形処理を行って第2画像を生成するステップを含む請求項1−8のいずれか一項に記載の方法。
  10. 前記第1距離が所定条件を満たすか否かを判断する前記ステップは、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さいか否かを判断するステップと、
    前記第1距離と前記第1目標領域の幅との比が所定閾値より小さい場合に、前記第1距離が所定条件を満たしたと決定するステップと、を含む請求項9に記載の方法。
  11. 前記第3目標領域に対して画像変形処理を行うステップは、
    前記第1目標領域と前記第2目標領域との間の位置関係に基づいて第3目標領域を、前記第1目標領域に対応する第1領域と前記第2目標領域に対応する第2領域に区画するステップと、
    第1変形パラメータで前記第1領域に対して画像変形処理を行い、第2変形パラメータで前記第2領域に対して画像変形処理を行うステップと、を含む請求項9又は10に記載の方法。
  12. 第1画像を取得するように構成される取得ユニットと、
    前記第1画像における目標対象を認識して前記目標対象の第1目標領域を取得し、前記第1目標領域に関連する第2目標領域を取得するように構成される認識ユニットと、
    前記第1目標領域の画像変形処理過程で、前記第2目標領域に対して画像変形処理を行って第2画像を生成するように構成される画像処理ユニットと、を含む画像処理装置。
  13. 前記画像処理ユニットは、前記第1目標領域に対して第1変形パラメータで画像変形処理を行っている過程で、前記第2目標領域に対して第2変形パラメータで画像変形処理を行うように構成され、前記第1変形パラメータの変形度合いが前記第2変形パラメータの変形度合いより高い請求項12に記載の装置。
  14. 前記第2変形パラメータは、前記第2目標領域における画素点と前記第1目標領域との間の距離の変化に伴って変化する請求項13に記載の装置。
  15. 前記第2目標領域における画素点と前記第1目標領域との間の距離が大きいほど、前記第2目標領域における画素点に対応する第2変形パラメータで表される変形度合いが低い請求項14に記載の装置。
  16. 前記第2目標領域は、前記第1目標領域に隣接する肢体領域が存在する少なくとも1つの肢体領域を含む請求項12−15のいずれか一項に記載の装置。
  17. 前記第1目標領域が肩部領域であり、前記第2目標領域が腰部領域及び/又は胸部領域であり、又は、
    前記第1目標領域が腰部領域であり、前記第2目標領域が胸部領域及び/又は肩部領域である請求項12−16のいずれか一項に記載の装置。
  18. 前記認識ユニットは、前記第1画像における目標対象の肢体検出情報を認識するように構成され、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、
    前記画像処理ユニットは、前記第1目標領域に対応する肢体輪郭点情報に基づいて前記第1目標領域の輪郭線を決定し、前記第1目標領域に対応する輪郭点情報に基づいて第1目標領域の中線を決定し、前記第1目標領域を前記輪郭線から前記中線に向かう方向に圧縮処理するか、又は前記第1目標領域を前記中線から前記輪郭線に向かう方向に引き伸ばし処理するように構成される請求項12−17のいずれか一項に記載の装置。
  19. 前記画像処理ユニットは、前記第1画像に対して格子区画を行って複数の格子制御面を取得するように構成され、更に前記第1目標領域に対応する第1格子制御面に基づいて前記第1目標領域に対して画像変形処理を行うように構成され、更に前記第2目標領域に対応する第2格子制御面に基づいて前記第2目標領域に対して画像変形処理を行うように構成される請求項12−18のいずれか一項に記載の装置。
  20. 前記認識ユニットは、更に、前記目標対象の第3目標領域を取得し、前記第3目標領域と目標対象の肢体領域の縁部の間の第1距離を決定するように構成され、前記第3目標領域が、腕領域及び/又は手部領域を含み、
    前記画像処理ユニットは、更に前記第1距離が所定条件を満たすか否かを判断し、前記第1距離が所定条件を満たした場合に、前記第1目標領域の画像変形処理過程で前記第2目標領域と前記第3目標領域に対して画像変形処理を行って第2画像を生成するように構成される請求項12−19のいずれか一項に記載の装置。
  21. 前記画像処理ユニットは、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さいか否かを判断し、前記第1距離と前記第1目標領域の幅との比が所定閾値より小さい場合に、前記第1距離が所定条件を満たしたと決定するように構成される請求項20に記載の装置。
  22. 前記画像処理ユニットは、前記第1目標領域と前記第2目標領域との間の位置関係に基づいて第3目標領域を、前記第1目標領域に対応する第1領域と前記第2目標領域に対応する第2領域に区画し、第1変形パラメータで前記第1領域に対して画像変形処理を行い、第2変形パラメータで前記第2領域に対して画像変形処理を行うように構成される請求項20又は21に記載の装置。
  23. コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記プログラムがプロセッサにより実行される時に請求項1−11のいずれか一項に記載の方法のステップを実現するコンピュータ読取可能記憶媒体。
  24. メモリと、プロセッサと、メモリに記憶されている、プロセッサ上で作動可能なコンピュータプログラムと、を含み、前記プロセッサが前記プログラムを実行する時に請求項1−11のいずれか一項に記載の方法のステップを実現する画像処理装置。
JP2020544626A 2018-09-21 2019-09-23 画像処理方法、装置及びコンピュータ記憶媒体 Active JP7090169B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811110229.5 2018-09-21
CN201811110229.5A CN110942422A (zh) 2018-09-21 2018-09-21 一种图像处理方法、装置和计算机存储介质
PCT/CN2019/107353 WO2020057667A1 (zh) 2018-09-21 2019-09-23 一种图像处理方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2021515313A true JP2021515313A (ja) 2021-06-17
JP7090169B2 JP7090169B2 (ja) 2022-06-23

Family

ID=69888338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020544626A Active JP7090169B2 (ja) 2018-09-21 2019-09-23 画像処理方法、装置及びコンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US20200380250A1 (ja)
JP (1) JP7090169B2 (ja)
KR (1) KR20200077564A (ja)
CN (1) CN110942422A (ja)
SG (1) SG11202008110WA (ja)
WO (1) WO2020057667A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000068A (ko) 2020-06-25 2022-01-03 주식회사 엘지에너지솔루션 전해액의 보충이 가능한 파우치형 전지셀
CN111915539A (zh) * 2020-07-14 2020-11-10 维沃移动通信有限公司 图像处理方法及装置
CN111988664B (zh) * 2020-09-01 2022-09-20 广州酷狗计算机科技有限公司 视频处理方法、装置、计算机设备及计算机可读存储介质
CN112926440A (zh) * 2021-02-22 2021-06-08 北京市商汤科技开发有限公司 动作比对方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056726A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
CN107578380A (zh) * 2017-08-07 2018-01-12 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及存储介质
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2018207365A1 (ja) * 2017-05-12 2018-11-15 富士通株式会社 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289415B2 (ja) * 2007-03-27 2009-07-01 セイコーエプソン株式会社 画像変形のための画像処理
JP5076744B2 (ja) * 2007-08-30 2012-11-21 セイコーエプソン株式会社 画像処理装置
JP5408205B2 (ja) * 2011-08-25 2014-02-05 カシオ計算機株式会社 制御点設定方法、制御点設定装置及びプログラム
CN104349197B (zh) * 2013-08-09 2019-07-26 联想(北京)有限公司 一种数据处理方法及装置
US9918021B2 (en) * 2013-08-30 2018-03-13 Nikon Corporation Image processing device that changes extent of image altering by first and second image processing
CN105184735B (zh) * 2014-06-19 2019-08-06 腾讯科技(深圳)有限公司 一种人像变形方法及装置
CN105321147B (zh) * 2014-06-25 2019-04-12 腾讯科技(深圳)有限公司 图像处理的方法及装置
CN105447823B (zh) * 2014-08-07 2019-07-26 联想(北京)有限公司 一种图像处理方法及一种电子设备
CN104574321B (zh) * 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN108198141B (zh) * 2017-12-28 2021-04-16 北京奇虎科技有限公司 实现瘦脸特效的图像处理方法、装置及计算设备
CN108280455B (zh) * 2018-01-19 2021-04-02 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、程序和介质
CN108986023A (zh) * 2018-08-03 2018-12-11 北京字节跳动网络技术有限公司 用于处理图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056726A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
WO2018207365A1 (ja) * 2017-05-12 2018-11-15 富士通株式会社 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム
CN107578380A (zh) * 2017-08-07 2018-01-12 北京金山安全软件有限公司 一种图像处理方法、装置、电子设备及存储介质
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
SG11202008110WA (en) 2020-09-29
WO2020057667A1 (zh) 2020-03-26
US20200380250A1 (en) 2020-12-03
JP7090169B2 (ja) 2022-06-23
CN110942422A (zh) 2020-03-31
KR20200077564A (ko) 2020-06-30

Similar Documents

Publication Publication Date Title
JP7090169B2 (ja) 画像処理方法、装置及びコンピュータ記憶媒体
US11288796B2 (en) Image processing method, terminal device, and computer storage medium
US11501407B2 (en) Method and apparatus for image processing, and computer storage medium
JP7138769B2 (ja) 画像処理方法、装置及びコンピュータ記憶媒体
US20200334812A1 (en) Image processing methods and apparatuses
US8766979B2 (en) Three dimensional data compression
US9792730B2 (en) Display control method, system and medium
US11941737B2 (en) Artificial intelligence-based animation character control and drive method and apparatus
TWI748274B (zh) 一種圖像處理方法、裝置、電腦設備和電腦儲存介質
WO2021012599A1 (zh) 图像调整方法、装置和计算机设备
CN112307876A (zh) 关节点检测方法及装置
JP7160958B2 (ja) 画像処理方法及び装置、画像処理デバイス並びに記憶媒体
EP3072084A1 (en) System and method for constructing a statistical shape model
KR101888837B1 (ko) 스테레오 매칭 시스템의 전처리 장치
CN112102453B (zh) 一种动画模型骨骼处理方法、装置、电子设备及存储介质
CN111145081B (zh) 基于空间体积特征的三维模型视图投影方法及系统
CN110766603B (zh) 一种图像处理方法、装置和计算机存储介质
CN116226426B (zh) 基于形状的三维模型检索方法、计算机设备和存储介质
CN108665538A (zh) 一种三维模型拟合方法、装置、计算机设备及介质
CN108898627A (zh) 一种基于特征点的模型配准方法及设备
CN116563134A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN114663582A (zh) 人脸图像处理方法、装置电子设备及存储介质
CN116824090A (zh) 一种曲面重建方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211229

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R150 Certificate of patent or registration of utility model

Ref document number: 7090169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150