JP2023117149A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2023117149A JP2023117149A JP2022019701A JP2022019701A JP2023117149A JP 2023117149 A JP2023117149 A JP 2023117149A JP 2022019701 A JP2022019701 A JP 2022019701A JP 2022019701 A JP2022019701 A JP 2022019701A JP 2023117149 A JP2023117149 A JP 2023117149A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input image
- specific
- position condition
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G06T5/77—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
【課題】違和感無く特定の対象物以外を出力しないようにする画像処理方法を提供する。【解決手段】画像処理方法は、カメラから第1入力画像を取得し、前記第1入力画像に基づいて背景画像を生成し、前記第1入力画像に特定の対象物が含まれるか否かを判定し、前記第1入力画像に前記特定の対象物が含まれる場合、該特定の対象物が所定の位置条件を満たすか否かを判断し、前記所定の位置条件を満たす前記特定の対象物を前記背景画像に置き換える。【選択図】図3
Description
本発明の一実施形態は、カメラから入力した画像を処理する画像処理方法および画像処理装置に関する。
特許文献1には、人物を認識し、認識した人物以外の画像をぼかす、プライバシー画像生成システムが開示されている。
特許文献1のシステムは、背景をぼかしているため、利用者に違和感を与える。また、特許文献1のシステムは、参加者(特定の対象物)以外の人物をぼかすことなく出力してしまう場合もある。
以上の事情を考慮して、本開示のひとつの態様は、違和感無く特定の対象物を出力しないようにする画像処理方法を提供することを目的とする。
画像処理方法は、カメラから第1入力画像を取得し、前記第1入力画像に基づいて背景画像を生成し、前記第1入力画像に特定の対象物が含まれるか否かを判定し、前記第1入力画像に前記特定の対象物が含まれる場合、該特定の対象物が所定の位置条件を満たすか否かを判断し、前記所定の位置条件を満たす前記特定の対象物を前記背景画像に置き換える。
本発明の一実施形態によれば、違和感無く特定の対象物以外を出力しないようにできる。
図1は、画像処理装置1の構成を示すブロック図である。画像処理装置1は、カメラ11、CPU12、DSP13、フラッシュメモリ14、RAM15、ユーザインタフェース(I/F)16、スピーカ17、マイク18、通信部19、および表示器20を備えている。
カメラ11、スピーカ17、およびマイク18は、例えば表示器20に向かって上下左右のいずれかの位置に配置される。カメラ11は、表示器20の前に居る利用者の画像を取得する。マイク18は、表示器20の前に居る利用者の音声を取得する。スピーカ17は、表示器20の前に居る利用者に対して、音声を出力する。
CPU12は、フラッシュメモリ14から動作用のプログラムをRAM15に読み出すことにより、画像処理装置1の動作を統括的に制御する制御部として機能する。なお、プログラムは自装置のフラッシュメモリ14に記憶しておく必要はない。CPU12は、例えばサーバ等から都度ダウンロードしてRAM15に読み出してもよい。
DSP13は、CPU12の制御に従って、カメラ11で取得した画像に様々な処理を施す。また、DSP13は、マイク18で取得した音声にも様々な処理を施す。ただし、音声の処理を行うことは、本発明において必須の構成ではない。
通信部19は、DSP13により処理された後の画像に係る映像信号を他の装置に送信する。また、通信部19は、DSP13により処理された後の音信号を他の装置に送信する。他の装置とは、例えばインターネット等を介して接続される遠端側のPC等の情報処理装置である。また、通信部19は、他の装置から映像信号および音信号を受信する。通信部19は、受信した映像信号を表示器20に出力する。通信部19は、受信した音信号をスピーカ17に出力する。表示器20は、他の装置のカメラで取得した画像を表示する。スピーカ17は、他の装置のマイクで取得した話者の音声を出力する。これにより、画像処理装置1は、遠隔地との音声会話を行うためのコミュニケーションシステムとして機能する。
図2は、CPU12およびDSP13により構成される画像処理機能の構成を示すブロック図である。画像処理機能は、画像取得部101、背景画像生成部102、対象物判定部103、条件判断部104、および置換部105を備えている。
図3は、画像処理方法の動作を示すフローチャートである。画像取得部101は、カメラ11で撮影した画像(第1入力画像)を取得する(S11)。背景画像生成部102は、第1入力画像に基づいて背景画像を生成する(S12)。対象物判定部103は、第1入力画像に特定の対象物(人物)が含まれるか否かを判定する(S13)。条件判断部104は、第1入力画像に人物が含まれる場合に、該人物が所定の位置条件を満たすか否かを判断する(S14)。置換部105は、所定の位置条件を満たす人物を背景画像に置き換える(S15)。
図4は、背景画像生成部102の動作の一例を示すフローチャートである。背景画像生成部102は、まず背景画像を初期化する(S21)。その後、背景画像生成部102は、第1入力画像のピクセル毎に時間的な変化の有無を判断する(S22)。すなわち、背景画像生成部102は、ある第1のタイミングで取得した第1入力画像と、第1のタイミングとは異なる第2のタイミングで取得した第2入力画像と、を比較する。背景画像生成部102は、第1入力画像および第2入力画像で変化のないピクセルを、背景画像として生成する(S23)。生成した背景画像は、置換部105に出力される。
背景画像生成部102は、第1入力画像と第2入力画像で変化のあるピクセルがあると判断した場合、さらに全てのピクセルの画像が変化したか否かを判断する(S24)。背景画像生成部102は、全てのピクセルの画像が変化したと判断した場合には、背景画像を初期化に戻る(S24:Yes→S21)。背景画像生成部102は、全てのピクセルの画像が変化していないと判断した場合には、S22の判断に戻る。なお、S24の処理は、全てのピクセルではなく、例えば50%等、全ピクセル数に対して変化したピクセル数が所定値(所定の割合)を超えるか否かで判断してもよい。
これにより、時間的に変化のない領域が背景画像となる。人物は移動するため、あるタイミングにおいて人物に対応するピクセルは背景画像にはならなくとも、当該ピクセルにおける人物は異なるピクセルに移動するため、時間経過とともに全ピクセルについて背景画像が生成される。
なお、第1入力画像および第2入力画像は、それぞれ1フレームの画像に限らない。また、第1のタイミングと第2のタイミングは時間的に連続している必要はない。背景画像生成部102は、例えば複数フレームを平均化した画像を第1入力画像および第2入力画像として用いてもよい。無論、平均化した画像であっても、第1入力画像および第2入力画像は、それぞれ時間的に異なるタイミングで取得した画像に対応する。
次に、対象物判定部103について説明する。対象物判定部103は、第1入力画像に特定の対象物(人物)が含まれるか否かを判定する。対象物判定部103は、例えば画像セグメンテーション処理を行なうことにより、1つの人物を描画している複数のピクセルを特定する。画像セグメンテーション処理は、例えばニューラルネットワーク等を用いた所定のアルゴリズムを用いることにより、人物と背景の境界を認識する処理である。
図5Aは、カメラ11が撮影した画像の一例を示す図である。図5Aの例では、カメラ11は、机の長手方向(奥行き方向)に沿って居る複数の人物の顔画像を撮影している。カメラ11は、机を短手方向に挟んで左側および右側に居る4人の人物、および机よりも遠い位置に居る人物を撮影している。
対象物判定部103は、この様なカメラ11の撮影した画像から人物のピクセルを認識する。カメラ11の撮影した画像が図5Aに示す画像である場合、対象物判定部103は、5人の人物A1~A5の体と背景の境界を認識する。対象物判定部103は、図5Bに示す通り、各ピクセルに対して、そのピクセルを人物A1~A5、あるいは、背景に対応させるラベル(C1~C5、C6)を生成し、置換部105に出力する。ラベルC1~C5は、人物A1~A5に対応するラベルである。ラベルC6は背景に対応するラベルである。なお、対象物判定部103は、認識した人物の顔の位置に図中のB1~B5の四角で示す様な境界ボックス(Bounding Box)を設定してもよい。対象物判定部103は、境界ボックスの位置情報を置換部105に出力してもよい。
さらに、対象物判定部103は、境界ボックスの大きさに基づいて各人物との距離を求める。フラッシュメモリ14には、予め境界ボックスの大きさと距離との関係を示したテーブルまたは関数等が記憶されている。対象物判定部103は、設定した境界ボックスの大きさと、フラッシュメモリ14に記憶されているテーブルを比較し、人物との距離を求める。
なお、対象物判定部103は、特定の人物を示すラベルを持つピクセルの総数や、特定の人物を示すラベルを持つピクセルが縦に連続する最大数や、横に連続する最大数からその人物の距離を推定してもよい。なお、対象物判定部103は、カメラ11の撮影した画像から人物の身体を推定し、人物の位置を推定してもよい。対象物判定部103は、ニューラルネットワーク等の所定のアルゴリズムにより、カメラ11の撮影した画像から人の骨格(ボーン)を求める。ボーンは、目、鼻、首、肩、および手足等を含む。フラッシュメモリ14には、予めボーンの大きさと距離との関係を示したテーブルまたは関数等が記憶されている。対象物判定部103は、認識したボーンの大きさと、フラッシュメモリ14に記憶されているテーブルを比較し、人物との距離を求めてもよい。
また、距離の推定手法は、上記例に限らない。例えば、カメラ11がステレオカメラである(2つ以上のカメラを備える)場合、対象物判定部103は、2つのカメラの距離および2つの画像の視差に基づいて、各人物の距離を求めることができる。また、対象物判定部103は、LiDAR(Light Detection and Ranging)等の測距機構を用いて各人物の距離を求めてもよい。
対象物判定部103は、各ピクセルの識別情報(例えばA1,A2等のラベル情報)を置換部105に出力し、各人物の2次元角度とカメラの距離を示す情報を条件判断部104に出力する。すなわち、この例では、対象物判定部103は、各人物の位置情報として、3次元の位置情報を条件判断部104へ出力する。
条件判断部104は、各人物の位置情報が所定の位置条件を満たすか否かを判断する。所定の位置条件とは、例えば距離の値が所定値以上の場合である。図5Aの例では、人物A1,A2,A4,A5は、カメラ11に近く、所定の位置条件を満たさない。人物A3は、カメラ11よりも遠く、所定の位置条件を満たす。
したがって、条件判断部104は、人物A3を所定の位置条件を満たすと判断し、人物A3が位置条件を満たす旨を示す情報を置換部105に出力する。
置換部105は、位置条件を満たす人物の画像を背景画像に置き換える。図5Aの例では、人物A3が位置条件を満たすため、人物A3に対応するラベルC3を持つピクセルを、背景画像生成部102で生成した背景画像のピクセルに置換する。これにより、図6に示す様に、人物A3に対応するラベルを持つピクセルC3が、背景画像のピクセルに置き換わる。なお、置換部105は、置換対象のピクセルにおいて背景画像の生成が完了していない場合には、カメラ11の画像をそのまま出力してもよいし、特定の色に置換してもよい。置換部105は、置換対象のピクセルの周囲のピクセルの色情報を平均化して、平均値の色に置き換えてもよい。これにより、置換部105は、仮に背景画像が生成されていない状態でも違和感の無い画像に置き換えることができる。
以上の様に、本実施形態の画像処理装置1は、遠方の人物を背景画像に置き換えるため、違和感無く、会議参加者以外の人物の画像を出力しないようにできる。
上述の例では、背景画像生成部102は、時間的に変化の無いピクセルを用いて背景画像を生成した。しかし、背景画像生成部102は、対象物判定部103の判定結果を用いて背景画像を生成してもよい。背景画像生成部102は、第1入力画像および第2入力画像においてともに人物が含まれない領域を特定し、該特定した領域の画像を背景画像として生成する。この場合、背景画像生成部102は、第1入力画像のピクセルを用いてもよいし、第2入力画像のピクセルを用いてもよい。
あるいは、背景画像生成部102は、第1入力画像に人物が含まれる領域であっても、第2入力画像において人物が存在しない領域がある場合、第2入力画像のうち当該領域のピクセルを用いて背景画像を生成してもよい。あるいは逆に、背景画像生成部102は、第1入力画像において人物が存在せず、第2入力画像において人物が存在する領域がある場合、第1入力画像のうち当該領域のピクセルを用いて背景画像を生成してもよい。
上記実施形態では、「所定の位置条件」として距離を含む3次元位置の条件を示した。しかし、「所定の位置条件」とは距離を含む3次元位置の条件に限らない。条件判断部104は、例えば、画角が所定角度以内であることを所定の位置条件としてもよい。この場合、条件判断部104は、ユーザから画角の設定を受け付けてもよい。例えば、ユーザは、カメラ11の正面を0度とした場合に、カメラ11から向かって左側30度(-30度)~右側30度(+30度)の範囲を指定する。この場合、条件判断部104は、カメラ11の画像から、画角-30度~+30度に対応するピクセル内の人物を所定の位置条件を満たさないと判断する。また、条件判断部104は、カメラ11の画像から、画角-30度~+30度の範囲外に対応するピクセルの人物を所定の位置条件を満たすと判断する。
あるいは、条件判断部104は、カメラ11の画像の中から、ピクセル範囲の指定を受け付けてもよい。例えば、図7に示す様に、ユーザは、カメラ11の画像から、あるピクセル範囲S1を指定する。条件判断部104は、カメラ11の画像から、ピクセル範囲S1内の人物を所定の位置条件を満たさないと判断する。また、条件判断部104は、カメラ11の画像から、ピクセル範囲S1の範囲外に対応するピクセルの人物を所定の位置条件を満たすと判断する。図7の例では、条件判断部104は、人物A2,A3,A4が位置条件を満たす旨を示す情報を置換部105に出力する。その結果、置換部105は、人物A2,A3,A4に対応するピクセルを背景画像に置換する。
この様に、本実施形態の画像処理装置1は、利用者から位置条件の指定を受け付けてもよい。さらに、本実施形態の画像処理装置1は、表示器20に所定の空間を表示し、該所定の空間に対する位置条件の指定を受け付けてもよい。
図8(A)は、表示器20に表示されるGUIの一例を示す図である。画像処理装置1のCPU12は、表示器20に図8(A)に示す様な所定の空間を表示する。この場合、CPU12は、表示処理部として機能する。図8(A)の例では、CPU12は、表示器20に、室内を模した2次元平面画像を表示している。また、CPU12は、机および椅子を模した平面画像も表示している。
CPU12は、ユーザI/F16を介して、2次元平面画像に対する位置条件の指定を受け付ける。ユーザI/F16は、マウス、キーボード、あるいは表示器20に重畳されたタッチパネルからなり、受付部の一例である。ユーザが図8(A)に示す2次元平面画像の任意の位置を選択すると、CPU12は、選択された位置に対応するピクセル座標(2次元座標)および距離情報を「位置条件」として受け付ける。また、CPU12は、選択された位置を示す画像(図8(A)の例ではハッチング画像)を重畳して表示する。
図8(A)に示す2次元平面画像の左右の位置は、ピクセル座標のX座標に対応する。図8(A)に示す2次元平面画像の上下の位置は、距離情報に対応する。ピクセル座標のY座標は、全ピクセルが選択されたものとして受け付ける。あるいは、ピクセル座標のY座標は、ユーザから所定の位置条件を満たすための高さ範囲の数値(例えば0.7~2m等の数値)を受け付けてもよい。あるいは、図8(B)に示す様に、CPU12は、表示器20に表示した所定の空間に、位置条件に対応する画像(ボックスS2)を重畳して表示してもよい。この場合、CPU12は、ボックスS2の上下の大きさを変更する操作を受け付けてもよい。CPU12は、ボックスS2の上下の大きさを高さ情報(ピクセル座標のY座標範囲)に対応させる。
条件判断部104は、カメラ11の画像から、図8(A)の2次元平面画像で受け付けた位置条件に応じて、各人物が所定の位置条件を満たすか否かを判断する。図8(A)の例では、条件判断部104は、人物A3を所定の位置条件を満たすと判断し、人物A3が位置条件を満たす旨を示す情報を置換部105に出力する。その結果、置換部105は、人物A3に対応するピクセルを背景画像に置換する。
図9(A)は、表示器20に表示されるGUIの別の例を示す図である。画像処理装置1のCPU12は、図8(A)と同様に、表示器20に所定の空間を表示する。
CPU12は、ユーザI/F16を介して、2次元平面画像に対する位置条件の指定を受け付ける。図9(A)の例では、CPU12は、位置条件に対応する扇形の画像を2次元平面画像に重畳して表示器20に表示する。ユーザは、扇形のサイズを変更する操作を行う。例えば、ユーザは、扇形の円弧をタッチしてスワイプ操作を行うと、扇形の半径を変更することができる。ユーザは、扇形の直線部をタッチしてスワイプ操作を行うと、扇形の内角を変更することができる。
CPU12は、扇型の大きさに対応する画角および距離情報を「位置条件」として受け付ける。図9(A)に示す扇形画像の半径は、距離情報に対応する。図9(A)に示す扇形画像の左右の開き角は、画角に対応し、ピクセル座標のX座標に対応する。ピクセル座標のY座標は、全ピクセルが選択されたものとして受け付ける。あるいは、ピクセル座標のY座標は、ユーザから高さ情報の数値(例えば0.7~2mm等の数値)を受け付けてもよい。あるいは、図9(B)に示す様に、CPU12は、表示器20に表示した所定の空間に、扇形に対応する画像(ボックスS3)を重畳して表示してもよい。この場合、CPU12は、ボックスS3の上下の大きさを変更する操作を受け付けてもよい。CPU12は、ボックスS3の上下の大きさを高さ情報(ピクセル座標のY座標)に対応させる。
この場合も、条件判断部104は、カメラ11の画像から、図9(A)の2次元平面画像で受け付けた位置条件に応じて、各人物が所定の位置条件を満たすか否かを判断する。図9(A)の例では、条件判断部104は、人物A1,A3,A5を所定の位置条件を満たすと判断し、人物A1,A3,A5が位置条件を満たす旨を示す情報を置換部105に出力する。その結果、置換部105は、人物A1,A3,A5に対応するピクセルを背景画像に置換する。
なお、条件判断部104は、各人物の画像に対応する境界ボックスの全ての範囲が所定の位置条件を満たしているか否かを判定してもよいし、境界ボックスの一部が所定の位置条件を満たしているか否かを判定してもよい。条件判断部104は、境界ボックスの一部が所定の位置条件を満たしているか否かを判定する場合、例えば50%等、境界ボックスの全ピクセル数に対して、位置条件を満たすピクセル数が所定値(所定の割合)を超える場合に、当該境界ボックスの人物が所定の位置条件を満たすと判断してもよい。
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。
例えば、特定の画像は、人物に限らない。特定の画像は、例えば、動物であってもよいし、PCの画面、あるいは紙資料等であってもよい。例えば、PCの画面や紙資料において会議に関係の無い機密情報が記載されている場合でも、本実施形態の画像処理装置は、これらの機密情報が記載された特定の画像を背景画像に置き換える。これにより、本実施形態の画像処理装置は、プライバシーを保ちながら違和感の無い画像を出力することができる。
1…画像処理装置
11…カメラ
12…CPU
13…DSP
14…フラッシュメモリ
15…RAM
16…ユーザI/F
17…スピーカ
18…マイク
19…通信部
20…表示器
101…画像取得部
102…背景画像生成部
103…対象物判定部
104…条件判断部
105…置換部
11…カメラ
12…CPU
13…DSP
14…フラッシュメモリ
15…RAM
16…ユーザI/F
17…スピーカ
18…マイク
19…通信部
20…表示器
101…画像取得部
102…背景画像生成部
103…対象物判定部
104…条件判断部
105…置換部
Claims (20)
- カメラから第1入力画像を取得し、
前記第1入力画像に基づいて背景画像を生成し、
前記第1入力画像に特定の対象物が含まれるか否かを判定し、
前記第1入力画像に前記特定の対象物が含まれる場合、該特定の対象物が所定の位置条件を満たすか否かを判断し、
前記所定の位置条件を満たす前記特定の対象物を前記背景画像に置き換える、
画像処理方法。 - 前記第1入力画像を第1のタイミングで取得し、前記第1のタイミングとは異なる第2のタイミングで第2入力画像を取得し、
前記第1入力画像および前記第2入力画像を比較して、変化が無い領域を用いて前記背景画像を生成する、
請求項1に記載の画像処理方法。 - 前記第1入力画像を第1のタイミングで取得し、前記第1のタイミングとは異なる第2のタイミングで第2入力画像を取得し、以下の(i)~(iii)のいずれかで前記背景画像を生成する請求項1に記載の画像処理方法。
(i)前記第1入力画像かつ前記第2入力画像においてともに前記特定の画像が含まれない領域を特定し、前記第1入力画像または前記第2入力画像のいずれかのうち前記特定した領域を用いる。
(ii)前記第1入力画像において前記特定の画像が含まれ、かつ、前記第2入力画像において前記特定の画像が含まれない領域を特定し、前記第2入力画像のうち前記特定した領域を用いる。
(iii)前記第1入力画像において前記特定の画像が含まれず、かつ、前記第2入力画像において前記特定の画像が含まる領域を特定し、前記第1入力画像のうち前記特定した領域を用いる。 - 前記所定の位置条件は、距離を含む3次元位置の条件である、
請求項1乃至請求項3のいずれか1項に記載の画像処理方法。 - 前記距離が所定値を超える場合に、前記位置条件を満たすと判断する、
請求項4に記載の画像処理方法。 - 前記特定の画像は人物の画像を含む、
請求項1乃至請求項5のいずれか1項に記載の画像処理方法。 - 前記特定の画像の大きさに基づいて、前記特定の位置条件を満たすか否かを判断する、
請求項1乃至請求項5のいずれか1項に記載の画像処理方法。 - 利用者から前記位置条件の指定を受け付ける、
請求項1乃至請求項7のいずれか1項に記載の画像処理方法。 - 表示器に所定の空間を表示し、
前記所定の空間に対する前記位置条件の指定を受け付ける、
請求項8に記載の画像処理方法。 - 前記所定の空間に、前記位置条件に対応する画像を重畳して表示する、
請求項9に記載の画像処理方法。 - カメラから第1入力画像を取得する画像取得部と、
前記第1入力画像に基づいて背景画像を生成する背景画像生成部と、
前記第1入力画像に特定の対象物が含まれるか否かを判定する対象物判定部と、
前記第1入力画像に前記特定の対象物が含まれる場合、該特定の対象物が所定の位置条件を満たすか否かを判断する条件判断部と、
前記所定の位置条件を満たす前記特定の対象物を前記背景画像に置き換える置換部と、
を備えた画像処理装置。 - 前記画像取得部は、前記第1入力画像を第1のタイミングで取得し、前記第1のタイミングとは異なる第2のタイミングで第2入力画像を取得し、
前記背景画像生成部は、前記第1入力画像および前記第2入力画像を比較して、変化が無い領域を用いて前記背景画像を生成する、
請求項11に記載の画像処理装置。 - 前記画像取得部は、前記第1入力画像を第1のタイミングで取得し、前記第1のタイミングとは異なる第2のタイミングで第2入力画像を取得し、
前記背景画像生成部は、以下の(i)~(iii)のいずれかで前記背景画像を生成する請求項11に記載の画像処理装置。
(i)前記第1入力画像かつ前記第2入力画像においてともに前記特定の画像が含まれない領域を特定し、前記第1入力画像または前記第2入力画像のいずれかのうち特定した領域を用いる。
(ii)前記第1入力画像において前記特定の画像が含まれ、かつ、前記第2入力画像において前記特定の画像が含まれない領域を特定し、前記第2入力画像のうち前記特定した領域を用いる。
(iii)前記第1入力画像において前記特定の画像が含まれず、かつ、前記第2入力画像において前記特定の画像が含まる領域を特定し、前記第1入力画像のうち前記特定した領域を用いる。 - 前記所定の位置条件は、距離を含む3次元位置の条件である、
請求項11乃至請求項13のいずれか1項に記載の画像処理装置。 - 前記条件判断部は、前記距離が所定値を超える場合に、前記位置条件を満たすと判断する、
請求項14に記載の画像処理装置。 - 前記特定の画像は人物の画像を含む、
請求項11乃至請求項15のいずれか1項に記載の画像処理装置。 - 前記条件判断部は、前記特定の画像の大きさに基づいて、前記特定の位置条件を満たすか否かを判断する、
請求項11乃至請求項15のいずれか1項に記載の画像処理装置。 - 利用者から前記位置条件の指定を受け付ける受付部を備えた、
請求項11乃至請求項17のいずれか1項に記載の画像処理装置。 - 表示器に所定の空間を表示する表示処理部を備え、
前記受付部は、前記所定の空間に対する前記位置条件の指定を受け付ける、
請求項18に記載の画像処理装置。 - 前記表示処理部は、前記所定の空間に、前記位置条件に対応する画像を重畳して表示する、
請求項19に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022019701A JP2023117149A (ja) | 2022-02-10 | 2022-02-10 | 画像処理方法および画像処理装置 |
US18/161,269 US20230254569A1 (en) | 2022-02-10 | 2023-01-30 | Image processing method and image processing apparatus |
EP23154433.9A EP4227888A1 (en) | 2022-02-10 | 2023-02-01 | Image processing method and image processing apparatus |
CN202310053836.7A CN116579915A (zh) | 2022-02-10 | 2023-02-03 | 图像处理方法以及图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022019701A JP2023117149A (ja) | 2022-02-10 | 2022-02-10 | 画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023117149A true JP2023117149A (ja) | 2023-08-23 |
Family
ID=85158710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022019701A Pending JP2023117149A (ja) | 2022-02-10 | 2022-02-10 | 画像処理方法および画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230254569A1 (ja) |
EP (1) | EP4227888A1 (ja) |
JP (1) | JP2023117149A (ja) |
CN (1) | CN116579915A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4853320B2 (ja) * | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
US8218831B2 (en) * | 2008-06-30 | 2012-07-10 | Cisco Technology, Inc. | Combined face detection and background registration |
JP2012029209A (ja) | 2010-07-27 | 2012-02-09 | Hitachi Ltd | 音処理システム |
JP6732522B2 (ja) * | 2016-05-02 | 2020-07-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2022
- 2022-02-10 JP JP2022019701A patent/JP2023117149A/ja active Pending
-
2023
- 2023-01-30 US US18/161,269 patent/US20230254569A1/en active Pending
- 2023-02-01 EP EP23154433.9A patent/EP4227888A1/en active Pending
- 2023-02-03 CN CN202310053836.7A patent/CN116579915A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230254569A1 (en) | 2023-08-10 |
CN116579915A (zh) | 2023-08-11 |
EP4227888A1 (en) | 2023-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887234B2 (en) | Avatar display device, avatar generating device, and program | |
WO2017215295A1 (zh) | 一种摄像机参数调整方法、导播摄像机及系统 | |
CN106462937B (zh) | 图像处理装置以及图像显示装置 | |
KR20160135652A (ko) | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 | |
JP2016085742A (ja) | 前景画像分割方法及び前景画像分割装置 | |
JP5833526B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
JP7074056B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
JP2016213674A (ja) | 表示制御システム、表示制御装置、表示制御方法、及びプログラム | |
JP2016213677A (ja) | 遠隔コミュニケーションシステム、その制御方法、及びプログラム | |
Tanveer et al. | Do you see what I see? Designing a sensory substitution device to access non-verbal modes of communication | |
JP2011097447A (ja) | コミュニケーションシステム | |
JP5731462B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
US11627303B2 (en) | System and method for corrected video-see-through for head mounted displays | |
JP2023117149A (ja) | 画像処理方法および画像処理装置 | |
JP5759439B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
EP4113982A1 (en) | Method for sensing and communicating visual focus of attention in a video conference | |
JP5898036B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
KR20120092960A (ko) | 가상 캐릭터 제어 시스템 및 방법 | |
US20230306698A1 (en) | System and method to enhance distant people representation | |
JP2021068272A (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2016213675A (ja) | 遠隔コミュニケーションシステム、その制御方法、及びプログラム | |
JP2014086774A (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
US20240119619A1 (en) | Deep aperture | |
JP2014233045A (ja) | 映像表示システム及び映像表示方法 | |
Baek et al. | Gaze correction using feature-based view morphing and performance evaluation |