JP2000232609A - Special effect processing method and image processing unit - Google Patents
Special effect processing method and image processing unitInfo
- Publication number
- JP2000232609A JP2000232609A JP3330299A JP3330299A JP2000232609A JP 2000232609 A JP2000232609 A JP 2000232609A JP 3330299 A JP3330299 A JP 3330299A JP 3330299 A JP3330299 A JP 3330299A JP 2000232609 A JP2000232609 A JP 2000232609A
- Authority
- JP
- Japan
- Prior art keywords
- image
- special effect
- pixel
- input image
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ディスプレイに表
示する画像の特定部分に画像変形，変調等による特殊効
果を施すための特殊効果処理方法及び画像処理装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a special effect processing method and an image processing apparatus for applying a special effect such as image deformation and modulation to a specific portion of an image displayed on a display.
【０００２】[0002]
【従来の技術】図８は従来の画像処理装置の基本的な構
成を示すもので、１は、オペレータによって選択された
モザイク，デフォーカス，色替え等の特殊効果を、入力
端子から入力した画像Ｉ面にそれぞれ施し、画像IIとし
て出力する特殊効果発生処理部、２は特殊効果発生処理
部１において画像Ｉの全面に特殊効果を施すのに要する
時間だけ画像Ｉの出力タイミングを遅らせる遅延部であ
る。2. Description of the Related Art FIG. 8 shows a basic configuration of a conventional image processing apparatus. Reference numeral 1 denotes an image obtained by inputting special effects selected by an operator, such as mosaic, defocus, and color change, from an input terminal. A special effect generation processing unit that applies the special effect to the entire surface of the image I in the special effect generation processing unit 1 and a delay unit that delays the output timing of the image I by the time required to apply the special effect to the entire surface of the image I in the special effect generation processing unit 1 is there.
【０００３】３は、オペレータが特殊効果を施したい人
物，物体，景色等の全体或いは部分の画像領域ａ（以下
「特殊効果画像領域ａ」という）を画像IIIとして設定
すると、遅延部２から入力した画像Ｉの中から特殊効果
画像領域ａ内の画像を検出したときに切替信号を出力す
る切替信号発生処理部、４は、切替信号が入力しないと
きには遅延部２から入力する画像Ｉを出力し、切替信号
が入力したときには特殊効果発生処理部１から入力する
画像IIを出力する画像切替合成処理部である。[0003] When an operator sets an image area a (hereinafter, referred to as a “special effect image area a”) of the whole or a part of a person, object, scenery or the like to which a special effect is to be applied as an image III, an input from the delay unit 2 is made. The switching signal generation processing unit 4 that outputs a switching signal when an image in the special effect image area a is detected from the image I, and outputs the image I that is input from the delay unit 2 when the switching signal is not input. , An image switching / synthesizing unit that outputs an image II input from the special effect generation processing unit 1 when a switching signal is input.
【０００４】このように構成された従来例では、例えば
山中の木立の近傍に人物が立っている画像Ｉが入力端子
に入力すると、画像Ｉにオペレータが選択した特殊効
果、例えばモザイクを施した画像IIが特殊効果発生処理
部１から画像切替合成処理部４に出力されるのに同期し
て、画像Ｉが遅延部２から画像切替合成処理部４に出力
される。In the conventional example configured as described above, for example, when an image I in which a person stands near a grove in the mountains is input to an input terminal, a special effect selected by an operator, for example, an image in which a mosaic is applied to the image I The image I is output from the delay unit 2 to the image switching / combining unit 4 in synchronization with the output of II from the special effect generation processing unit 1 to the image switching / combining unit 4.
【０００５】このとき、特殊効果画像領域ａが切替信号
発生処理部３に設定されていなければ、切替信号は切替
信号発生処理部３から全く出力されないので、画像Ｉが
画像切替合成処理部４からそのまま出力されて、ディス
プレイには例えば山中の木立の近傍に人物が立っている
画像Ｉがそのまま表示される。At this time, if the special effect image area a is not set in the switching signal generation processing unit 3, no switching signal is output from the switching signal generation processing unit 3. The image I is output as it is, and an image I in which a person stands near a grove in the mountains is displayed on the display as it is.
【０００６】又、例えば人物全体が特殊効果画像領域ａ
として切替信号発生処理部３に設定されていれば、画像
Ｉの特殊効果画像領域ａ外の画像を検出したときには、
切替信号は切替信号発生処理部３から出力されないの
で、画像Ｉの特殊効果画像領域ａ外の画像、例えば山中
に木が立っている景色の画像が画像切替合成処理部４か
ら出力されると共に、画像Ｉの特殊効果画像領域ａ内の
画像を検出したときには、切替信号が切替信号発生処理
部３から出力されるので、画像IIの特殊効果画像領域ａ
内の画像、例えば人物にモザイクを施した画像が画像切
替合成処理部４から出力されるので、ディスプレイに
は、画像Ｉの特殊効果画像領域ａの中に画像IIの特殊効
果画像領域ａ内の画像を嵌め込んだ画像IV、例えば山中
の木立の近傍に立っている人物にモザイクを施した画像
IVが表示される。Also, for example, the whole person is in the special effect image area a.
Is set in the switching signal generation processing unit 3, when an image outside the special effect image area a of the image I is detected,
Since the switching signal is not output from the switching signal generation processing unit 3, an image outside the special effect image area a of the image I, for example, an image of a landscape with trees standing in the mountains is output from the image switching synthesis processing unit 4, When an image in the special effect image area a of the image I is detected, the switching signal is output from the switching signal generation processing unit 3, so that the special effect image area a of the image II is detected.
Are output from the image switching / synthesizing processing unit 4, for example, an image obtained by mosaicing a person is displayed on the display. Image IV with embedded image, eg mosaic of a person standing near a grove in the mountains
IV is displayed.
【０００７】[0007]
【発明が解決しようとする課題】ところで、画像Ｉの中
の特殊効果を施したい画像が画面内で移動したり、この
画像の形状或いは大きさが画面内で変化するときには、
オペレータは、この画像の動き或いは変化に合わせて特
殊効果画像領域ａが画面内で移動したり、特殊効果画像
領域ａの形状或いは大きさが画面内で変化したりするよ
うに、切替信号発生処理部３に設定する特殊効果画像領
域ａを逐次変えていかなければならない。By the way, when an image in the image I to which a special effect is to be applied moves in the screen or when the shape or size of this image changes in the screen,
The operator performs the switching signal generation processing so that the special effect image area a moves in the screen in accordance with the movement or change of the image, or the shape or size of the special effect image area a changes in the screen. The special effect image area a set in the section 3 must be changed sequentially.
【０００８】このため、特殊効果を施したい画像の動き
や、この画像の形状或いは大きさの変化が早いと、特殊
効果を施したい画像と特殊効果画像領域ａとの間の位
置，形状或いは大きさにずれが生じて、画像Ｉの中の所
望の画像に特殊効果を確実に施せなくなるため、従来の
画像処理装置はテレビジョンの生放送番組でほとんど使
用できないという課題があった。For this reason, if the movement of an image to which a special effect is to be applied or the shape or size of the image changes rapidly, the position, the shape or the size between the image to which the special effect is to be applied and the special effect image area a are determined. Since a difference occurs and a special effect cannot be reliably applied to a desired image in the image I, there has been a problem that the conventional image processing apparatus can hardly be used for a live television broadcast program.
【０００９】又、画像Ｉの中の所望の画像をフルカラー
で表示し、その他の画像をモノカラーで表示するような
特殊効果を画像Ｉに施すときには、領域設定画像IIIに
設定する特殊効果画像領域ａと画像Ｉの中の特殊効果を
施したい画像の位置，形状或いは大きさの変化とが完全
に一致するように、領域設定画像IIIへの特殊効果画像
領域ａの設定を１フィールド，１フレーム或いは１コマ
ずつ緻密に行わなければならないため、従来の画像処理
装置はテレビジョンの生放送番組で全く使用できず、こ
のような特殊効果はＣＭ等の特定の分野でしか使用でき
ないという課題があった。When a special effect such as displaying a desired image in the image I in full color and displaying other images in mono color is applied to the image I, the special effect image area set in the area setting image III The setting of the special effect image area a in the area setting image III is performed in one field and one frame so that the change in the position, the shape, or the size of the image to which the special effect is to be applied in the image I is completely matched. Alternatively, since the image processing must be performed minutely for each frame, the conventional image processing apparatus cannot be used at all for live broadcast programs on television, and there is a problem that such special effects can be used only in specific fields such as commercials. .
【００１０】本発明は、このような課題を解決するもの
で、入力画像の中の所望の画像に所望の特殊効果をリア
ルタイムに、自動的に且つ確実に施せる特殊効果処理方
法及び画像処理装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention solves such a problem, and provides a special effect processing method and an image processing apparatus capable of automatically and reliably applying a desired special effect to a desired image in an input image in real time. The purpose is to provide.
【００１１】[0011]
【課題を解決するための手段】本発明は、特定条件に基
づいて判別された入力画像の中の特殊効果を施したい画
像部分に特殊処理を施して、入力画像に合成処理する方
法である。SUMMARY OF THE INVENTION The present invention is a method for performing a special process on an image portion to which a special effect is to be applied in an input image determined based on a specific condition and synthesizing the input image.
【００１２】本発明の特定条件は、入力画像，入力画像
の輝度，入力画像の色，入力画像の輪郭のうちの少なく
とも１つである。The specific condition of the present invention is at least one of the input image, the luminance of the input image, the color of the input image, and the outline of the input image.
【００１３】本発明の特殊効果は、モザイク，スクラン
ブル，バースト，メルト，ペイント（ビット落し），ネ
ガ（反転），モノカラー，モアレ，ソラリゼーション，
デフォーカス（ぼかし），エンハンスのうちの少なくと
も１つである。The special effects of the present invention are as follows: mosaic, scramble, burst, melt, paint (drop bits), negative (reverse), monocolor, moiré, solarization,
It is at least one of defocus (blur) and enhancement.
【００１４】本発明の合成処理は、切替合成，キー合
成，ＮＡＭ合成のうちの少なくとも１つである。The synthesizing process of the present invention is at least one of switching synthesis, key synthesis, and NAM synthesis.
【００１５】又、本発明は、入力画像の中の特殊効果を
施したい画像部分を入力画像から判別する画像認識判定
部と、画像認識判定部において判別された画像部分に特
殊効果を施した上、画像部分を入力画像に合成処理する
特殊効果発生処理部とからなるものである。According to the present invention, there is provided an image recognition / judgment unit for judging, from an input image, an image portion to which a special effect is to be applied in an input image, and a method for applying a special effect to the image portion judged by the image recognition / judgment unit. , And a special effect generation processing section for synthesizing the image portion with the input image.
【００１６】本発明の画像部分を入力画像，入力画像の
輝度，入力画像の色，入力画像の輪郭のうちの少なくと
も１つによって判別するものである。The image portion of the present invention is determined based on at least one of an input image, the luminance of the input image, the color of the input image, and the contour of the input image.
【００１７】本発明の特殊効果は、モザイク，スクラン
ブル，バースト，メルト，ペイント（ビット落し），ネ
ガ（反転），モノカラー，モアレ，ソラリゼーション，
デフォーカス（ぼかし），エンハンスのうちの少なくと
も１つである。The special effects of the present invention are as follows: mosaic, scramble, burst, melt, paint (bit loss), negative (reverse), monocolor, moiré, solarization,
It is at least one of defocus (blur) and enhancement.
【００１８】本発明の合成処理は、切替合成，キー合
成，ＮＡＭ合成のうちの少なくとも１つで行うものであ
る。The synthesizing process of the present invention is performed in at least one of switching synthesis, key synthesis, and NAM synthesis.
【００１９】[0019]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００２０】図１は本発明の画像処理装置の基本的な構
成を示すもので、画像認識判定部５が、前フィールドの
輝度，色等の画素情報と現フィールドの輝度，色等の画
素情報との値を比較して、人物等のように動きのある画
素と背景等のように静止している画素とを判別したり、
入力画像の中でオペレータによって指定された画像部分
の形，輝度，色等のパターン情報の特徴を抽出して、そ
のパターン情報の特徴と同一と推測される画像部分を以
後の入力画像から判別したり、入力画像において隣接す
る画素の輝度，色等の画素情報の変化量から画像の輪郭
部分を判別したりすることにより、判定信号を出力する
と、特殊効果発生処理部６は、画像認識判定部５におい
て判別された動きのある画素或いは静止している画素，
オペレータによって指定された画像部分のパターン情報
の特徴と同一と推測される画像部分の画素，輪郭内部或
いは輪郭外部の画像部分の画素等の位置情報（アドレ
ス）を変調して、モザイク，スクランブル，バースト，
メルト等の特殊効果や、各画素の輝度，色等のレベル情
報を変調して、ペイント（ビット落し），ネガ（反
転），モノカラー，モアレ，ソラリゼーション，デフォ
ーカス（ぼかし），エンハンス等の特殊効果を所望の画
像部分に順次自動的に施した上、入力画像に合成してい
く。FIG. 1 shows a basic configuration of an image processing apparatus according to the present invention, in which an image recognition judging unit 5 comprises pixel information such as luminance and color of a previous field and pixel information such as luminance and color of a current field. By comparing the values of と and 判別, it is possible to determine a pixel that is moving, such as a person, and a pixel that is stationary, such as a background,
The features of the pattern information such as the shape, luminance, and color of the image portion designated by the operator in the input image are extracted, and the image portion presumed to be the same as the feature of the pattern information is determined from the subsequent input image. When the determination signal is output by determining the outline of the image from the change amount of the pixel information such as the brightness and the color of the adjacent pixels in the input image, the special effect generation processing unit 6 A moving pixel or a stationary pixel determined in 5;
Modulation of position information (address) of pixels of the image portion, pixels inside the contour or pixels of the image portion outside the contour, which are assumed to be the same as the features of the pattern information of the image portion specified by the operator, and thereby mosaic, scramble, burst ,
Modulates special effects such as melt, and level information such as luminance and color of each pixel, and special effects such as paint (bit drop), negative (reverse), mono color, moiré, solarization, defocus (blur), enhancement, etc. The effect is sequentially and automatically applied to a desired image portion, and then synthesized with the input image.
【００２１】図２(ａ)は本発明の画像処理装置における
画像認識判定部の具体的な構成を示し、図２(ｂ)は図２
(ａ)の画像認識判定部のフローチャートを示すもので、
１フィールド分の画素情報を読み書きするフィールドメ
モリ７が、１フィールド前に書き込んだ１フィールド分
の画素の輝度，色等の画素情報Ａ（以下「前フィールド
の画素情報Ａ」という）の読み出しと共に、現在入力中
の１フィールド分の画素の輝度，色等の画素情報Ｂ（以
下「現フィールドの画素情報Ｂ」という）の書き込みを
行う〔ステップ１（以下「Ｓ１」の如く記載する）〕
と、画素情報差分演算手段８は、フィールドメモリ７か
ら読み出した前フィールドの各画素の画素情報Ａの値と
現フィールドの各画素の画素情報Ｂの値の差分（Ａ−
Ｂ）を求める（Ｓ２）。FIG. 2A shows a specific configuration of the image recognition judging unit in the image processing apparatus of the present invention, and FIG.
(a) shows a flowchart of the image recognition determination unit,
A field memory 7 for reading and writing pixel information for one field reads pixel information A such as luminance and color of a pixel for one field written one field before (hereinafter referred to as “pixel information A for the previous field”). Write pixel information B such as luminance and color of a pixel of one field currently input (hereinafter, referred to as “pixel information B of the current field”) [Step 1 (hereinafter, described as “S1”)]
And the pixel information difference calculating means 8 calculates a difference between the value of the pixel information A of each pixel of the previous field read from the field memory 7 and the value of the pixel information B of each pixel of the current field (A−
B) is obtained (S2).
【００２２】そこで、画素判定手段９は、差分（Ａ−
Ｂ）がしきい値以上であれば（Ｓ３）、その画素は動き
のある画素と判別して（Ｓ４）判定信号を出力し（Ｓ
５）、又、差分（Ａ−Ｂ）がしきい値未満であれば（Ｓ
３）、その画素は静止した画素と判別して（Ｓ６）判定
信号を出力しない。Then, the pixel determination means 9 determines the difference (A−
If B) is greater than or equal to the threshold value (S3), the pixel is determined to be a moving pixel (S4) and a determination signal is output (S4).
5) If the difference (AB) is smaller than the threshold value (S
3) The pixel is determined to be a stationary pixel (S6), and no determination signal is output.
【００２３】そして、この動作を１フィールド分の画素
信号が入力する毎に繰り返せば、現フィールドの画像の
中の動きのある画像部分と静止した画像部分とがリアル
タイムに、確実に且つ自動的に判別することができる。If this operation is repeated each time a pixel signal for one field is input, the moving image portion and the still image portion in the image of the current field can be reliably and automatically realized in real time. Can be determined.
【００２４】図３(ａ)は本発明の画像処理装置における
画像認識判定部の他の具体的な構成を示し、図３(ｂ)は
図３(ａ)の画像認識判定部のフローチャートを示すもの
で、特徴抽出手段１０が、現フィールドの画像の中から
オペレータによって設定された画像領域の形，輝度，色
等のパターンＡの特徴を抽出する（Ｓ７）と、パターン
差分演算手段１１は、パターンＡと現フィールドの次の
フィールド以降に入力する１フィールド分の画像のパタ
ーンＢとの差分（Ａ−Ｂ）を求める（Ｓ８）。FIG. 3A shows another specific configuration of the image recognition judging unit in the image processing apparatus of the present invention, and FIG. 3B shows a flowchart of the image recognition judging unit in FIG. When the feature extracting means 10 extracts the features of the pattern A such as the shape, brightness, and color of the image area set by the operator from the image of the current field (S7), the pattern difference calculating means 11 The difference (A−B) between the pattern A and the pattern B of the image for one field input after the current field is calculated (S8).
【００２５】そこで、パターン一致判定手段１２は、差
分（Ａ−Ｂ）がしきい値以上の領域があれば（Ｓ９）、
その領域がパターンＢの中においてパターンＡの特徴と
一致している領域と判別して（Ｓ１０）判定信号を出力
し（Ｓ１１）、又、差分（Ａ−Ｂ）がしきい値未満であ
れば（Ｓ９）、パターンＢの中にパターンＡの特徴と一
致している領域がないと判別して（Ｓ１２）判定信号を
出力しない。If there is an area where the difference (AB) is equal to or larger than the threshold value (S9),
The area is determined to be the area in the pattern B that matches the feature of the pattern A (S10), and a determination signal is output (S11). If the difference (AB) is smaller than the threshold value, (S9) It is determined that there is no area in the pattern B that matches the feature of the pattern A (S12), and no determination signal is output.
【００２６】そして、この動作を１フィールド分の画像
が入力する毎に繰り返せば、入力画像の中のパターンＡ
の特徴と同一と推測される画像領域がリアルタイムに、
確実に且つ自動的に判別することができる。By repeating this operation each time an image for one field is input, the pattern A in the input image can be obtained.
The image area assumed to be the same as the feature of
The determination can be made reliably and automatically.
【００２７】図４(ａ)は本発明の画像処理装置における
画像認識判定部の更に他の具体的な構成を示し、図４
(ｂ)は図４(ａ)の画像認識判定部のフローチャートを示
すもので、１走査線分の画素情報を読み書きするライン
メモリ１３が、入力画像において１走査線分前に書き込
んだ輝度，色等の画素情報Ａの読み出しと共に、現在入
力している１走査線分の輝度，色等の画素情報Ｂの書き
込みを行う（Ｓ１３）と、画素情報変化量演算手段１４
は、ラインメモリ１３から出力される前走査線の画素情
報Ａと現走査線の画素情報Ｂとの隣接する画素の画素情
報の差分（Ａ−Ｂ）を求める（Ｓ１４）。FIG. 4A shows still another specific configuration of the image recognition judging section in the image processing apparatus of the present invention.
FIG. 4B is a flowchart of the image recognition determination unit shown in FIG. 4A, in which the line memory 13 for reading and writing pixel information for one scanning line reads the luminance and color written one scanning line earlier in the input image. When the pixel information B such as luminance and color for one scanning line currently input is written together with the reading of the pixel information A such as (S13), the pixel information change amount calculating means 14
Calculates the difference (A−B) between the pixel information A of the pixel adjacent to the pixel information A of the previous scanning line and the pixel information B of the current scanning line output from the line memory 13 (S14).
【００２８】そこで、エッジ判定手段１５は画素情報変
化量演算手段１４で求めた差分（Ａ−Ｂ）がしきい値以
上で、変化が急激であれば（Ｓ１５）、画像のエッジ
（輪郭）であると判別して（Ｓ１６）判定信号を出力し
（Ｓ１７）、又、差分（Ａ−Ｂ）がしきい値未満で、変
化が緩慢であれば（Ｓ１５）、画像のエッジ（輪郭）で
はないと判別して（Ｓ１８）、判定信号を出力しない。The edge determining means 15 determines whether the difference (AB) obtained by the pixel information change amount calculating means 14 is equal to or larger than the threshold value and the change is sharp (S15). If it is determined that there is (S16), a determination signal is output (S17), and if the difference (AB) is less than the threshold value and the change is slow (S15), it is not an edge (contour) of the image. Is determined (S18), and no determination signal is output.
【００２９】そして、この動作を１走査線分の画素信号
が入力する毎に繰り返せば、画像のエッジ（輪郭）がリ
アルタイムに、確実に且つ自動的に判別することができ
る。If this operation is repeated each time a pixel signal for one scanning line is input, the edge (contour) of the image can be reliably and automatically determined in real time.
【００３０】図５は本発明の画像処理装置における特殊
効果発生処理部の合成手段の一具体例を示すもので、１
６は、２つの端子からそれぞれ入力する画素Ａと画素Ｂ
との何れか１つを、１ビット２値信号からなる切替信号
に応じて出力する切替合成手段である。FIG. 5 shows a specific example of the synthesizing means of the special effect generation processing section in the image processing apparatus of the present invention.
Reference numeral 6 denotes a pixel A and a pixel B input from two terminals, respectively.
Is a switching combining unit that outputs any one of the above in response to a switching signal composed of a 1-bit binary signal.
【００３１】図６は本発明の画像処理装置における特殊
効果発生処理部の合成手段の他の具体例を示すもので、
１７は、２つの入力端子からそれぞれ入力する画素Ａと
画素Ｂとに、例えば１０ビット１０２４階調の多値キー
信号Ｋ（但し、Ｋ＝０〜１）に応じて合成した画像信号
を出力するキー合成手段である。FIG. 6 shows another specific example of the synthesizing means of the special effect generation processing section in the image processing apparatus of the present invention.
Reference numeral 17 outputs an image signal synthesized to a pixel A and a pixel B respectively input from two input terminals in accordance with, for example, a 10-bit 1024 gradation multi-valued key signal K (where K = 0 to 1). It is a key combining means.
【００３２】図７は本発明の画像処理装置における特殊
効果発生処理部の合成手段の更に他の具体例を示すもの
で、１８は、２つの入力端子からそれぞれ入力する画素
Ａと画素Ｂとの内の最もレベルの高い方の画素Ａ或いは
Ｂ、又は、所定のレベル範囲の画素Ａ或いはＢを出力す
るＮＡＭ合成手段である。FIG. 7 shows still another specific example of the synthesizing means of the special effect generation processing section in the image processing apparatus according to the present invention. Reference numeral 18 denotes a pixel A and a pixel B respectively input from two input terminals. Is a NAM synthesizing unit that outputs the pixel A or B having the highest level or the pixel A or B within a predetermined level range.
【００３３】このように構成された本発明の画像処理装
置において、入力画像のどの部分を特殊効果画像にした
いか、例えば画面上の人物の顔を画像認識判定部５で指
定した上、画像認識判定部５において図３に示したパタ
ーン認識による判定処理を、特殊効果発生処理部６にお
いてモザイク或いはデフォーカスの特殊効果と、図５に
示した切替合成手段１６とをそれぞれ指定すると、人物
が移動したり、カメラがパンする等して、画面上の人物
の顔の位置が移動しても、特殊効果を施す部分として人
物の顔の部分を自動的に追跡して、顔の部分にモザイク
或いはデフォーカスの特殊効果を確実に施した画像がリ
アルタイムで得られる。In the image processing apparatus of the present invention configured as described above, which part of the input image is desired to be a special effect image, for example, the face of a person on the screen is designated by the image recognition determination unit 5, and then the image recognition is performed. When the determination unit 5 specifies the determination process based on the pattern recognition illustrated in FIG. 3 and the special effect generation processing unit 6 specifies the mosaic or defocus special effect and the switching and combining unit 16 illustrated in FIG. Even if the position of the person's face on the screen moves due to panning, camera panning, etc., the face of the person's face is automatically tracked as a part to apply special effects, and mosaic or An image in which the special effect of defocus is reliably applied can be obtained in real time.
【００３４】又、入力画像のどの部分を特殊効果画像に
したいか、例えば画面上の人物を画像認識判定部５で指
定した上、画像認識判定部５において図２に示した動き
検出による判定処理を、特殊効果発生処理部６において
モノカラーの特殊効果と、図６に示したキー合成手段１
７とをそれぞれ指定すると、人物が移動したり、カメラ
がパンする等して、画面上の人物の位置が移動しても、
特殊効果画像領域として人物の部分を自動的に追跡し
て、人物のみをカラーで確実に表示し、それ以外の背景
等をモノカラーで表示するパートカラー画像がリアルタ
イムで得られる。Further, a part of the input image that the user wants to be a special effect image, for example, a person on the screen is designated by the image recognition determination part 5, and the image recognition determination part 5 determines the movement by the motion detection shown in FIG. Is converted into a mono-color special effect in the special effect generation processing unit 6 and the key synthesizing unit 1 shown in FIG.
If you specify 7 respectively, even if the person moves or the camera pans, the position of the person on the screen moves,
The part of a person is automatically tracked as a special effect image area, and a part color image in which only the person is reliably displayed in color and other backgrounds and the like are displayed in monochrome is obtained in real time.
【００３５】[0035]
【発明の効果】以上説明したように、本発明によれば、
入力画像の中の特殊効果を施す画像部分を画像認識判定
部によって自動的に判定できるので、従来、画像編集時
に人手によってしか行うことのできなかった特殊効果を
施す作業が、リアルタイムに、確実に且つ自動的に施す
ことができるため、本発明の画像特殊効果発生装置が生
放送番組でも使用できるという効果を奏する。As described above, according to the present invention,
The image recognition processing unit can automatically determine the image part to which special effects are applied in the input image, so the work of applying special effects, which could only be done manually by the user at the time of image editing, can be reliably performed in real time. In addition, since the image special effect generation device of the present invention can be used even in a live broadcast program, the effect can be obtained automatically.
【００３６】又、本発明の画像特殊効果発生装置は、従
来の画像特殊効果発生装置が有する３次元Ｙ／Ｃ分離や
フレーム処理部で使用している動き検出回路や、動画圧
縮に使用しているパターン認識回路等と本発明の画像認
識判定部とを組み合わせることにより、従来の画像特殊
効果発生装置でも本発明の画像特殊効果発生装置と同様
の機能を簡単に持たせることができるという効果を奏す
る。Further, the image special effect generator of the present invention is used for a motion detection circuit used in the three-dimensional Y / C separation and frame processing section of the conventional image special effect generator, and used for moving image compression. By combining the image recognition determination unit of the present invention with a pattern recognition circuit or the like, the effect that the conventional image special effect generator can easily have the same function as the image special effect generator of the present invention can be obtained. Play.
【図面の簡単な説明】[Brief description of the drawings]
【図１】本発明の画像処理装置の基本的な構成を示す図FIG. 1 is a diagram showing a basic configuration of an image processing apparatus according to the present invention.
【図２】(ａ)は本発明の画像処理装置における画像認識
判定部の具体的な構成を示す図、(ｂ)は(ａ)の画像認識
判定部のフローチャート2A is a diagram illustrating a specific configuration of an image recognition determination unit in the image processing apparatus of the present invention, and FIG. 2B is a flowchart of the image recognition determination unit in FIG.
【図３】(ａ)は本発明の画像処理装置における画像認識
判定部の他の具体的な構成を示す図、(ｂ)は(ａ)の画像
認識判定部のフローチャート3A is a diagram illustrating another specific configuration of the image recognition determination unit in the image processing apparatus according to the present invention, and FIG. 3B is a flowchart of the image recognition determination unit in FIG.
【図４】(ａ)は本発明の画像処理装置における画像認識
判定部の更に他の具体的な構成を示す図、(ｂ)は(ａ)の
画像認識判定部のフローチャート4A is a diagram showing still another specific configuration of the image recognition determination unit in the image processing apparatus of the present invention, and FIG. 4B is a flowchart of the image recognition determination unit in FIG.
【図５】本発明の画像処理装置における特殊効果発生処
理部の切替合成手段の一具体例を示す図FIG. 5 is a diagram showing a specific example of switching and combining means of a special effect generation processing unit in the image processing apparatus of the present invention.
【図６】本発明の画像処理装置における特殊効果発生処
理部の切替合成手段の他の具体例を示す図FIG. 6 is a diagram showing another specific example of the switching / combining means of the special effect generation processing unit in the image processing apparatus of the present invention.
【図７】本発明の画像処理装置における特殊効果発生処
理部の切替合成手段の更に他の具体例を示す図FIG. 7 is a diagram showing still another specific example of the switching synthesis means of the special effect generation processing unit in the image processing apparatus of the present invention.
【図８】従来の画像処理装置の基本的な構成を示す図FIG. 8 is a diagram showing a basic configuration of a conventional image processing apparatus.
５ 画像認識判定部 ６ 特殊効果発生処理部 ７ フィールドメモリ ８ 画素情報差分演算手段 ９ 画素判定手段 １０ 特徴抽出手段 １１ パターン差分演算手段 １２ パターン一致判定手段 １３ ラインメモリ １４ 画素情報変化量演算手段 １５ エッジ判定手段 １６ 切替合成手段 １７ キー合成手段 １８ 非加算合成手段 Reference Signs List 5 Image recognition determination unit 6 Special effect generation processing unit 7 Field memory 8 Pixel information difference calculation unit 9 Pixel determination unit 10 Feature extraction unit 11 Pattern difference calculation unit 12 Pattern match determination unit 13 Line memory 14 Pixel information change amount calculation unit 15 Edge Determination means 16 Switching synthesis means 17 Key synthesis means 18 Non-addition synthesis means
フロントページの続き Ｆターム(参考） 5B057 CA01 CB01 CE03 CE04 CE08 CE17 DA08 DB06 DC16 DC22 DC25 5C023 AA01 AA06 AA07 AA08 AA09 AA11 AA21 AA27 AA28 BA02 BA03 BA04 BA12 BA13 BA15 CA03 CA05 CA08 DA04 EA02 EA03 EA04 EA05 EA06 EA13Continued on front page F-term (reference) 5B057 CA01 CB01 CE03 CE04 CE08 CE17 DA08 DB06 DC16 DC22 DC25 5C023 AA01 AA06 AA07 AA08 AA09 AA11 AA21 AA27 AA28 BA02 BA03 BA04 BA12 BA13 BA15 CA03 CA05 CA08 DA04 EA02 EA03 EA03 EA03 EA03 EA03 EA03 EA03
Claims (8)
の中の特殊効果を施したい画像部分に特殊処理を施し
て、前記入力画像に合成処理する特殊効果処理方法。1. A special effect processing method in which a special process is performed on an image portion to which a special effect is to be applied in an input image determined based on a specific condition, and a synthesis process is performed on the input image.
力画像の輝度，前記入力画像の色，前記入力画像の輪郭
のうちの少なくとも１つであることを特徴とする請求項
１記載の特殊効果処理方法。2. The special condition according to claim 1, wherein the specific condition is at least one of the input image, the luminance of the input image, the color of the input image, and the contour of the input image. Effect processing method.
ル，バースト，メルト，ペイント（ビット落し），ネガ
（反転），モノカラー，モアレ，ソラリゼーション，デ
フォーカス（ぼかし），エンハンスのうちの少なくとも
１つであることを特徴とする請求項１記載の特殊効果処
理方法。3. The special effect is at least one of mosaic, scramble, burst, melt, paint (bit drop), negative (reverse), monocolor, moiré, solarization, defocus (blur), and enhance. 2. The special effect processing method according to claim 1, wherein:
ＮＡＭ合成のうちの少なくとも１つであることを特徴と
する請求項１記載の特殊効果処理方法。4. The combining process includes switching combining, key combining,
2. The special effect processing method according to claim 1, wherein the method is at least one of NAM synthesis.
部分を前記入力画像から判別する画像認識判定部と、 該画像認識判定部において判別された前記画像部分に特
殊効果を施した上、前記画像部分を前記入力画像に合成
処理する特殊効果発生処理部とからなることを特徴とす
る画像処理装置。5. An image recognition determining unit for determining, from the input image, an image portion to which a special effect is to be applied in the input image, and applying a special effect to the image portion determined by the image recognition determining unit. An image processing apparatus comprising: a special effect generation processing unit that synthesizes the image portion with the input image.
画像の輝度，前記入力画像の色，前記入力画像の輪郭の
うちの少なくとも１つによって判別することを特徴とす
る請求項５記載の画像処理装置。6. The image according to claim 5, wherein the image portion is determined based on at least one of the input image, the luminance of the input image, the color of the input image, and the outline of the input image. Processing equipment.
ル，バースト，メルト，ペイント（ビット落し），ネガ
（反転），モノカラー，モアレ，ソラリゼーション，デ
フォーカス（ぼかし），エンハンスのうちの少なくとも
１つであることを特徴とする請求項５記載の画像処理装
置。7. The special effect is at least one of mosaic, scramble, burst, melt, paint (bit drop), negative (reverse), monocolor, moiré, solarization, defocus (blur), and enhance. 6. The image processing apparatus according to claim 5, wherein:
ＮＡＭ合成のうちの少なくとも１つで行うことを特徴と
する請求項５記載の画像処理装置。8. The combining process includes switching combining, key combining,
The image processing apparatus according to claim 5, wherein the image processing is performed by at least one of NAM synthesis.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3330299A JP2000232609A (en) | 1999-02-10 | 1999-02-10 | Special effect processing method and image processing unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3330299A JP2000232609A (en) | 1999-02-10 | 1999-02-10 | Special effect processing method and image processing unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000232609A true JP2000232609A (en) | 2000-08-22 |
Family
ID=12382765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3330299A Pending JP2000232609A (en) | 1999-02-10 | 1999-02-10 | Special effect processing method and image processing unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000232609A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100369822B1 (en) * | 2000-12-22 | 2003-01-30 | 삼성전자 주식회사 | Display Apparatus and Method Controlling the Same |
| JP2004241945A (en) * | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | Device, method, and program for image monitoring, and recording medium where same program is recorded |
| JP2005117163A (en) * | 2003-10-03 | 2005-04-28 | Canon Inc | Camera server apparatus, control method thereof, computer program and computer-readable storage medium |
| US7019788B2 (en) | 2001-02-28 | 2006-03-28 | Yamaha Corporation | Video mixer apparatus |
| US7679651B2 (en) | 2003-09-04 | 2010-03-16 | Casio Computer Co., Ltd. | Image pickup apparatus, method and program with composite-image creating function |
| KR101042637B1 (en) * | 2004-11-05 | 2011-06-20 | 삼성전자주식회사 | photographing device for applying special effect to image and special effect applying method thereof |
| JP2012060201A (en) * | 2010-09-03 | 2012-03-22 | Olympus Imaging Corp | Imaging device and imaging program |
| KR20120129768A (en) * | 2011-05-18 | 2012-11-28 | 소니 주식회사 | Image processing apparatus, image processing method, program and imaging apparatus |
| JP2013142987A (en) * | 2012-01-10 | 2013-07-22 | Nk Works Kk | Image processing program and image processing device |
| JP2014135784A (en) * | 2014-04-30 | 2014-07-24 | Olympus Imaging Corp | Imaging apparatus, imaging method and imaging program |
| US8810691B2 (en) | 2010-09-03 | 2014-08-19 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
| US9235914B2 (en) | 2012-07-25 | 2016-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Image editing apparatus |
| CN112363177A (en) * | 2020-10-26 | 2021-02-12 | 哈尔滨工业大学 | Photon counting laser radar for regulating and controlling noise filtering based on adjacent pixel entanglement |
| JP2022512715A (en) * | 2018-10-15 | 2022-02-07 | 華為技術有限公司 | Photography scenarios and methods for displaying images on electronic devices |
-
1999
- 1999-02-10 JP JP3330299A patent/JP2000232609A/en active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100369822B1 (en) * | 2000-12-22 | 2003-01-30 | 삼성전자 주식회사 | Display Apparatus and Method Controlling the Same |
| US7019788B2 (en) | 2001-02-28 | 2006-03-28 | Yamaha Corporation | Video mixer apparatus |
| US7518659B2 (en) | 2001-02-28 | 2009-04-14 | Yamaha Corporation | Video mixer apparatus |
| JP2004241945A (en) * | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | Device, method, and program for image monitoring, and recording medium where same program is recorded |
| US7679651B2 (en) | 2003-09-04 | 2010-03-16 | Casio Computer Co., Ltd. | Image pickup apparatus, method and program with composite-image creating function |
| JP2005117163A (en) * | 2003-10-03 | 2005-04-28 | Canon Inc | Camera server apparatus, control method thereof, computer program and computer-readable storage medium |
| JP4514185B2 (en) * | 2003-10-03 | 2010-07-28 | キヤノン株式会社 | Camera server device, control method therefor, and computer program |
| KR101042637B1 (en) * | 2004-11-05 | 2011-06-20 | 삼성전자주식회사 | photographing device for applying special effect to image and special effect applying method thereof |
| US9241112B2 (en) | 2010-09-03 | 2016-01-19 | Olympus Corporation | Imaging apparatus, imaging method and computer-readable recording medium |
| US8810691B2 (en) | 2010-09-03 | 2014-08-19 | Olympus Imaging Corp. | Imaging apparatus, imaging method and computer-readable recording medium |
| JP2012060201A (en) * | 2010-09-03 | 2012-03-22 | Olympus Imaging Corp | Imaging device and imaging program |
| KR102048581B1 (en) * | 2011-05-18 | 2019-11-25 | 소니 주식회사 | Image processing apparatus, image processing method, computer-readable storage medium having program recorded thereon and imaging apparatus |
| JP2012244337A (en) * | 2011-05-18 | 2012-12-10 | Sony Corp | Image processing apparatus, image processing method, program, and imaging apparatus |
| US9600902B2 (en) | 2011-05-18 | 2017-03-21 | Sony Corporation | Image processing apparatus, image processing method, program and imaging apparatus |
| US9916518B2 (en) | 2011-05-18 | 2018-03-13 | Sony Corporation | Image processing apparatus, image processing method, program and imaging apparatus |
| KR20120129768A (en) * | 2011-05-18 | 2012-11-28 | 소니 주식회사 | Image processing apparatus, image processing method, program and imaging apparatus |
| JP2013142987A (en) * | 2012-01-10 | 2013-07-22 | Nk Works Kk | Image processing program and image processing device |
| US9235914B2 (en) | 2012-07-25 | 2016-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Image editing apparatus |
| JP2014135784A (en) * | 2014-04-30 | 2014-07-24 | Olympus Imaging Corp | Imaging apparatus, imaging method and imaging program |
| JP2022512715A (en) * | 2018-10-15 | 2022-02-07 | 華為技術有限公司 | Photography scenarios and methods for displaying images on electronic devices |
| JP7238115B2 (en) | 2018-10-15 | 2023-03-13 | 華為技術有限公司 | Photography scenarios and methods for displaying images on electronic devices |
| CN112363177A (en) * | 2020-10-26 | 2021-02-12 | 哈尔滨工业大学 | Photon counting laser radar for regulating and controlling noise filtering based on adjacent pixel entanglement |
| CN112363177B (en) * | 2020-10-26 | 2022-08-05 | 哈尔滨工业大学 | Photon counting laser radar for regulating and controlling noise filtering based on adjacent pixel entanglement |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI480842B (en) | Electronic floating watermark detection method, electronic floating watermark detection device, program, and recording media | |
| US8027534B2 (en) | Image processing apparatus, image processing method, and program | |
| CN101843092B (en) | Image apparatus and method | |
| US9489726B2 (en) | Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable-medium | |
| CN108668093B (en) | HDR image generation method and device | |
| JP2000232609A (en) | Special effect processing method and image processing unit | |
| CN108012078B (en) | Image brightness processing method and device, storage medium and electronic equipment | |
| US20110128415A1 (en) | Image processing device and image-shooting device | |
| JPH05153493A (en) | Video signal synthesis device | |
| US20070195194A1 (en) | Image format conversion | |
| JP2000261715A (en) | Image composite device | |
| CN111654747B (en) | Bullet screen display method and device | |
| JP4807866B2 (en) | Color reproduction processing switching device and readable recording medium | |
| JP2921973B2 (en) | Image extraction method and image extraction device for specific object | |
| JPH10155139A (en) | Image processor and image processing method | |
| EP1654703A1 (en) | Graphics overlay detection | |
| JP2003219180A (en) | Image processing method, image processing device, recording medium capable of reading computer and computer program | |
| CN113507572A (en) | Video picture display method, device, terminal and storage medium | |
| JPH0787392A (en) | Display controller for slave picture | |
| JP4796767B2 (en) | Mobile terminal and video playback method | |
| KR102194447B1 (en) | Method for removing digital image noise | |
| JP2001333299A (en) | Image pickup device | |
| JP3332514B2 (en) | Image shake correction device | |
| JP3013336B2 (en) | Chroma key signal generator | |
| JP3783881B2 (en) | Vehicle detection method and vehicle detection apparatus using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080729 |