JPH09181966A - Image processing method and device - Google Patents

Image processing method and device

Info

Publication number
JPH09181966A
JPH09181966A JP7335041A JP33504195A JPH09181966A JP H09181966 A JPH09181966 A JP H09181966A JP 7335041 A JP7335041 A JP 7335041A JP 33504195 A JP33504195 A JP 33504195A JP H09181966 A JPH09181966 A JP H09181966A
Authority
JP
Japan
Prior art keywords
image
blur
distance
subject
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7335041A
Other languages
Japanese (ja)
Inventor
Tetsuya Toyoda
哲也 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP7335041A priority Critical patent/JPH09181966A/en
Publication of JPH09181966A publication Critical patent/JPH09181966A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain a photograph with out-of-focus feeling as if to be picked up by a camera with a large aperture from an image picked up by a camera with a small aperture lens. SOLUTION: At first a couple of images A, B picked up by a couple of image pickup lenses with a prescribed parallax simultaneously and parallax information are received and a distance distribution of an object group in an image is calculated based on the received information (S1), an out-of-focus parameter to provide out-of-focus information depending on an attribute of the image pickup lenses is properly selected (S2), an optical fog different from the actual image pickup lenses is provided to the object group depending on the calculated distance of the object group and the selected out-of-focus parameter (S3), and an image with the fog provided thereto is outputted.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、画像にボケを付加しボ
ケ味のある画像を生成する画像処理方法及び画像処理装
置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing method and an image processing apparatus for adding a blur to an image to generate an image with a blur.

【0002】[0002]

【従来の技術】一般に、銀塩写真の画質は撮影レンズの
性能によるところが大きいとされているが、一眼レフレ
ックスカメラ等といった高級機と呼ばれるカメラの撮影
レンズは、口径が大きいため明るい像を得ることができ
る。
2. Description of the Related Art Generally, it is said that the image quality of silver halide photography depends largely on the performance of the taking lens. However, the taking lens of a high-end camera such as a single-lens reflex camera has a large aperture to obtain a bright image. be able to.

【0003】そして、被写体輝度が同じ場合であって
も、絞りとシャッタ速度の組み合わせを種々選択するこ
とにより被写界深度を変えることができ、その結果、主
要被写体以外の被写体のボケ具合を自由に制御できる。
高級機により魅力ある写真が得られるのはこのような理
由によるところが大きい。
Even when the subject brightness is the same, the depth of field can be changed by selecting various combinations of the aperture and the shutter speed, and as a result, the degree of blurring of subjects other than the main subject can be freely set. Can be controlled.
It is for this reason that attractive photos can be obtained with high-end models.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、上記大
口径のレンズを有したカメラは、一般に撮影レンズが大
型である為にカメラ全体が大型・重量化してしまうとい
う欠点がある。これに対して、レンズシャッタカメラや
レンズ付きフィルムは、小型・軽量であるという利点こ
そあるが、これらの撮影レンズは口径が小さく、被写界
深度は大きくなる為に、大口径のレンズを備えたカメラ
で撮影したようなボケ味のある写真を撮ることが困難で
ある。
However, the camera having the above-mentioned large-diameter lens generally has a drawback that the entire camera becomes large and heavy because the taking lens is large. In contrast, lens shutter cameras and film with lenses have the advantage of being small and lightweight, but these shooting lenses have a large aperture because they have a small aperture and a large depth of field. It is difficult to take a picture with the bokeh that was taken with a camera.

【0005】本発明は、上記問題に鑑みてなされたもの
で、その目的とするところは、レンズシャッタカメラ等
といった口径の小さいレンズを備えたカメラで撮影され
た画像から、大口径のレンズを備えたカメラで撮影した
ようなボケ味を持った写真を得ることにある。
The present invention has been made in view of the above problems, and an object thereof is to provide a lens having a large aperture from an image taken by a camera having a lens having a small aperture such as a lens shutter camera. It's about getting a picture with the bokeh that was taken with a camera.

【0006】[0006]

【課題を解決するための手段】上記目的を達成するため
に、本発明の第1の態様による画像処理方法は、所定の
視差を有する一対の撮影レンズを通過して同時撮影され
た一対の画像と上記視差情報とを入力し、上記入力され
た情報に基づいて上記画像中の被写体群の距離分布を算
出し、上記撮影レンズの属性に依存するボケ情報を与え
るためのボケパラメータを適宜選択し、上記算出された
被写体群の距離分布と上記選択されたボケパラメータと
に応じて上記被写体群に実際の撮影レンズによるものと
は異なるボケを付加し、上記ボケを付加した画像を出力
することを特徴とする。
In order to achieve the above object, the image processing method according to the first aspect of the present invention provides a pair of images simultaneously photographed through a pair of photographing lenses having a predetermined parallax. And the parallax information are input, the distance distribution of the subject group in the image is calculated based on the input information, and the blurring parameter for giving the blurring information depending on the attribute of the photographing lens is appropriately selected. According to the calculated distance distribution of the subject group and the selected blur parameter, it is possible to add blur to the subject group that is different from that of the actual photographing lens, and output the image with the blur added. Characterize.

【0007】そして、第2の態様による画像処理方法
は、上記パラメータは、撮影レンズの焦点距離、F値及
びピント位置の少なくともいずれかを含むことを特徴と
する。さらに、第3の態様による画像処理装置は、所定
の視差を有する一対の撮影レンズを通過して同時撮影さ
れた一対の画像と上記視差情報とを入力する入力手段
と、上記入力手段より入力された情報に基づいて、上記
画像中の被写体群の距離分布を算出する距離分布算出手
段と、上記撮影レンズの属性に依存するボケ情報を与え
るためのボケパラメータを適宜選択するパラメータ選択
手段と、上記距離分布算出手段により算出された被写体
群の距離分布と、上記パラメータ選択手段により選択さ
れたボケパラメータとに応じて、上記被写体群に実際の
撮影レンズによるものとは異なるボケを付加するボケ付
加手段と、上記ボケ付加手段によりボケを付加した画像
を出力する画像出力手段とを具備することを特徴とす
る。
The image processing method according to the second aspect is characterized in that the parameters include at least one of the focal length of the photographing lens, the F value and the focus position. Furthermore, the image processing apparatus according to the third aspect is input by the input means, and input means for inputting the parallax information and a pair of images simultaneously photographed through a pair of photographing lenses having a predetermined parallax. Distance distribution calculating means for calculating the distance distribution of the object group in the image based on the information obtained, parameter selecting means for appropriately selecting the blur parameter for giving the blur information depending on the attribute of the photographing lens, and Blurring addition means for adding blurring different from that actually caused by the photographing lens to the subject group according to the distance distribution of the subject group calculated by the distance distribution calculation means and the blurring parameter selected by the parameter selecting means. And an image output unit for outputting the image to which the blur is added by the blur adding unit.

【0008】[0008]

【実施の形態】以下、図面を参照して、本発明の実施の
形態について説明する。図1は本発明の実施の形態に係
る画像処理方法の概念図である。同図に於いて、画像
A,Bは、同一被写体を視差を持たせて撮影した画像の
組である。各被写体の各画像A,B上における位置(座
標)情報に基づいて、各被写体までの距離を算出し(ス
テップS1)、こうして算出された距離情報から各被写
体に付加すべきボケ量を算出し(ステップS2)、当該
ボケ量に基づいて画像A,Bにボケを付加して(ステッ
プS3)、生成画像を得る。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a conceptual diagram of an image processing method according to an embodiment of the present invention. In the figure, images A and B are a set of images obtained by photographing the same subject with parallax. The distance to each subject is calculated based on the position (coordinate) information of each subject on each image A, B (step S1), and the amount of blurring to be added to each subject is calculated from the distance information thus calculated. (Step S2), blurring is added to the images A and B based on the blurring amount (step S3), and a generated image is obtained.

【0009】続いて、上記画像処理方法を実現する画像
処理装置について詳述する。図2は視差を有する画像の
組を撮影するカメラの構成を示す図である。同図に於い
て、カメラ1には2つのレンズ2a,2bが配設されて
おり、当該レンズ2a,2bを介して視差を有する2つ
の画像が同時に撮影される。カメラ1で被写体を撮影す
ると、潜像1及び潜像2がそれぞれフィルム3の領域4
a及び4bに露光される。ファインダ5は、ユーザーが
領域4aに撮像される被写体を確認するためのものであ
り、領域4aに撮像された画像に最終的にボケ付加処理
が施される。カメラ1で使用するフィルムは、長尺巻き
のカートリッジ付フィルムであり、現像後もフィルムは
カートリッジに収納され、スプールを回動させることに
より、当該フィルムの挿脱が可能な構造となっている。
Next, an image processing apparatus for realizing the above image processing method will be described in detail. FIG. 2 is a diagram showing a configuration of a camera that captures a set of images having parallax. In the figure, the camera 1 is provided with two lenses 2a and 2b, and two images having a parallax are simultaneously captured through the lenses 2a and 2b. When a subject is photographed by the camera 1, the latent image 1 and the latent image 2 are respectively in the area 4 of the film 3.
a and 4b are exposed. The finder 5 is used by the user to confirm the subject imaged in the area 4a, and the image captured in the area 4a is finally subjected to blurring processing. The film used in the camera 1 is a long-winding film with a cartridge, and the film is stored in the cartridge even after development, and the film can be inserted and removed by rotating the spool.

【0010】図3は上記カメラ1で撮像された画像にボ
ケを付加するためのボケ付加装置100及び処理された
画像を表示する外部モニタ200の外観図である。同図
に於いて、ボケ付加装置100は、ユーザーが処理の内
容を指示する際に必要な情報を表示する液晶パネル11
と、ユーザーが操作を指示・選択する際に使用する指示
パッド12と、操作を決定するための決定釦13と、電
源をオン/オフするためのパワースイッチ14と、撮影
現像済みフィルムが収納されているフィルムカートリッ
ジ10を挿入するための挿入口15とからなる。ボケ付
加装置100と外部モニタ200とはケーブル300に
よって接続されている。
FIG. 3 is an external view of a blur adding device 100 for adding blur to an image picked up by the camera 1 and an external monitor 200 for displaying a processed image. In the figure, the blur adding device 100 includes a liquid crystal panel 11 for displaying information necessary for the user to instruct the content of processing.
An instruction pad 12 used by the user to instruct / select an operation, a decision button 13 for deciding the operation, a power switch 14 for turning the power on / off, and a film that has been photographed and developed are stored. And an insertion port 15 for inserting the film cartridge 10. The blurring device 100 and the external monitor 200 are connected by a cable 300.

【0011】図4には上記ボケ付加装置100の詳細な
構成を示し説明する。同図に於いて、ボケ付加装置10
0には、フィルム3を照明する為のランプ21が配設さ
れており、当該ランプ21の照明によるフィルム3の画
像をCCD23に結像すべくレンズ22が配設されてい
る。そして、フィルム3上の画像をRGBフルカラーで
撮像するためにCCD23が配設されている。このCC
D23には、当該CCD23からの信号を増幅、ガンマ
変換、A/D変換するための信号処理回路24が接続さ
れており、当該信号処理回路24の出力は全体の制御を
司るCPU32に接続されている。
FIG. 4 shows the detailed structure of the blur adding device 100 and will be described. In the figure, the blur adding device 10
At 0, a lamp 21 for illuminating the film 3 is provided, and a lens 22 is provided so as to form an image of the film 3 by the illumination of the lamp 21 on the CCD 23. A CCD 23 is provided to capture an image on the film 3 in RGB full color. This CC
A signal processing circuit 24 for amplifying, gamma-converting, and A / D converting the signal from the CCD 23 is connected to D23, and the output of the signal processing circuit 24 is connected to the CPU 32 that controls the entire control. There is.

【0012】このCPU32は、各部を制御する制御機
能とボケ付加の為の画像処理機能及び処理に必要なパラ
メータを記憶する記憶部を備えており、該CPU32に
は、撮像した画像を一時記憶するRAM25,26と、
画像信号を液晶パネル11や外部モニタ200に適した
信号に変換するI/F回路27と、指示パッド12及び
決定釦13からなる操作指示部28と、フィルム3を巻
き取るためのスプール30と、スプール30を回動させ
るモータ29が接続されている。そして、上記モータ2
9とスプール30を係合させる為のギヤ31も設けられ
ており、更には上記スプール30とフィルムカートリッ
ジ10のスプールとは、不図示のギヤ列で連結されてお
り、連動して回転するような構成となっている。
The CPU 32 is provided with a control function for controlling each unit, an image processing function for adding blur and a storage unit for storing parameters necessary for processing, and the CPU 32 temporarily stores the captured image. RAM 25, 26,
An I / F circuit 27 for converting an image signal into a signal suitable for the liquid crystal panel 11 or the external monitor 200, an operation instructing section 28 including an instruction pad 12 and an enter button 13, and a spool 30 for winding the film 3. A motor 29 for rotating the spool 30 is connected. And the motor 2
A gear 31 for engaging the spool 9 and the spool 30 is also provided. Further, the spool 30 and the spool of the film cartridge 10 are connected by a gear train (not shown) so that they rotate together. It is composed.

【0013】以下、図5のフローチャートを参照して、
画像処理装置におけるボケ付加装置100の動作を詳細
に説明する。ユーザーがカメラ1で撮影したフィルムカ
ートリッジ10を挿入口15から挿入し、パワースイッ
チ14をONすると、処理が開始され、直ちにCPU3
2によりモータ29が駆動制御され、スプール30が回
動し、フィルム3がフィルムカートリッジ10より引き
出される(ステップS11)。
Hereinafter, with reference to the flowchart of FIG.
The operation of the blur adding device 100 in the image processing device will be described in detail. When the user inserts the film cartridge 10 photographed by the camera 1 from the insertion opening 15 and turns on the power switch 14, the processing is started and immediately the CPU 3
2, the motor 29 is drive-controlled, the spool 30 is rotated, and the film 3 is pulled out from the film cartridge 10 (step S11).

【0014】このフィルム3の引き出しは1駒目の露光
域で停止され、続いてランプ21の点灯及びCCD23
の駆動が行われて1駒目の画像が撮像される。撮像され
た画像信号は信号処理回路24にて増幅、ガンマ変換、
A/D変換処理が施され、その後、CPU32に転送さ
れる(ステップS12)。ここでの画像は、RGB各8
bitでA/D変換され、合計24bitのフルカラー
画像になる。
The withdrawal of the film 3 is stopped in the exposure area of the first frame, and then the lamp 21 is turned on and the CCD 23 is turned on.
Is performed and the image of the first frame is captured. The captured image signal is amplified by the signal processing circuit 24, gamma conversion,
A / D conversion processing is performed, and then the data is transferred to the CPU 32 (step S12). The image here is RGB 8 each
A / D conversion is performed on each bit, resulting in a full-color image of 24 bits in total.

【0015】続いて、画像信号はCPU32よりI/F
回路27へ出力され、液晶パネル11に適した画像信号
に変換された後、液晶パネル11に表示される(ステッ
プS13)。ユーザーは、表示された画像を見て処理を
したい画像である場合は決定釦13を押し、他のコマの
処理を希望する場合は指示パッド12の右を押すことで
希望するコマを選択する。
Subsequently, the image signal is sent from the CPU 32 to the I / F.
After being output to the circuit 27 and converted into an image signal suitable for the liquid crystal panel 11, it is displayed on the liquid crystal panel 11 (step S13). The user selects the desired frame by looking at the displayed image and pressing the decision button 13 if the image is the image to be processed, and pressing the right of the instruction pad 12 if the user wants to process another frame.

【0016】指示パッド12の右が押された場合は(ス
テップS15をNOに分岐)、CPU23からの指示で
フィルム3が2駒分送られてステップS12に戻り(ス
テップS14)、次の駒の画像が液晶パネル11に表示
される。ここで、フィルム3が2駒分送られるのは、カ
メラ1で撮像された画像は2駒で1組であり、異なるシ
ーンを撮影した画像を表示するには2駒ずつ送る必要が
ある為である。
When the right side of the instruction pad 12 is pressed (step S15 is branched to NO), the film 3 is fed by two frames by the instruction from the CPU 23 and the process returns to step S12 (step S14), and the image of the next frame is displayed. Is displayed on the liquid crystal panel 11. Here, the film 3 is sent by two frames because the images taken by the camera 1 are one set of two frames and it is necessary to send two frames to display images of different scenes. is there.

【0017】一方、決定釦13が押された場合は(ステ
ップS15をYESに分岐)、撮像、信号処理が行わ
れ、画像信号はRAM25に転送される(ステップS1
6)。続いて、1駒分のフィルム3が送られて(ステッ
プS17)、撮像、信号処理が行われ、画像信号はRA
M26に転送される(ステップS18)。ここで、RA
M26に記憶された画像はRAM25に記憶された画像
と同時刻に視差を持って撮影された画像であり、後に被
写体の距離を算出する為に用いられる。
On the other hand, when the enter button 13 is pressed (YES in step S15), image pickup and signal processing are performed, and the image signal is transferred to the RAM 25 (step S1).
6). Subsequently, the film 3 for one frame is sent (step S17), image pickup and signal processing are performed, and the image signal is RA.
It is transferred to M26 (step S18). Where RA
The image stored in M26 is an image captured with parallax at the same time as the image stored in the RAM 25, and is used later for calculating the distance to the subject.

【0018】続いて、処理はボケ付加処理に移る。即
ち、先ず液晶パネル11に図6のような「設定項目」メ
ニューが表示される。ユーザーは指示パッド12の上下
を押すことにより設定したい項目を選び、決定釦13を
押すことで各設定項目のサブメニューに入ることができ
る。各設定を終えた後に「設定終了」を選択することに
よりボケ付加処理の「パラメータ設定」を終了する(ス
テップS19)。ユーザーが設定をしなかった設定項目
に関しては、図6のようなデフォルト値がパラメータと
して用いられる。尚、「パラメータ設定」については後
に詳述する。
Subsequently, the processing shifts to the blur adding processing. That is, first, a "setting item" menu as shown in FIG. 6 is displayed on the liquid crystal panel 11. The user can select the item to be set by pressing the up and down of the instruction pad 12 and press the enter button 13 to enter the sub menu of each setting item. After each setting is completed, "end setting" is selected to end the "parameter setting" of the blurring process (step S19). For setting items that the user has not set, default values as shown in FIG. 6 are used as parameters. The "parameter setting" will be described later in detail.

【0019】こうして設定されたパラメータを用いてC
PU32にて「ボケ付加処理」が行われ(ステップS2
0)、処理画像がCPU32よりI/F回路27へ出力
され外部モニタ200に適した画像信号に変換された
後、外部モニタ200に表示されて(ステップS2
1)、本シーケンスを終了する。
Using the parameters thus set, C
“Blur addition processing” is performed in the PU 32 (step S2
0), the processed image is output from the CPU 32 to the I / F circuit 27, converted into an image signal suitable for the external monitor 200, and then displayed on the external monitor 200 (step S2).
1), this sequence ends.

【0020】次に図6及び図7を参照して、上記「パラ
メータ設定」について詳述する。ユーザーが処理したい
駒を選び対象の画像が撮像された後、液晶パネル11に
は図6(a)に示されるような「設定項目」メニューが
表示される。
Next, the above-mentioned "parameter setting" will be described in detail with reference to FIGS. After the user selects the frame to be processed and the target image is captured, the “setting item” menu as shown in FIG. 6A is displayed on the liquid crystal panel 11.

【0021】この図において、枠で囲まれている項目は
現在選択されている項目を示している。選択項目の変更
は、指示パッド12の上下を押下することにより行い、
選択項目の決定は、決定釦13を押下することにより行
う。「設定項目」の中の「レンズ種類設定」により、ユ
ーザーが用いたい撮影レンズの種類、即ち仮想の撮影レ
ンズを選択する。撮影レンズによって撮影される画角や
ボケの大きさが変化するので、これらを考慮して処理を
施すことにより、実際に撮影に用いたレンズとは異なる
レンズで撮影した場合の画像を生成することができる。
In this figure, the items surrounded by a frame indicate the currently selected item. The selection item can be changed by pressing the upper and lower sides of the instruction pad 12,
The selection of the selection item is performed by pressing the enter button 13. The "lens type setting" in the "setting items" selects the type of photographing lens that the user wants to use, that is, a virtual photographing lens. The angle of view and the size of the blur that are taken by the shooting lens will change, so by taking these into consideration, create an image when shooting with a lens different from the lens actually used for shooting. You can

【0022】実際に「レンズ種類設定」を選択すると、
図6(b)に示されるような「レンズ種類設定」サブメ
ニューが表示される。「レンズ種類」のデフォルト値
は、「100mmF2」であり、サブメニュー表示直後
には、「100mmF2」が枠で囲まれている。ユーザ
ーが選択するレンズの変更及び決定を行うと、再び「設
定項目」メニューが表示される。
When "lens type setting" is actually selected,
A “lens type setting” submenu as shown in FIG. 6B is displayed. The default value of “lens type” is “100 mmF2”, and “100 mmF2” is surrounded by a frame immediately after the submenu is displayed. When the user changes or decides the lens to be selected, the “setting item” menu is displayed again.

【0023】そして、「処理範囲設定」では、画像全体
の中で処理すべき範囲を設定する。図7(a)に示され
るように、ここではA〜Dの4種類の範囲から選択でき
るようになっている。これらA〜Dは、それぞれ50m
m、100mm、200mm、300mmのレンズで撮
影した場合の画角に等しく、「レンズ種類設定」で設定
する4種類のレンズに対応している。図7(a)は、B
を選択した場合の処理範囲の例示である。「処理範囲設
定」を選択すると、RAM1に記憶されている画像が液
晶パネル11に表示される。「処理範囲設定」のデフォ
ルト値はBであり、画像表示直後には処理範囲Bが実線
枠で表示されている。また、その他の範囲については点
線枠で表示されている。ユーザーが処理範囲の変更・決
定を行うと、再び「設定項目」メニューが表示される。
Then, in the "processing range setting", the range to be processed in the entire image is set. As shown in FIG. 7A, here, four types of ranges A to D can be selected. These A to D are 50m each
It is equivalent to the angle of view when shooting with lenses of m, 100 mm, 200 mm, and 300 mm, and corresponds to four types of lenses set in "lens type setting". FIG. 7A shows B
It is an example of a processing range when is selected. When "processing range setting" is selected, the image stored in the RAM 1 is displayed on the liquid crystal panel 11. The default value of "processing range setting" is B, and the processing range B is displayed in a solid frame immediately after the image is displayed. Further, the other ranges are displayed in a dotted frame. When the user changes / determines the processing range, the “setting item” menu is displayed again.

【0024】続いて、「Fナンバ設定」では、撮影時に
用いたい撮影レンズ、即ち仮想の撮影レンズのFナンバ
を設定する。撮影時のFナンバによって撮影される画像
のボケ具合が変化するので、これらを考慮してボケ付加
処理を施すことで、実際の撮影時のFナンバとは異なる
Fナンバで撮影した場合の画像を生成することができ
る。「Fナンバ設定」を選択すると、図6(c)に示さ
れるような「Fナンバ」サブメニューが表示される。
「Fナンバ」のデフォルト値は「2.8」であり、サブ
メニュー表示直後には「2.8」が枠で囲まれている。
ユーザーが選択するFナンバの変更・決定を行うと、再
び「設定項目」メニューが表示される。
Then, in "F number setting", the F number of the photographing lens to be used at the time of photographing, that is, the virtual photographing lens is set. Since the degree of blurring of the captured image changes depending on the F number at the time of shooting, by performing blurring addition processing in consideration of these, the image when shooting at an F number different from the F number at the time of actual shooting Can be generated. When "F number setting" is selected, the "F number" submenu as shown in FIG. 6C is displayed.
The default value of “F number” is “2.8”, and “2.8” is surrounded by a frame immediately after the submenu is displayed.
When the user changes or decides the F number to be selected, the "setting item" menu is displayed again.

【0025】そして、「ジャストピント位置設定」によ
り、ピントを合わせたい被写体の位置を設定する。本設
定には、撮影者からピントを合わせたい被写体までの距
離によりジャストピント位置を設定する「距離設定」
と、画像内の被写体の位置を指定することでジャストピ
ント位置を設定する「位置設定」との2種類の設定方法
がある。「距離設定」を選択すると、図6(e)に示さ
れるように「距離設定」サブメニューが表示される。
「距離設定」のデフォルト値は「5m」であり、サブメ
ニュー表示直後には「5m」が枠で囲まれている。ユー
ザーが選択する「距離」の変更、決定を行うと、再び
「設定項目」メニューが表示される。一方、「位置設
定」を選択すると、上記「レンズ種類設定」若しくは
「処理範囲設定」で設定されている処理範囲を上記液晶
パネル11に表示する。
Then, the "just focus position setting" sets the position of the subject to be focused. In this setting, the "distance setting" is used to set the just focus position according to the distance from the photographer to the subject you want to focus on.
There are two types of setting methods, namely, "position setting" in which the just focus position is set by specifying the position of the subject in the image. When "distance setting" is selected, the "distance setting" submenu is displayed as shown in FIG. 6 (e).
The default value of "distance setting" is "5 m", and "5 m" is surrounded by a frame immediately after the submenu is displayed. When the user selects and changes the "distance", the "setting item" menu is displayed again. On the other hand, when "position setting" is selected, the processing range set in "lens type setting" or "processing range setting" is displayed on the liquid crystal panel 11.

【0026】図7(b)は「レンズ種類設定」を示して
おり、「100mmF2」若しくは「処理範囲設定」で
「B」を選択した場合に表示される画像の例である。こ
の図7(b)に示されるようなボインティングカーソル
を指示パッド12で移動させ決定釦13を押すことでジ
ャストピント位置を指定する。この図7(b)は人物の
額をジャストピント位置に設定した例である。以上の設
定を終了すると再び「設定項目」メニューが表示され
る。
FIG. 7B shows "lens type setting", which is an example of an image displayed when "B" is selected in "100 mm F2" or "processing range setting". The just-in-focus position is designated by moving the pointing cursor as shown in FIG. 7B with the instruction pad 12 and pressing the decision button 13. FIG. 7B is an example in which the person's forehead is set to the just focus position. When the above setting is completed, the "setting item" menu is displayed again.

【0027】上記「設定項目」メニューの中の「設定終
了」を選択することによって、以上のパラメータ設定が
終了する。設定されたパラメータを列挙すると、 レンズ種類(デフォルト値 100mmF2) 処理範囲 (デフォルト値 B) Fナンバ (デフォルト値 F2.8) ジャストピント位置(デフォルト値 5m) となる。
By selecting "end setting" in the "setting item" menu, the above parameter setting is completed. The set parameters are listed as follows: lens type (default value 100 mmF2) processing range (default value B) F number (default value F2.8) Just focus position (default value 5 m).

【0028】次に「ボケ付加処理」について詳述する。
フィルム3上の画像をCCD23にて撮像する際の撮像
範囲は、図8に示されるように、画像の左上に位置する
パーフォレーション3aと潜像4aを含むように設定さ
れている。このパーフォレーションを含んだ画像(画像
A)のパーフォレーションの左下隅に相当する画素の座
標位置を点Oとし、画像上の任意の点Pの座標位置を、
点Oを基準としてベクトルOPで表す。これは、後に被
写体距離を算出する際に、2つの視差画像上の異なる位
置に撮像された各被写体の位置のずれ量が必要になるか
らである。
Next, the "blur addition processing" will be described in detail.
The image pickup range when the image on the film 3 is picked up by the CCD 23 is set so as to include the perforation 3a and the latent image 4a located at the upper left of the image, as shown in FIG. The coordinate position of the pixel corresponding to the lower left corner of the perforation of the image (image A) including this perforation is defined as point O, and the coordinate position of any point P on the image is defined as
It is represented by a vector OP with the point O as a reference. This is because when the subject distance is calculated later, the amount of displacement of each subject imaged at different positions on the two parallax images is required.

【0029】被写体が撮像された絶対位置を決めるため
に何らかの基準位置が必要になるので、ここではフィル
ム3のパーフォレーションの左下隅を基準位置として、
そこからの相対位置で各被写体の絶対位置を定義してい
る。画像の左上隅の画素位置を点O′とすると、パーフ
ォレーション3aからの相対位置ベクトルOO′はカメ
ラ1の構造上一定値に決まっている。よって、ベクトル
OPからベクトルOO′を引くことによりベクトルO′
Pが求められ、点Pの絶対位置座標として用いることが
できる。
Since some reference position is required to determine the absolute position at which the subject is imaged, here, the lower left corner of the perforation of the film 3 is used as the reference position.
The relative position from that point defines the absolute position of each subject. Assuming that the pixel position at the upper left corner of the image is the point O ′, the relative position vector OO ′ from the perforation 3a is fixed to a constant value due to the structure of the camera 1. Therefore, by subtracting the vector OO 'from the vector OP, the vector O'
P is obtained and can be used as the absolute position coordinate of the point P.

【0030】この点O′を原点として画像Aのフィルム
画像部分のみを切り出したものが画像Bである。画像B
は横N画素、縦M画素に離散化されており、横、縦それ
ぞれの画素位置をi、jで表す。更に画像Bを横をn
個、縦をm個の領域に分割した画像を画像Cとし、分割
された領域をR(I,J)とする。こうした画像Cを同
時に撮影した2枚の視差画像毎に用意し、潜像4aに対
する画像を画像C1、潜像4bに対する画像を画像C2
とする。
The image B is obtained by cutting out only the film image portion of the image A with the point O'as the origin. Image B
Are discretized into N pixels in the horizontal direction and M pixels in the vertical direction, and the horizontal and vertical pixel positions are represented by i and j. Further, the image B is set to n on the side.
An image obtained by dividing an area into m areas vertically is referred to as an image C, and the divided area is referred to as R (I, J). Such an image C is prepared for each of two parallax images captured at the same time, the image for the latent image 4a is the image C1, and the image for the latent image 4b is the image C2.
And

【0031】次に画像C1及びC2から被写体の距離を
算出する手順を説明する。先ず画像C1上の領域R1
(I0 ,J0 )に相当する被写体が撮像されている画像
C2上の領域R2 (I,J)を算出する。ここでは、R
1 (I0 ,J0 )とR2 (I,J)との相関を計算し、
最も相関の高い領域をR1 (I0 ,J0 )の対応領域と
する。
Next, the procedure for calculating the distance to the subject from the images C1 and C2 will be described. First, the region R1 on the image C1
A region R2 (I, J) on the image C2 in which the subject corresponding to (I0, J0) is captured is calculated. Here, R
Calculate the correlation between 1 (I0, J0) and R2 (I, J),
The region having the highest correlation is set as the corresponding region of R1 (I0, J0).

【0032】即ち、相関COL(I,J)を、 COL(I,J)=ΣΣ(P1 (i,j)−P2 (k,
l))-2 とする。
That is, the correlation COL (I, J) is calculated as COL (I, J) = ΣΣ (P1 (i, j) -P2 (k,
l)) -2 .

【0033】ここで、P1 (i,j)及びP2 (k,
l)はそれぞれ、R1 (I0 ,J0 )及びR2 (I,
J)に含まれる画素のGの値を示している。相関値の計
算にGの値を使用するのは、RGBの中でGが最も空間
解像度が高く、相関値の精度が良いからである。この相
関値を画像全域に亘って算出し、COL(I,J)が最
も大きくなるI,Jを求める。それらを、それぞれI1
,J1 とすると、領域R2 (I1 ,J1 )が、R1
(I0 ,J0 )と略同一の被写体が撮像されている領域
である。領域4aの幅を例えば36mmとすると、画像
C1及び画像C2の解像度RSLは、 RSL=N/36[pixel/mm] となる。
Where P1 (i, j) and P2 (k,
l) is R1 (I0, J0) and R2 (I,
The value of G of the pixel included in J) is shown. The value of G is used in the calculation of the correlation value because G has the highest spatial resolution among RGB and the accuracy of the correlation value is good. This correlation value is calculated over the entire area of the image to obtain I and J that maximize COL (I, J). Let them be I1
, J1, the region R2 (I1, J1) becomes R1
This is an area in which a subject that is substantially the same as (I0, J0) is imaged. When the width of the region 4a is 36 mm, for example, the resolution RSL of the images C1 and C2 is RSL = N / 36 [pixel / mm].

【0034】ここで、図9は被写体1を撮影したときの
被写体1とカメラ1との位置関係を示す図である。レン
ズ2a及びレンズ2bの開口が十分小さいときには、被
写体の像はフィルム3上に点像として写る。先に求めた
R1 (I0 ,J0 )とR2 (I1 ,J1 )との位置関係
から被写体の距離を算出することができる。レンズ2a
及びレンズ2bからフィルム3までの距離をfとする
と、レンズ2a及びレンズ2bから被写体までの距離L
は次式で求められる。
Here, FIG. 9 is a diagram showing the positional relationship between the subject 1 and the camera 1 when the subject 1 is photographed. When the apertures of the lenses 2a and 2b are sufficiently small, the image of the subject appears on the film 3 as a point image. The distance of the object can be calculated from the previously obtained positional relationship between R1 (I0, J0) and R2 (I1, J1). Lens 2a
And the distance from the lens 2b to the film 3 is f, the distance L from the lenses 2a and 2b to the subject is L
Is obtained by the following equation.

【0035】L=a*f*RSL/|I0 −I1 | 例えば、a=50[mm]、f=50[mm]、RSL
=100[pixel/mm]、I0 =500、I1 =
400、とすると、L=2500mmとなり、つまり、
この画像が撮像されたとき、カメラから被写体までの距
離は2.5mであったことが判る。以上のような計算を
画像C1の各領R1 について繰り返し行うことにより、
画像C1に撮像されている被写体の距離分布が求まる。
L = a * f * RSL / | I0-I1 | For example, a = 50 [mm], f = 50 [mm], RSL
= 100 [pixel / mm], I0 = 500, I1 =
Assuming 400, L = 2500 mm, that is,
It can be seen that when this image was taken, the distance from the camera to the subject was 2.5 m. By repeating the above calculation for each region R1 of the image C1,
The distance distribution of the subject imaged in the image C1 is obtained.

【0036】次に被写体距離からボケ量を判断しボケを
付加する手順を説明する。画像C1はデジタル画像なの
で、マトリックスを画像の各画素に畳み込むことにより
ボケを付加する。CPU32にはレンズのポイントスプ
レッド関数(PSF;point spread fanction )に対応する
複数のマトリックスが製造時に記憶されている。なお、
このPSFとは、被写体の点像がピント状態によってど
のように広がるかを示す関数であり、フィルム平面上座
標での光強度(明るさ)を示すものである。上記の「パ
ラメータ設定」で設定されたパラメータと既に算出した
被写体距離に応じて、各領域R(I,J)毎に適当なマ
トリックスを選択し畳み込むことでボケを付加する。
Next, the procedure for determining the amount of blur from the subject distance and adding the blur will be described. Since the image C1 is a digital image, blur is added by convolving the matrix into each pixel of the image. The CPU 32 stores a plurality of matrices corresponding to the point spread function (PSF) of the lens at the time of manufacturing. In addition,
The PSF is a function indicating how the point image of the subject spreads depending on the focus state, and indicates the light intensity (brightness) in the coordinates on the plane of the film. Blurring is added by selecting and convolving an appropriate matrix for each region R (I, J) according to the parameters set in the above “parameter setting” and the subject distance already calculated.

【0037】マトリックスを選択するパラメータとし
て、「レンズの焦点距離」、「Fナンバ」、「ジャスト
ピント距離」、「被写体距離」の4つがある。レンズの
焦点距離は「パラメータ設定」で設定した「レンズ種
類」及び「処理範囲」から判断される。ジャストピント
距離は「ジャストピント位置」で「距離設定」を行った
場合はそのままの値を「位置設定」を行った場合は既に
求めた被写体距離を用いて指定された「位置」を「距
離」に変換した値を使用する。
There are four parameters for selecting the matrix: "lens focal length", "F number", "just focus distance", and "subject distance". The focal length of the lens is determined from the "lens type" and "processing range" set in "parameter setting". The just focus distance is "just focus position". If "distance setting" is performed, the same value is used. If "position setting" is performed, the "position" specified using the already obtained subject distance is "distance". Use the value converted to.

【0038】レンズの焦点距離とFナンバをある値に決
めると、レンズの性質よりボケの大きさはジャストピン
ト距離の逆数と被写体距離の逆数との差に略比例する。
このことから、ジャストピント距離の逆数と被写体距離
の逆数との差を新たなパラメータとして用いることによ
り、ボケ付加の精度を落とすことなくパラメータの数を
減らすことができる。このパラメータを「距離差」とす
る。
When the focal length and the F number of the lens are set to certain values, the size of the blur is substantially proportional to the difference between the reciprocal of the just focus distance and the reciprocal of the object distance due to the nature of the lens.
Therefore, by using the difference between the reciprocal of the just focus distance and the reciprocal of the subject distance as a new parameter, the number of parameters can be reduced without degrading the accuracy of adding blur. This parameter is the "distance difference".

【0039】これらのパラメータを図10のテーブルに
従って番号付けして、これらを引数として持つボケマト
リックスを次のように定義する。 Mf,F,D (k,l):f(焦点距離)=1,2,3,4 F(Fナンバ)=1,2,3,4,5,6,7,8 D(距離差) =1,2,3,4,5,6 f,F,Dの可能な組み合わせの数から、マトリックス
はM1 〜M156 の156種類が用意されている。k,l
の範囲はボケマトリックスMの大きさで決まるが、ここ
では、−2<k<2、−2<1<2の5×5のマトリッ
クスを使用する。各マトリックスの要素は、ボケを再現
すべきレンズのPSFから算出されるもので、各パラメ
ータによって値は変わってくる。画像C1特有のパラメ
ータとしてfとFが決まるので、画像内の位置に応じて
作用させるマトリックスを変えるパラメータはDのみに
なる。
These parameters are numbered according to the table of FIG. 10, and a blur matrix having these parameters as arguments is defined as follows. Mf, F, D (k, l): f (focal length) = 1,2,3,4 F (F number) = 1,2,3,4,5,6,7,8 D (distance difference) = 1,2,3,4,5,6 f, F, and 156 types of matrices M1 to M156 are prepared from the number of possible combinations. k, l
The range of is determined by the size of the blur matrix M, but here, a 5 × 5 matrix of −2 <k <2 and −2 <1 <2 is used. The elements of each matrix are calculated from the PSF of the lens for which blurring is to be reproduced, and the values vary depending on each parameter. Since f and F are determined as parameters peculiar to the image C1, only D is a parameter that changes the matrix to be operated according to the position in the image.

【0040】ここで、図11にデフォルト値(f=2,
F=3)の際のマトリックスの例を示す。こうした複数
のマトリックスの中からパラメータに応じて適当なマト
リックスを選択するようにしたのは、画像の各点毎にボ
ケマトリックスを算出する方法に比べて計算時間を大幅
に短縮できるからである。このように選択されたマトリ
ックスを用いるとボケを付加した画素値P′は、 P′(i,j)=ΣΣMf,F,D (k,l)・P(i-k,j-1)/
ΣΣMf,F,D (k,l) となる。
Here, in FIG. 11, default values (f = 2,
An example of a matrix when F = 3) is shown. The reason why the appropriate matrix is selected from the plurality of matrices according to the parameters is that the calculation time can be significantly shortened as compared with the method of calculating the blur matrix for each point of the image. When the matrix selected in this way is used, the blurred pixel value P ′ is P ′ (i, j) = ΣΣMf, F, D (k, l) · P (ik, j-1) /
ΣΣMf, F, D (k, l).

【0041】このような計算を画像C1の各点について
繰り返し行うことにより、被写体距離に応じたボケを画
像C1に付加することができる。以上、本発明の実施の
形態について説明したが、本発明はこれに限定されるこ
となく、その趣旨を逸脱しない範囲で種々の改良・変更
が可能であることは勿論である。例えば、上記実施の形
態では、フィルム上の絶対位置をフィルムのパーフォレ
ーションを基準位置として求めたが、潜像のエッジを基
準にしたりフィルムに基準となるマーカーを記録してそ
れを基準位置としてもよい。
By repeating such calculation for each point of the image C1, it is possible to add a blur corresponding to the object distance to the image C1. Although the embodiment of the present invention has been described above, the present invention is not limited to this, and it goes without saying that various improvements and changes can be made without departing from the spirit of the present invention. For example, in the above-described embodiment, the absolute position on the film is obtained by using the perforation of the film as the reference position, but it is also possible to use the edge of the latent image as a reference or record a reference marker on the film and use it as the reference position. .

【0042】さらに、上記実施の形態では、相関値を計
算する際にGの値を用いた例を示したが、その他、R,
BやCMY系のCCDを用いた場合はC,M,Yのいず
れを用いても良い。また、RGB値やCMY値から適当
な輝度信号を算出し、それを用いて相関値を算出しても
良い。また、上記実施の形態では、ボケを付加する際に
予め用意した複数のマトリックスから適当なマトリック
スを選択し畳み込む方式を使用したが、焦点距離、Fナ
ンバなどのパラメータからボケ関数を生成し、それを基
に畳み込み演算する方法を用いても良い。
Further, in the above embodiment, an example in which the value of G is used when calculating the correlation value is shown.
When B or CMY CCD is used, any of C, M and Y may be used. Further, it is also possible to calculate an appropriate luminance signal from RGB values and CMY values and use it to calculate the correlation value. Further, in the above-described embodiment, when a blur is added, a method of selecting an appropriate matrix from a plurality of matrices prepared in advance and convolving is used, but a blur function is generated from parameters such as a focal length and an F number, and A method of performing a convolution calculation based on

【0043】以上説明したように、本発明の画像処理方
法及び装置によれば、被写体距離に応じたボケを付加す
ることにより、ユーザーは、小口径のレンズを持つ小型
軽量なカメラにて大口径のレンズを持つカメラで撮影し
たようなボケ味を持った写真を得ることができる。
As described above, according to the image processing method and apparatus of the present invention, by adding the blur according to the subject distance, the user can use the small and lightweight camera having the small diameter lens and the large aperture. You can get a picture with a bokeh like that taken with a camera with a lens.

【0044】以上、本発明の実施形態に基づいて説明し
たが、本明細書には以下の発明が含まれている。 (1)同一の被写体を含み視差を有する複数枚一組の画
像から被写体の距離を判断し、距離に応じたボケを被写
体に付加することを特徴とする画像処理方法。 (2)付加すべきボケパラメータを複数種類有し、被写
体の距離に応じて複数のパラメータの中からボケの付加
に使用すべきパラメータを選択することを特徴とする上
記(1)に記載の画像処理方法。 (3)同一被写体を異なる視差で撮影した複数のフィル
ム画像のフィルム上の画素位置データと、その画素デー
タを取り込む画像取り込み手段と、上記取り込まれた画
像データから、フィルム画面の複数の微小領域における
距離を算出する距離算出手段と、ジャストピント距離設
定手段と、上記距離算出手段の出力とジャストピント距
離に基づいて、微小領域に所定のボケを付与するボケ付
与手段と、を有することを特徴とするボケ画像処理装
置。 (4)上記画像取り込み手段はフィルム上の画素位置デ
ータをフィルム上の基準位置を基準として取り込むこと
を特徴とする上記(3)に記載の画像処理装置。 (5)上記フィルム上の基準位置はフィルムのパーフォ
レーションであることを特徴とする上記(4)に記載の
画像処理装置。 (6)上記距離算出手段は、複数の色画素のうちの1つ
を用いることを特徴とする上記(3)に記載の画像処理
装置。 (7)上記色画素は、RGBのうちのGであることを特
徴とする上記(6)に記載の画像処理装置。 (8)上記距離算出手段は、複数の色画素のうち、もっ
とも空間解像力の高い色画素データを用いることを特徴
とする上記(3)に記載の画像処理装置。 (9)上記ボケ付与手段のボケ量は、上記微小領域の被
写体距離の逆数とジャストピント距離の逆数の差の絶対
値に応じて線形に増加することを特徴とする上記(3)
に記載の画像処理装置。 (10)上記ボケ付与手段のボケ関数は、上記微小領域
の被写体距離の逆数とジャストピント距離の逆数の差に
応じて選択されることを特徴とする上記(3)に記載の
画像処理装置。 (11)上記ボケ付与手段のボケ関数は、複数種類のボ
ケ関数テーブルから選択されることを特徴とする上記
(3)に記載の画像処理装置。 (12)同一被写体を異なる視差で撮影した複数のフィ
ルム画像のフィルム上の画素位置データと、その画素デ
ータを取り込む画像取り込み手段と、上記取り込まれた
画像データからフィルム画面の複数の微小領域における
距離を算出する距離算出手段と、ジャストピント距離設
定手段と、複数のボケ形状関数を記述したボケ形状テー
ブルと、上記テーブルからボケ形状関数を選択する選択
手段と、上記距離算出手段の出力とジャストピント距離
と上記選択されたボケ形状関数に基づいて微小領域に所
定のボケを付与するボケ付与手段と、を有することを特
徴とする画像処理装置。 (13)上記選択手段は、レンズの種類を指定すること
により選択することを特徴とする上記(12)に記載の
画像処理装置。 (14)上記選択手段は、レンズのFナンバを指定する
ことにより選択することを特徴とする上記(12)に記
載の画像処理装置。 (15)同一被写体を異なる視差で撮影した複数のフィ
ルム画像のフィルム上の画素位置データと、その画像デ
ータを取り込む画像取り込み手段と、出力画像範囲を指
示する出力画像範囲指示手段と、上記出力画像範囲指示
手段による指示に対応する焦点距離を設定する焦点距離
設定手段と、Fナンバ設定手段と、上記取り込まれた画
像データからフィルム画面の複数の微小領域における距
離を算出する距離算出手段と、ジャストピント距離設定
手段と、複数のボケ形状関数を記述したボケ形状テーブ
ルと、上記テーブルからボケ形状関数を選択する選択手
段と、上記、距離算出手段の出力とジャストピント距離
と上記選択されたボケ形状関数に基づいて、微小領域に
所定のボケを付与するボケ付与手段と、を有することを
特徴とする画像処理装置。 (16)同一被写体を異なる視差で撮影した複数のフィ
ルム画像のフィルム上の画素位置データと、その画像デ
ータを取り込む画像取り込み手段と、出力画像範囲を指
示する出力画像範囲指示手段と、上記出力画像範囲指示
手段による指示に対応する焦点距離を設定する焦点距離
設定手段と、Fナンバ設定手段と、レンズ種類設定手段
と、上記取り込まれた画像データからフィルム画面の複
数の微小領域における距離を算出する距離算出手段と、
ジャストピント距離設定手段と、複数のボケ形状関数を
記述したボケ形状テーブルと、上記テーブルからボケ形
状関数を選択する選択手段と、上記距離算出手段の出力
とジャストピント距離と上記選択されたボケ形状関数に
基づいて、微小領域に所定のボケを付与するボケ付与手
段と、を有することを特徴とする画像処理装置。
Although the description has been given based on the embodiments of the present invention, the present invention includes the following inventions. (1) An image processing method, characterized in that the distance to a subject is judged from a set of images including the same subject and having parallax, and blurring according to the distance is added to the subject. (2) The image according to (1) above, which has a plurality of types of blurring parameters to be added, and selects a parameter to be used for adding blurring from among the plurality of parameters according to the distance to the subject. Processing method. (3) Pixel position data on a film of a plurality of film images obtained by shooting the same subject with different parallaxes, an image capturing means for capturing the pixel data, and a plurality of minute regions on the film screen from the captured image data. A distance calculation means for calculating the distance, a just focus distance setting means, and a blur applying means for imparting a predetermined blur to a minute area based on the output of the distance calculation means and the just focus distance. Blurred image processing device. (4) The image processing apparatus according to (3), wherein the image capturing means captures pixel position data on the film with reference to a reference position on the film. (5) The image processing apparatus according to (4), wherein the reference position on the film is perforation of the film. (6) The image processing device according to (3), wherein the distance calculation unit uses one of a plurality of color pixels. (7) The image processing device according to (6), wherein the color pixel is G of RGB. (8) The image processing apparatus according to (3), wherein the distance calculation means uses color pixel data having the highest spatial resolution among a plurality of color pixels. (9) The blur amount of the blur imparting means linearly increases according to the absolute value of the difference between the reciprocal of the subject distance and the reciprocal of the just focus distance in the minute area.
An image processing apparatus according to claim 1. (10) The image processing device according to (3), wherein the blurring function of the blurring means is selected according to the difference between the reciprocal of the subject distance and the reciprocal of the just focus distance of the minute area. (11) The image processing apparatus according to (3), wherein the blurring function of the blurring means is selected from a plurality of types of blurring function tables. (12) Pixel position data on a film of a plurality of film images obtained by shooting the same subject with different parallaxes, image capturing means for capturing the pixel data, and distances from the captured image data in a plurality of minute regions on the film screen. A distance calculation means for calculating, a just focus distance setting means, a blur shape table describing a plurality of blur shape functions, a selection means for selecting a blur shape function from the table, an output of the distance calculation means and a just focus. An image processing apparatus comprising: a blur applying unit that applies a predetermined blur to a minute area based on a distance and the selected blur shape function. (13) The image processing apparatus according to (12), wherein the selection means selects by specifying the type of lens. (14) The image processing apparatus according to (12), wherein the selection unit selects by specifying the F number of the lens. (15) Pixel position data on film of a plurality of film images obtained by shooting the same subject with different parallax, image capturing means for capturing the image data, output image range instructing means for instructing an output image range, and the output image. A focal length setting unit that sets a focal length corresponding to an instruction from the range designating unit, an F number setting unit, a distance calculation unit that calculates distances in a plurality of minute areas of the film screen from the captured image data, and just Focus distance setting means, blur shape table describing a plurality of blur shape functions, selecting means for selecting a blur shape function from the table, output of the distance calculating means, just focus distance, and the selected blur shape. And an image blurring means for imparting a predetermined blur to a minute area based on a function. Apparatus. (16) Pixel position data on film of a plurality of film images obtained by shooting the same subject with different parallax, image capturing means for capturing the image data, output image range instructing means for instructing an output image range, and the output image. The focal length setting unit that sets the focal length corresponding to the instruction from the range designating unit, the F number setting unit, the lens type setting unit, and the distances in a plurality of minute regions of the film screen are calculated from the captured image data. Distance calculation means,
Just focus distance setting means, blur shape table describing a plurality of blur shape functions, selection means for selecting a blur shape function from the table, output of the distance calculation means, just focus distance and the selected blur shape An image processing apparatus comprising: a blur applying unit that applies a predetermined blur to a minute area based on a function.

【0045】[0045]

【発明の効果】以上詳述したように、本発明のよれば、
レンズシャッタカメラ等といった口径の小さいレンズを
持つカメラで撮影された画像から、大口径のレンズを備
えたカメラで撮影したようなボケ味を持った写真を得る
画像処理方法及び装置を提供することができる。
As described in detail above, according to the present invention,
(EN) An image processing method and apparatus for obtaining a photograph having a blur like that taken by a camera having a large-diameter lens from an image taken by a camera having a small-diameter lens such as a lens shutter camera. it can.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態に係る画像処理方法の概念
図である。
FIG. 1 is a conceptual diagram of an image processing method according to an embodiment of the present invention.

【図2】視差を有した画像の組を撮影するカメラの構成
を示す図である。
FIG. 2 is a diagram illustrating a configuration of a camera that captures a set of images having parallax.

【図3】図2のカメラで撮像された画像にボケを付加す
るためのボケ付加装置及び処理された画像を表示する外
部モニタの外観図である。
FIG. 3 is an external view of a blur adding device for adding blur to an image captured by the camera of FIG. 2 and an external monitor that displays a processed image.

【図4】画像処理装置におけるボケ付加装置の詳細な構
成を示す図である。
FIG. 4 is a diagram showing a detailed configuration of a blur adding device in the image processing device.

【図5】画像処理装置におけるボケ付加装置の動作を説
明するためのフローチャートである。
FIG. 5 is a flowchart for explaining the operation of the blur adding device in the image processing device.

【図6】画像処理装置の液晶パネルに表示された「設定
項目」のメニューを示す図である。
FIG. 6 is a diagram showing a menu of “setting items” displayed on a liquid crystal panel of the image processing apparatus.

【図7】「処理範囲設定」にて画像全体の中で処理すべ
き範囲を設定する様子を示す図である。
FIG. 7 is a diagram showing how a range to be processed is set in the entire image by “processing range setting”.

【図8】フィルム上の画像をCCDにて撮像する際の撮
像範囲を示す図である。
FIG. 8 is a diagram showing an image pickup range when an image on a film is picked up by a CCD.

【図9】被写体を撮影したときの被写体とカメラとの位
置関係を示す図である。
FIG. 9 is a diagram showing a positional relationship between a subject and a camera when the subject is photographed.

【図10】パラメータを番号付けするためのテーブルを
示す図である。
FIG. 10 shows a table for numbering parameters.

【図11】デフォルト値f=2,F=3の際のマトリッ
クスの例を示す図である。
FIG. 11 is a diagram showing an example of a matrix when default values f = 2 and F = 3.

【符号の説明】[Explanation of symbols]

S1…各被写体の距離を算出するステップ、S2…各被
写体のボケを算出するステップ、S3…画像にボケを付
加するステップ、1…カメラ本体、2…撮影レンズ、3
…フィルム、4a,4b…領域、5…ファインダ、10
…カートリッジ、11…液晶パネル、12…指示パッ
ド、13…決定釦、14…パワースイッチ、15…挿入
口、21…ランプ、22…レンズ、23…CCD、24
…信号処理回路、25,26…RAM、27…I/F回
路、28…操作指示部、29…モータ、30…スプー
ル、31…ギヤ、32…CPU。
S1 ... Calculating distance of each subject, S2 ... Calculating blur of each subject, S3 ... Adding blur to image, 1 ... Camera body, 2 ... Photographing lens, 3
... film, 4a, 4b ... area, 5 ... finder, 10
... cartridge, 11 ... liquid crystal panel, 12 ... instruction pad, 13 ... decision button, 14 ... power switch, 15 ... insertion slot, 21 ... lamp, 22 ... lens, 23 ... CCD, 24
... signal processing circuit, 25, 26 ... RAM, 27 ... I / F circuit, 28 ... operation instruction section, 29 ... motor, 30 ... spool, 31 ... gear, 32 ... CPU.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 1/40 H04N 1/40 101Z ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification number Office reference number FI Technical display location H04N 1/40 H04N 1/40 101Z

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 所定の視差を有する一対の撮影レンズを
通過して同時撮影された一対の画像と上記視差情報とを
入力し、 上記入力された情報に基づいて上記画像中の被写体群の
距離分布を算出し、 上記撮影レンズの属性に依存するボケ情報を与えるため
のボケパラメータを適宜選択し、 上記算出された被写体群の距離分布と、上記選択された
ボケパラメータとに応じて、上記被写体群に実際の撮影
レンズによるものとは異なるボケを付加し、 上記ボケを付加した画像を出力することを特徴とする画
像処理方法。
1. A pair of images simultaneously photographed through a pair of photographing lenses having a predetermined parallax and the parallax information are input, and the distance of a subject group in the image based on the input information. A distribution is calculated, and a blur parameter for giving blur information depending on the attribute of the taking lens is appropriately selected, and the subject is distributed according to the calculated distance distribution of the subject group and the selected blur parameter. An image processing method characterized in that blurring different from that caused by an actual photographing lens is added to the group, and the image with the blurring is output.
【請求項2】 上記パラメータは、撮影レンズの焦点距
離、F値及びピント位置の少なくともいずれかを含むこ
とを特徴とする請求項1に記載の画像処理方法。
2. The image processing method according to claim 1, wherein the parameter includes at least one of a focal length, an F value, and a focus position of the taking lens.
【請求項3】 所定の視差を有する一対の撮影レンズを
通過して同時撮影された一対の画像と上記視差情報とを
入力する入力手段と、 上記入力手段より入力された情報に基づいて、上記画像
中の被写体群の距離分布を算出する距離分布算出手段
と、 上記撮影レンズの属性に依存するボケ情報を与えるため
のボケパラメータを適宜選択するパラメータ選択手段
と、 上記距離分布算出手段により算出された被写体群の距離
分布と、上記パラメータ選択手段により選択されたボケ
パラメータとに応じて、上記被写体群に実際の撮影レン
ズによるものとは異なるボケを付加するボケ付加手段
と、 上記ボケ付加手段によりボケを付加した画像を出力する
画像出力手段と、を具備することを特徴とする画像処理
装置。
3. Input means for inputting the parallax information and a pair of images simultaneously photographed through a pair of photographing lenses having a predetermined parallax, and based on the information inputted by the input means, Distance distribution calculating means for calculating the distance distribution of the object group in the image, parameter selecting means for appropriately selecting the blur parameter for giving the blur information depending on the attribute of the photographing lens, and the distance distribution calculating means for calculating. Depending on the distance distribution of the subject group and the blur parameter selected by the parameter selecting means, the blur adding means for adding blur to the subject group different from that caused by the actual photographing lens, and the blur adding means. An image processing apparatus, comprising: an image output unit that outputs an image with blur added.
JP7335041A 1995-12-22 1995-12-22 Image processing method and device Pending JPH09181966A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7335041A JPH09181966A (en) 1995-12-22 1995-12-22 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7335041A JPH09181966A (en) 1995-12-22 1995-12-22 Image processing method and device

Publications (1)

Publication Number Publication Date
JPH09181966A true JPH09181966A (en) 1997-07-11

Family

ID=18284090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7335041A Pending JPH09181966A (en) 1995-12-22 1995-12-22 Image processing method and device

Country Status (1)

Country Link
JP (1) JPH09181966A (en)

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6900841B1 (en) 1999-01-11 2005-05-31 Olympus Optical Co., Ltd. Image processing system capable of applying good texture such as blur
KR100617659B1 (en) * 2004-12-06 2006-08-28 엘지전자 주식회사 Digital camera device and out-focus processing method
EP1841215A2 (en) * 2006-03-31 2007-10-03 Samsung Electronics Co., Ltd. Apparatus and method for out-of-focus shooting using portable terminal
US7286168B2 (en) 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
JP2010074425A (en) * 2008-09-17 2010-04-02 Ricoh Co Ltd Image processing apparatus, program, and image processing method
US7978253B2 (en) * 2007-07-18 2011-07-12 Ricoh Company, Ltd. Image pickup device using blur processing and control method thereof
WO2011148556A1 (en) * 2010-05-25 2011-12-01 パナソニック株式会社 Image encoding apparatus, image encoding method, program and integrated circuit
WO2012073575A1 (en) * 2010-12-03 2012-06-07 シャープ株式会社 Image processing apparatus, image processing method, and image processing program
JP2013047875A (en) * 2011-08-29 2013-03-07 Univ Of Yamanashi Stereoscopic effect presentation device and method, defocused image generation device and method, and program
CN102986221A (en) * 2011-07-19 2013-03-20 松下电器产业株式会社 Image encoding device, integrated circuit therefor, and image encoding method
WO2013136403A1 (en) * 2012-03-15 2013-09-19 パナソニック株式会社 Image processing device, integrated circuit, program, imaging device, and display device
JP2013214854A (en) * 2012-04-02 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional image display device, three-dimensional image display method, and three-dimensional image display program
US20140009585A1 (en) * 2012-07-03 2014-01-09 Woodman Labs, Inc. Image blur based on 3d depth information
US8988592B2 (en) 2012-05-17 2015-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
KR20150086333A (en) * 2013-01-18 2015-07-27 인텔 코포레이션 Variance estimation light field reconstruction for defocus blur
WO2016175043A1 (en) * 2015-04-28 2016-11-03 ソニー株式会社 Image processing device and image processing method
CN102986221B (en) * 2011-07-19 2016-11-30 松下电器(美国)知识产权公司 Picture coding device and integrated circuit thereof and method for encoding images
JP2016213744A (en) * 2015-05-12 2016-12-15 キヤノン株式会社 Subject tracking device, optical device, imaging device, control method of object tracking device, and program
US9787862B1 (en) 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9871994B1 (en) 2016-01-19 2018-01-16 Gopro, Inc. Apparatus and methods for providing content context using session metadata
US9916863B1 (en) 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US9953679B1 (en) 2016-05-24 2018-04-24 Gopro, Inc. Systems and methods for generating a time lapse video
US9953224B1 (en) 2016-08-23 2018-04-24 Gopro, Inc. Systems and methods for generating a video summary
US9967515B1 (en) 2016-06-15 2018-05-08 Gopro, Inc. Systems and methods for bidirectional speed ramping
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10044972B1 (en) 2016-09-30 2018-08-07 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10078644B1 (en) 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US10096341B2 (en) 2015-01-05 2018-10-09 Gopro, Inc. Media identifier generation for camera-captured media
US10129464B1 (en) 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
US10192585B1 (en) 2014-08-20 2019-01-29 Gopro, Inc. Scene and activity identification in video summary generation based on motion detected in a video
US10229719B1 (en) 2016-05-09 2019-03-12 Gopro, Inc. Systems and methods for generating highlights for a video
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10338955B1 (en) 2015-10-22 2019-07-02 Gopro, Inc. Systems and methods that effectuate transmission of workflow between computing platforms
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US10360663B1 (en) 2017-04-07 2019-07-23 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10397415B1 (en) 2016-09-30 2019-08-27 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
US11106988B2 (en) 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle

Cited By (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6900841B1 (en) 1999-01-11 2005-05-31 Olympus Optical Co., Ltd. Image processing system capable of applying good texture such as blur
US7286168B2 (en) 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
KR100617659B1 (en) * 2004-12-06 2006-08-28 엘지전자 주식회사 Digital camera device and out-focus processing method
EP1841215A2 (en) * 2006-03-31 2007-10-03 Samsung Electronics Co., Ltd. Apparatus and method for out-of-focus shooting using portable terminal
EP1841215A3 (en) * 2006-03-31 2007-11-21 Samsung Electronics Co., Ltd. Apparatus and method for out-of-focus shooting using portable terminal
US7978253B2 (en) * 2007-07-18 2011-07-12 Ricoh Company, Ltd. Image pickup device using blur processing and control method thereof
JP2010074425A (en) * 2008-09-17 2010-04-02 Ricoh Co Ltd Image processing apparatus, program, and image processing method
CN102474647A (en) * 2010-05-25 2012-05-23 松下电器产业株式会社 Image encoding apparatus, image encoding method, program and integrated circuit
WO2011148556A1 (en) * 2010-05-25 2011-12-01 パナソニック株式会社 Image encoding apparatus, image encoding method, program and integrated circuit
CN102474647B (en) * 2010-05-25 2015-08-19 松下电器(美国)知识产权公司 Picture coding device, method for encoding images and integrated circuit
US8994788B2 (en) 2010-05-25 2015-03-31 Panasonic Intellectual Property Corporation Of America Image coding apparatus, method, program, and circuit using blurred images based on disparity
JP5473173B2 (en) * 2010-12-03 2014-04-16 シャープ株式会社 Image processing apparatus, image processing method, and image processing program
WO2012073575A1 (en) * 2010-12-03 2012-06-07 シャープ株式会社 Image processing apparatus, image processing method, and image processing program
US9070223B2 (en) 2010-12-03 2015-06-30 Sharp Kabushiki Kaisha Image processing device, image processing method, and image processing program
CN102986221A (en) * 2011-07-19 2013-03-20 松下电器产业株式会社 Image encoding device, integrated circuit therefor, and image encoding method
CN102986221B (en) * 2011-07-19 2016-11-30 松下电器(美国)知识产权公司 Picture coding device and integrated circuit thereof and method for encoding images
JP2013047875A (en) * 2011-08-29 2013-03-07 Univ Of Yamanashi Stereoscopic effect presentation device and method, defocused image generation device and method, and program
WO2013136403A1 (en) * 2012-03-15 2013-09-19 パナソニック株式会社 Image processing device, integrated circuit, program, imaging device, and display device
US9002128B2 (en) 2012-03-15 2015-04-07 Panasonic Intellectual Property Corporation Of America Image processing apparatus, integrated circuit, program, imaging apparatus, and display apparatus
JPWO2013136403A1 (en) * 2012-03-15 2015-07-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Image processing device, integrated circuit, program, imaging device, display device
JP2013214854A (en) * 2012-04-02 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional image display device, three-dimensional image display method, and three-dimensional image display program
US10021290B2 (en) 2012-05-17 2018-07-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
US8988592B2 (en) 2012-05-17 2015-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
US9621786B2 (en) 2012-05-17 2017-04-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
EP2683169A3 (en) * 2012-07-03 2017-04-12 GoPro, Inc. Image blur based on 3D depth information
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US20140009585A1 (en) * 2012-07-03 2014-01-09 Woodman Labs, Inc. Image blur based on 3d depth information
JP2014014076A (en) * 2012-07-03 2014-01-23 Woodman Labs Inc Image blur based on 3d depth information
US10015469B2 (en) 2012-07-03 2018-07-03 Gopro, Inc. Image blur based on 3D depth information
KR20150086333A (en) * 2013-01-18 2015-07-27 인텔 코포레이션 Variance estimation light field reconstruction for defocus blur
US11776579B2 (en) 2014-07-23 2023-10-03 Gopro, Inc. Scene and activity identification in video summary generation
US11069380B2 (en) 2014-07-23 2021-07-20 Gopro, Inc. Scene and activity identification in video summary generation
US10776629B2 (en) 2014-07-23 2020-09-15 Gopro, Inc. Scene and activity identification in video summary generation
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US10074013B2 (en) 2014-07-23 2018-09-11 Gopro, Inc. Scene and activity identification in video summary generation
US10339975B2 (en) 2014-07-23 2019-07-02 Gopro, Inc. Voice-based video tagging
US10192585B1 (en) 2014-08-20 2019-01-29 Gopro, Inc. Scene and activity identification in video summary generation based on motion detected in a video
US10262695B2 (en) 2014-08-20 2019-04-16 Gopro, Inc. Scene and activity identification in video summary generation
US10643663B2 (en) 2014-08-20 2020-05-05 Gopro, Inc. Scene and activity identification in video summary generation based on motion detected in a video
US10096341B2 (en) 2015-01-05 2018-10-09 Gopro, Inc. Media identifier generation for camera-captured media
US10559324B2 (en) 2015-01-05 2020-02-11 Gopro, Inc. Media identifier generation for camera-captured media
US10529057B2 (en) 2015-04-28 2020-01-07 Sony Corporation Image processing apparatus and image processing method
WO2016175043A1 (en) * 2015-04-28 2016-11-03 ソニー株式会社 Image processing device and image processing method
JP2016213744A (en) * 2015-05-12 2016-12-15 キヤノン株式会社 Subject tracking device, optical device, imaging device, control method of object tracking device, and program
US10338955B1 (en) 2015-10-22 2019-07-02 Gopro, Inc. Systems and methods that effectuate transmission of workflow between computing platforms
US10078644B1 (en) 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US9787862B1 (en) 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
US9871994B1 (en) 2016-01-19 2018-01-16 Gopro, Inc. Apparatus and methods for providing content context using session metadata
US10402445B2 (en) 2016-01-19 2019-09-03 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US10129464B1 (en) 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10740869B2 (en) 2016-03-16 2020-08-11 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US10817976B2 (en) 2016-03-31 2020-10-27 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US11398008B2 (en) 2016-03-31 2022-07-26 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US10341712B2 (en) 2016-04-07 2019-07-02 Gopro, Inc. Systems and methods for audio track selection in video editing
US10229719B1 (en) 2016-05-09 2019-03-12 Gopro, Inc. Systems and methods for generating highlights for a video
US9953679B1 (en) 2016-05-24 2018-04-24 Gopro, Inc. Systems and methods for generating a time lapse video
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US10742924B2 (en) 2016-06-15 2020-08-11 Gopro, Inc. Systems and methods for bidirectional speed ramping
US9967515B1 (en) 2016-06-15 2018-05-08 Gopro, Inc. Systems and methods for bidirectional speed ramping
US11223795B2 (en) 2016-06-15 2022-01-11 Gopro, Inc. Systems and methods for bidirectional speed ramping
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
US11062143B2 (en) 2016-08-23 2021-07-13 Gopro, Inc. Systems and methods for generating a video summary
US9953224B1 (en) 2016-08-23 2018-04-24 Gopro, Inc. Systems and methods for generating a video summary
US10726272B2 (en) 2016-08-23 2020-07-28 Go Pro, Inc. Systems and methods for generating a video summary
US11508154B2 (en) 2016-08-23 2022-11-22 Gopro, Inc. Systems and methods for generating a video summary
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10560655B2 (en) 2016-09-30 2020-02-11 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10044972B1 (en) 2016-09-30 2018-08-07 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10397415B1 (en) 2016-09-30 2019-08-27 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10560591B2 (en) 2016-09-30 2020-02-11 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US11106988B2 (en) 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
US10643661B2 (en) 2016-10-17 2020-05-05 Gopro, Inc. Systems and methods for determining highlight segment sets
US10923154B2 (en) 2016-10-17 2021-02-16 Gopro, Inc. Systems and methods for determining highlight segment sets
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US10776689B2 (en) 2017-02-24 2020-09-15 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US9916863B1 (en) 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US10817992B2 (en) 2017-04-07 2020-10-27 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10360663B1 (en) 2017-04-07 2019-07-23 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10817726B2 (en) 2017-05-12 2020-10-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10614315B2 (en) 2017-05-12 2020-04-07 Gopro, Inc. Systems and methods for identifying moments in videos
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering

Similar Documents

Publication Publication Date Title
JPH09181966A (en) Image processing method and device
JPH09181913A (en) Camera system
JPH11355617A (en) Camera with image display device
JP2003116046A (en) Image correction camera and method therefor
JP2003110884A (en) Warning message camera and method therefor
JPH1188672A (en) Image-processing method, its device, image reproduction method and its device and image-confirming device used for the method
JP2003078813A (en) Revised recapture camera and method
JP2009054130A (en) Image processor, image processing method, and digital still camera
JP4652998B2 (en) Imaging device
JP2011035509A (en) Compound-eye photographing apparatus, and control method for the same
JP2007236008A (en) Camera with image display
JP2004118711A (en) Image processor, image processing method and program
JP2008104069A (en) Digital camera and program of digital camera
JP2002158919A (en) Imaging device and image acquisition step
JP6833801B2 (en) Imaging equipment, imaging methods, programs and recording media
JP2011035643A (en) Multiple eye photography method and apparatus, and program
JP2005027284A (en) Image pickup apparatus, image pickup method and image pickup program
JP5822700B2 (en) Image capturing method, image capturing apparatus, and program
JP2010141609A (en) Imaging apparatus
JP2004336790A (en) Digital camera with preview choice
JP2008103831A (en) Imaging apparatus
JP2001281754A (en) Camera, picture converting device, picture converting display device, stereoscopic picture display system and readable recording medium with picture conversion program recorded thereon
JP4586578B2 (en) Digital camera and program
JP5539820B2 (en) Imaging apparatus, imaging method, and imaging program
JP2007288799A (en) Photographing apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050510