JP2002344723A - Imaging device, image processing apparatus, image processing method, and program - Google Patents
Imaging device, image processing apparatus, image processing method, and programInfo
- Publication number
- JP2002344723A JP2002344723A JP2001148428A JP2001148428A JP2002344723A JP 2002344723 A JP2002344723 A JP 2002344723A JP 2001148428 A JP2001148428 A JP 2001148428A JP 2001148428 A JP2001148428 A JP 2001148428A JP 2002344723 A JP2002344723 A JP 2002344723A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- inclination
- unit
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 258
- 238000003384 imaging method Methods 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000003860 storage Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- 238000009966 trimming Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000005375 photometry Methods 0.000 description 4
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、撮像装置、画像処
理装置、画像処理方法、及びプログラムに関する。特
に、画像に基づいて画像処理する撮像装置、画像処理装
置、画像処理方法、及びプログラムに関する。[0001] The present invention relates to an image pickup apparatus, an image processing apparatus, an image processing method, and a program. In particular, the present invention relates to an imaging device that performs image processing based on an image, an image processing device, an image processing method, and a program.
【０００２】[0002]
【従来の技術】従来の撮像装置において撮像した画像に
は、幾何学的ずれが生じている場合がある。例えば、撮
像時において撮像装置が傾いていた場合には、撮像した
画像に天地のずれが生じる。また、レンズ等の特性によ
り、撮像した画像に歪みが生じる場合もある。また、撮
像しようとした被写体が画像の端に寄りすぎていたり、
例えば空のような、不要な被写体が画像の大半を占めて
しまう場合があった。2. Description of the Related Art There is a case where an image picked up by a conventional image pickup apparatus has a geometric shift. For example, if the imaging device is tilted at the time of imaging, the captured image will be misaligned. Further, the captured image may be distorted due to the characteristics of the lens and the like. Also, the subject you are trying to capture is too close to the edge of the image,
For example, an unnecessary subject such as the sky sometimes occupies most of the image.
【０００３】[0003]
【発明が解決しようとする課題】従来、幾何学的ずれが
生じている画像に対して、当該幾何学的ずれを修正する
ためには、撮像者が、撮像した画像のそれぞれに対し、
当該幾何学的ずれを確認し、それぞれの画像に対し、複
雑な画像処理を行う必要があった。この場合、撮像者が
それぞれの画像について確認及び画像処理を行うため、
時間と手間がかかっていた。Conventionally, in order to correct the geometric deviation of an image in which a geometric deviation has occurred, a photographer has to perform the following operations on each of the captured images.
It was necessary to confirm the geometric deviation and perform complicated image processing on each image. In this case, since the photographer performs confirmation and image processing for each image,
It took time and effort.
【０００４】そこで本発明は、上記の課題を解決するこ
とのできる撮像装置、画像処理装置、画像処理方法、及
びプログラムを提供することを目的とする。この目的
は、特許請求の範囲における独立項に記載の特徴の組み
合わせにより達成される。また従属項は本発明の更なる
有利な具体例を規定する。Accordingly, an object of the present invention is to provide an imaging device, an image processing device, an image processing method, and a program that can solve the above-mentioned problems. This object is achieved by a combination of features described in independent claims. The dependent claims define further advantageous embodiments of the present invention.
【０００５】[0005]
【課題を解決するための手段】上記課題を解決するため
に、本発明の第１の形態においては、被写体を撮像する
撮像装置であって、被写体の画像を取得する撮像部と、
画像から、被写体のエッジ成分のうち、予め定められた
長さ以上の直線成分を検出するための検出条件を格納す
る条件記憶部と、検出条件に基づいて、画像から、直線
成分に対応する画像要素を検出し、検出した画像要素
と、予め定められた直線成分の傾きに関する基準との幾
何学的ずれを検出する画像処理部とを備えることを特徴
とする撮像装置を提供する。According to a first aspect of the present invention, there is provided an image capturing apparatus for capturing an image of a subject, comprising: an image capturing section for capturing an image of the subject;
A condition storage unit for storing a detection condition for detecting a straight line component having a length equal to or longer than a predetermined length from the image, and an image corresponding to the straight line component from the image based on the detection condition There is provided an imaging apparatus comprising: an image processing unit that detects an element and detects a geometric deviation between the detected image element and a reference regarding a predetermined inclination of a linear component.
【０００６】撮像装置は、撮像部が撮像した画像を格納
する画像記憶部を更に備えてよい。また、画像処理部
は、幾何学的ずれが小さくなるように、画像に対して画
像処理してよい。また、画像処理部は、水平又は垂直方
向を、傾きに関する基準として、直線成分と傾きに関す
る基準との幾何学的ずれを小さくしてよい。また、画像
処理部は、直線成分のうち、傾きに関する基準に対する
傾きが、予め定められた範囲内である直線成分と、傾き
に関する基準との幾何学的ずれを小さくしてよい。画像
処理部は、直線成分のうち、画像の水平方向に対する傾
きが、予め定められた範囲内である直線成分、又は画像
の垂直方向に対する傾きが、予め定められた範囲内であ
る直線成分と、画像の水平方向又は垂直方向との幾何学
的ずれを小さくしてよい。[0006] The imaging device may further include an image storage unit for storing an image captured by the imaging unit. Further, the image processing unit may perform image processing on the image so that the geometric deviation is reduced. Further, the image processing unit may use the horizontal or vertical direction as a criterion for the inclination and reduce the geometric deviation between the linear component and the criterion for the inclination. In addition, the image processing unit may reduce a geometric deviation between the linear component whose inclination with respect to the reference is within a predetermined range and the reference with respect to the inclination. The image processing unit, among the straight line components, a straight line component whose inclination in the horizontal direction of the image is within a predetermined range, or a straight line component whose inclination in the vertical direction of the image is within a predetermined range, The geometric deviation between the horizontal and vertical directions of the image may be reduced.
【０００７】また、条件記憶部は、直線成分のうち、実
質的に直交する直線成分の組み合わせを検出するための
検出条件を更に格納し、画像処理部は、直線成分のう
ち、実質的に直交する直線成分の組み合わせと、傾きに
関する基準との幾何学的ずれを小さくしてよい。また、
被写体までの距離情報を取得する距離測定部を更に備
え、画像処理部は、直線成分における少なくとも２点の
距離情報と、直線成分の傾きとに基づいて、直線成分に
対応する被写体要素の実空間における傾きを算出し、直
線成分のうち、対応する被写体要素の実空間における傾
きに関する基準に対する傾きが、予め定められた範囲内
である直線成分と、傾きに関する基準との幾何学的ずれ
を小さくしてよい。また、被写体までの距離情報を取得
する距離測定部を更に備え、画像処理部は、距離情報に
基づいて、実質的に等距離の画像要素から形成される直
線成分を検出し、検出した直線成分と傾きに関する基準
との幾何学的ずれを小さくしてよい。The condition storage unit further stores a detection condition for detecting a combination of substantially orthogonal straight line components among the straight line components, and the image processing unit stores substantially a straight line component among the straight line components. The geometrical deviation between the combination of the linear components to be performed and the reference regarding the inclination may be reduced. Also,
The image processing unit further includes a distance measuring unit that acquires distance information to the subject, wherein the image processing unit is configured to calculate a real space of the subject element corresponding to the linear component based on the distance information of at least two points in the linear component and the inclination of the linear component. Is calculated, and among the straight line components, the geometrical deviation between the straight line component whose inclination with respect to the reference in the real space of the corresponding subject element is within a predetermined range and the reference regarding the inclination is reduced. May be. The image processing unit further includes a distance measurement unit that acquires distance information to the subject, based on the distance information, detects a linear component formed from substantially equidistant image elements, and detects the detected linear component. And the geometrical deviation from the reference regarding the inclination may be reduced.
【０００８】また、画像処理部は、複数の直線成分を検
出し、検出した複数の直線成分と、傾きに関する基準と
の幾何学的ずれの総和を小さくしてよい。また、矩形状
の被写体を撮像する場合において、画像処理部は、矩形
状の被写体に対応する直線成分に基づいて、画像におけ
る、矩形状の被写体に対応する画像要素を矩形状にして
よい。また、画像記憶部は、画像処理部が前記幾何学的
ずれを小さくした画像を格納してよい。また、画像記憶
部は、撮像部が撮像した画像と、画像に対応した傾きに
関する基準とのずれの情報とを格納してよい。The image processing section may detect a plurality of straight line components and reduce the sum of geometric deviations between the detected plurality of straight line components and a reference relating to inclination. Further, when capturing a rectangular object, the image processing unit may make the image element corresponding to the rectangular object in the image into a rectangular shape based on the linear component corresponding to the rectangular object. The image storage unit may store an image in which the image processing unit has reduced the geometric deviation. Further, the image storage unit may store an image captured by the imaging unit and information on a deviation from a reference relating to an inclination corresponding to the image.
【０００９】また、画像画像処理部が、幾何学的ずれを
小さくした画像を表示する表示部を更に備えてよい。ま
た、撮像部が撮像した画像と、画像処理部が検出した、
画像に対応した傾きに関する基準とのずれの情報とを表
示する表示部を更に備えてよい。また、表示部は、幾何
学的ずれを小さくした複数の画像を縮小して表示してよ
い。また、表示部は、複数の画像を縮小した画像と、複
数の画像にそれぞれ対応した傾きに関する基準とのずれ
の情報とを表示してよい。[0009] The image processing section may further include a display section for displaying an image with reduced geometrical deviation. In addition, the image captured by the imaging unit, the image processing unit detected,
The image processing apparatus may further include a display unit that displays information on deviation from a reference relating to an inclination corresponding to the image. In addition, the display unit may display a plurality of images in which the geometric deviation is reduced in a reduced size. The display unit may display an image obtained by reducing the plurality of images, and information on a deviation from a reference relating to a tilt corresponding to each of the plurality of images.
【００１０】本発明の第２の形態においては、与えられ
た画像を画像処理する画像処理装置であって、与えられ
た画像を格納する画像記憶部と、画像から、被写体のエ
ッジ成分のうち、予め定められた長さ以上の直線成分を
検出するための検出条件を格納する条件記憶部と、検出
条件に基づいて、画像から、直線成分に対応する画像要
素を検出し、検出した画像要素と、予め定められた直線
成分の傾きに関する基準との幾何学的ずれに基づいて、
幾何学的ずれが小さくなるように、画像に対して画像処
理する画像処理部と、画像処理部が画像処理した画像を
表示する表示部とを備えることを特徴とする画像処理装
置を提供する。According to a second aspect of the present invention, there is provided an image processing apparatus for performing image processing on a given image, comprising: an image storage unit for storing the given image; A condition storage unit that stores a detection condition for detecting a linear component having a length equal to or greater than a predetermined length, and, based on the detection condition, an image element corresponding to the linear component is detected from the image, and the detected image element , Based on a geometric deviation from a predetermined reference for the slope of the linear component,
Provided is an image processing apparatus including an image processing unit that performs image processing on an image and a display unit that displays an image that has been subjected to image processing by the image processing unit so that the geometrical deviation is reduced.
【００１１】本発明の第３の形態においては、与えられ
た画像を画像処理する画像処理方法であって、与えられ
た画像を格納する画像記憶部手順と、画像から、被写体
のエッジ成分のうち、予め定められた長さ以上の直線成
分を検出するための検出条件を格納する条件記憶手順
と、検出条件に基づいて、画像から、直線成分に対応す
る画像要素を検出し、検出した画像要素と、予め定めら
れた直線成分の傾きに関する基準との幾何学的ずれに基
づいて、幾何学的ずれが小さくなるように、画像に対し
て画像処理する画像処理手順とを備えることを特徴とす
る画像処理方法を提供する。According to a third aspect of the present invention, there is provided an image processing method for performing image processing on a given image, comprising the steps of: an image storage unit for storing a given image; A condition storing procedure for storing a detection condition for detecting a linear component having a length equal to or longer than a predetermined length, and an image element corresponding to the linear component is detected from the image based on the detection condition, and the detected image element is detected. And an image processing procedure for performing image processing on the image based on a geometric deviation from a predetermined reference for the inclination of the linear component so as to reduce the geometric deviation. An image processing method is provided.
【００１２】本発明の第４の形態においては、画像処理
装置に画像処理を実行させるためのプログラムであっ
て、画像処理装置を、画像処理するべき画像を格納する
画像記憶部と、画像から、被写体のエッジ成分のうち、
予め定められた長さ以上の直線成分を検出するための検
出条件を格納する条件記憶部と、検出条件に基づいて、
画像から、直線成分に対応する画像要素を検出し、検出
した画像要素と、予め定められた直線成分の傾きに関す
る基準との幾何学的ずれに基づいて、幾何学的ずれが小
さくなるように、画像に対して画像処理する画像処理部
として機能させることを特徴とするプログラムを提供す
る。According to a fourth aspect of the present invention, there is provided a program for causing an image processing apparatus to execute image processing, the program comprising: an image storage unit for storing an image to be subjected to image processing; Of the edge components of the subject,
A condition storage unit for storing a detection condition for detecting a linear component having a predetermined length or more, based on the detection condition,
From the image, an image element corresponding to the linear component is detected, and based on the detected image element and a geometric deviation between a predetermined reference regarding the inclination of the linear component, the geometric deviation is reduced. Provided is a program that functions as an image processing unit that performs image processing on an image.
【００１３】尚、上記の発概要は、本発明の必要な特徴
の全てを列挙したものではなく、これらの特徴群のサブ
コンビネーションも又、発明となりうる。The above summary does not enumerate all necessary features of the present invention, and a sub-combination of these features may also be an invention.
【００１４】[0014]
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、又実施形態の中
で説明されている特徴の組み合わせの全てが発明の解決
手段に必須であるとは限らない。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described through embodiments of the present invention. However, the following embodiments do not limit the invention according to the claims, and are described in the embodiments. Not all combinations of features are essential to the solution of the invention.
【００１５】図１は、本発明に係る撮像装置１０の構成
の一例を示すブロック図である。撮像装置１０は、一例
として、ディジタルカメラであってよい。以下、撮像装
置１０がディジタルカメラである場合について、説明す
る。撮像装置１０は、主に撮像ユニット２０、撮像補助
ユニット３８、撮像制御ユニット４０、処理ユニット６
０、表示ユニット１００、及び操作ユニット１１０を備
える。FIG. 1 is a block diagram showing an example of the configuration of an imaging device 10 according to the present invention. The imaging device 10 may be, for example, a digital camera. Hereinafter, a case where the imaging device 10 is a digital camera will be described. The imaging device 10 mainly includes an imaging unit 20, an imaging auxiliary unit 38, an imaging control unit 40, and a processing unit 6.
0, a display unit 100, and an operation unit 110.
【００１６】撮像ユニット２０は、撮影および結像に関
する機構部材および電気部材を有する。撮像ユニット２
０は、映像を取り込んで処理を施す光学系２２、絞り２
４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２
８、ＣＣＤ（電荷結合素子イメージセンサー）３０、お
よび撮像信号処理部３２を含む。光学系２２は、フォー
カスレンズやズームレンズ等を有してよい。この構成に
より、被写体像がＣＣＤ３０の受光面上に結像する。結
像した被写体像の光量に応じ、ＣＣＤ３０の各センサエ
レメント（図示せず）に電荷が蓄積される（以下その電
荷を「蓄積電荷」という）。蓄積電荷は、リードゲート
パルスによってシフトレジスタ（図示せず）に読み出さ
れ、レジスタ転送パルスによって電圧信号として順次読
み出される。The image pickup unit 20 has a mechanism member and an electric member related to photographing and image formation. Imaging unit 2
0 denotes an optical system 22 for capturing and processing an image, and an aperture 2
4, shutter 26, optical LPF (low-pass filter) 2
8, a CCD (Charge Coupled Device Image Sensor) 30, and an imaging signal processing unit 32. The optical system 22 may include a focus lens, a zoom lens, and the like. With this configuration, a subject image is formed on the light receiving surface of the CCD 30. Charges are accumulated in each sensor element (not shown) of the CCD 30 according to the amount of light of the formed subject image (hereinafter, the charges are referred to as “accumulated charges”). The accumulated charge is read out to a shift register (not shown) by a read gate pulse, and is sequentially read out as a voltage signal by a register transfer pulse.
【００１７】撮像装置１０が、ディジタルカメラである
場合、撮像装置１０は、一般に電子シャッタ機能を有す
るので、シャッタ２６のような機械式シャッタは必須で
はない。この場合、電子シャッタ機能を実現するため
に、ＣＣＤ３０にシャッタゲートを介してシャッタドレ
インが設けられる。シャッタゲートを駆動すると蓄積電
荷がシャッタドレインに掃き出される。シャッタゲート
の制御により、各センサエレメントに電荷を蓄積するた
めの時間、すなわちシャッタスピードが制御できる。When the imaging device 10 is a digital camera, the imaging device 10 generally has an electronic shutter function, so that a mechanical shutter such as the shutter 26 is not essential. In this case, in order to realize the electronic shutter function, a shutter drain is provided in the CCD 30 via a shutter gate. When the shutter gate is driven, accumulated charges are swept out to the shutter drain. By controlling the shutter gate, the time for accumulating the electric charges in each sensor element, that is, the shutter speed can be controlled.
【００１８】ＣＣＤ３０から出力される電圧信号、すな
わちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成
分に色分解され、まずホワイトバランスが調整される。
つづいて撮像信号処理部３２はガンマ補正を行い、必要
なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換（アナ
ログ／ディジタル変換）し、その結果得られたデジタル
の画像データ（以下単に「ディジタル画像データ」とよ
ぶ）を処理ユニット６０へ出力する。A voltage signal output from the CCD 30, that is, an analog signal is color-separated into R, G, and B components by an image signal processing unit 32, and a white balance is adjusted first.
Subsequently, the imaging signal processing unit 32 performs gamma correction, sequentially performs A / D conversion (analog / digital conversion) of the R, G, and B signals at required timing, and obtains digital image data (hereinafter simply referred to as “A / D conversion”). (Referred to as “digital image data”) to the processing unit 60.
【００１９】撮像補助ユニット２０は、ファインダ３４
とストロボ３６を有する。ファインダ３４には図示しな
いＬＣＤ（液晶ディスプレイ）を内装してもよく、その
場合、後述のメインＣＰＵ（中央演算装置）６２等から
の各種情報をファインダ３４内に表示できる。ストロボ
３６は、コンデンサ（図示せず）に蓄えられたエネルギ
が放電管３６ａに供給されたときそれが発光することで
機能する。The imaging auxiliary unit 20 includes a finder 34
And a strobe 36. The finder 34 may be provided with an LCD (liquid crystal display) not shown. In this case, various information from a main CPU (central processing unit) 62 described later can be displayed in the finder 34. The strobe 36 functions by emitting light when energy stored in a capacitor (not shown) is supplied to the discharge tube 36a.
【００２０】撮像制御ユニット４０は、ズーム駆動部４
２、フォーカス駆動部４４、絞り駆動部４６、シャッタ
駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距
センサ５２、および測光センサ５４をもつ。ズーム駆動
部４２などの駆動部は、それぞれステッピングモータ等
の駆動手段を有する。後述のレリーズスイッチ１１４の
押下に応じ、測距センサ５２は被写体までの距離を測定
し、測光センサ５４は被写体輝度を測定する。測定され
た距離のデータ（以下単に「測距データ」という）およ
び被写体輝度のデータ（以下単に「測光データ」とい
う）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０
は、ユーザから指示されたズーム倍率等の撮影情報に基
づき、ズーム駆動部４２とフォーカス駆動部４４を制御
して光学系２２のズーム倍率とピントの調整を行う。The imaging control unit 40 includes a zoom driving unit 4
2. It has a focus drive unit 44, an aperture drive unit 46, a shutter drive unit 48, an imaging system CPU 50 that controls them, a distance measurement sensor 52, and a photometry sensor 54. The driving units such as the zoom driving unit 42 each have a driving unit such as a stepping motor. When a release switch 114 described later is pressed, the distance measurement sensor 52 measures the distance to the subject, and the photometry sensor 54 measures the brightness of the subject. The measured distance data (hereinafter simply referred to as “distance measurement data”) and the subject luminance data (hereinafter simply referred to as “photometry data”) are sent to the imaging system CPU 50. Imaging system CPU 50
Controls the zoom drive unit 42 and the focus drive unit 44 to adjust the zoom magnification and the focus of the optical system 22 based on shooting information such as the zoom magnification designated by the user.
【００２１】撮像系ＣＰＵ５０は、１画像フレームのＲ
ＧＢのデジタル信号積算値、すなわちＡＥ情報に基づい
て絞り値とシャッタスピードを決定する。決定された値
にしたがい、絞り駆動部４６とシャッタ駆動部４８がそ
れぞれ絞り量の調整とシャッタ２６の開閉を行う。The image pickup system CPU 50 controls the R of one image frame.
The aperture value and the shutter speed are determined based on the integrated value of the digital signal of GB, that is, the AE information. According to the determined values, the aperture driving unit 46 and the shutter driving unit 48 adjust the aperture amount and open and close the shutter 26, respectively.
【００２２】撮像系ＣＰＵ５０はまた、測光データに基
づいてストロボ３６の発光を制御し、同時に絞り２４の
絞り量を調整する。ユーザが映像の取込を指示したと
き、ＣＣＤ３０が電荷蓄積を開始し、測光データから計
算されたシャッタ時間の経過後、蓄積電荷が撮像信号処
理部３２へ出力される。The imaging CPU 50 also controls the emission of the strobe light 36 based on the photometric data, and at the same time adjusts the aperture of the aperture 24. When the user instructs the capture of an image, the CCD 30 starts to accumulate electric charges, and the accumulated electric charges are output to the imaging signal processing unit 32 after a lapse of a shutter time calculated from the photometric data.
【００２３】処理ユニット６０は、撮像装置１０全体、
とくに処理ユニット６０自身を制御するメインＣＰＵ６
２と、これによって制御されるメモリ制御部６４、ＹＣ
処理部７０、オプション装置制御部７４、圧縮伸張処理
部７８、通信Ｉ／Ｆ部８０、及び画像処理部２２０を有
する。メインＣＰＵ６２は、シリアル通信などにより、
撮像系ＣＰＵ５０との間で必要な情報をやりとりする。
メインＣＰＵ６２の動作クロックは、クロック発生器８
８から与えられる。クロック発生器８８は、撮像系ＣＰ
Ｕ５０、表示ユニット１００に対してもそれぞれ異なる
周波数のクロックを提供する。The processing unit 60 includes the entire imaging device 10,
In particular, a main CPU 6 for controlling the processing unit 60 itself.
2 and the memory control unit 64 controlled by the
It has a processing unit 70, an optional device control unit 74, a compression / decompression processing unit 78, a communication I / F unit 80, and an image processing unit 220. The main CPU 62 communicates by serial communication or the like.
Necessary information is exchanged with the imaging system CPU 50.
The operation clock of the main CPU 62 is a clock generator 8
Given from 8. The clock generator 88 includes an image pickup system CP
The U50 and the display unit 100 also provide clocks of different frequencies.
【００２４】メインＣＰＵ６２には、キャラクタ生成部
８４とタイマ８６が併設されている。タイマ８６は電池
でバックアップされ、つねに日時をカウントしている。
このカウント値から撮影日時に関する情報、その他の時
刻情報がメインＣＰＵ６２に与えられる。キャラクタ生
成部８４は、撮影日時、タイトル等の文字情報を発生
し、この文字情報が適宜撮影画像に合成される。The main CPU 62 is provided with a character generator 84 and a timer 86. The timer 86 is backed up by a battery and always counts the date and time.
From this count value, information about the shooting date and time and other time information are given to the main CPU 62. The character generation unit 84 generates character information such as a shooting date and time and a title, and the character information is appropriately combined with the captured image.
【００２５】メモリ制御部６４は、不揮発性メモリ６６
とメインメモリ６８を制御する。不揮発性メモリ６６
は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能な
ＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザー
による設定情報や出荷時の調整値など、撮像装置１０の
電源がオフの間も保持すべきデータが格納されている。
不揮発性メモリ６６には、場合によりメインＣＰＵ６２
のブートプログラムやシステムプログラムなどが格納さ
れてもよい。一方、メインメモリ６８は一般にＤＲＡＭ
のように比較的安価で容量の大きなメモリで構成され
る。メインメモリ６８は、撮像ユニット２０から出力さ
れたデータを格納するフレームメモリとしての機能、各
種プログラムをロードするシステムメモリとしての機
能、その他ワークエリアとしての機能をもつ。不揮発性
メモリ６６とメインメモリ６８は、処理ユニット６０内
外の各部とメインバス８２を介してデータのやりとりを
行う。The memory control unit 64 includes a nonvolatile memory 66
And the main memory 68. Non-volatile memory 66
Is configured by an EEPROM (electrically erasable and programmable ROM) or a flash memory, and stores data to be retained even when the power of the imaging apparatus 10 is off, such as setting information by a user and adjustment values at the time of shipment. ing.
The non-volatile memory 66 may include a main CPU 62 in some cases.
May be stored. On the other hand, the main memory 68 is generally a DRAM.
And a relatively inexpensive and large-capacity memory. The main memory 68 has a function as a frame memory for storing data output from the imaging unit 20, a function as a system memory for loading various programs, and a function as a work area. The nonvolatile memory 66 and the main memory 68 exchange data with each unit inside and outside the processing unit 60 via the main bus 82.
【００２６】ＹＣ処理部７０は、ディジタル画像データ
にＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ
−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ
制御部６４によってメインメモリ６８に一旦格納され
る。圧縮伸張処理部７８はメインメモリ６８から順次輝
度信号と色差信号を読み出して圧縮する。こうして圧縮
されたデータ（以下単に「圧縮データ」という）は、オ
プション装置制御部７４を介してオプション装置７６の
一種であるメモリカードへ書き込まれる。The YC processing section 70 performs YC conversion on the digital image data, and outputs a luminance signal Y and a color difference (chroma) signal B.
-Y and RY are generated. The luminance signal and the color difference signal are temporarily stored in the main memory 68 by the memory control unit 64. The compression / decompression processing unit 78 sequentially reads out the luminance signal and the color difference signal from the main memory 68 and compresses them. The data thus compressed (hereinafter simply referred to as “compressed data”) is written to a memory card, which is a type of the optional device 76, via the optional device control section 74.
【００２７】処理ユニット６０はさらにエンコーダ７２
を有する。エンコーダ７２は輝度信号と色差信号を入力
し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変
換してビデオ出力端子９０から出力する。オプション装
置７６に記録されたデータからビデオ信号を生成する場
合、そのデータはまずオプション装置制御部７４を介し
て圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸
張処理部７８で必要な伸張処理が施されたデータはエン
コーダ７２によってビデオ信号へ変換される。The processing unit 60 further includes an encoder 72
Having. The encoder 72 receives a luminance signal and a color difference signal, converts them into a video signal (NTSC or PAL signal), and outputs the video signal from a video output terminal 90. When a video signal is generated from data recorded in the optional device 76, the data is first supplied to the compression / decompression processing unit 78 via the optional device control unit 74. Subsequently, the data subjected to the necessary expansion processing by the compression / expansion processing unit 78 is converted into a video signal by the encoder 72.
【００２８】オプション装置制御部７４は、オプション
装置７６に認められる信号仕様およびメインバス８２の
バス仕様にしたがい、メインバス８２とオプション装置
７６の間で必要な信号の生成、論理変換、または電圧変
換などを行う。撮像装置１０は、オプション装置７６と
して前述のメモリカードのほかに、例えばＰＣＭＣＩＡ
準拠の標準的なＩ／Ｏカードをサポートしてもよい。そ
の場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用
バス制御ＬＳＩなどで構成してもよい。The optional device control unit 74 generates a necessary signal between the main bus 82 and the optional device 76, performs logical conversion, or converts voltage according to the signal specifications recognized by the optional device 76 and the bus specifications of the main bus 82. And so on. The imaging device 10 may be, for example, a PCMCIA as the optional device 76 in addition to the memory card described above.
A compliant standard I / O card may be supported. In that case, the optional device control unit 74 may be configured by a PCMCIA bus control LSI or the like.
【００２９】通信Ｉ／Ｆ部８０は、撮像装置１０がサポ
ートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、
イーサネット（商標）などの仕様に応じたプロトコル変
換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じて
ドライバＩＣを含み、ネットワークを含む外部機器とコ
ネクタ９２を介して通信する。そうした標準的な仕様の
ほかに、例えばプリンタ、カラオケ機、ゲーム機等の外
部機器との間で独自のＩ／Ｆによるデータ授受を行う構
成としてもよい。The communication I / F unit 80 has a communication specification supported by the imaging device 10, for example, USB, RS-232C,
It performs control such as protocol conversion according to the specifications such as Ethernet (trademark). The communication I / F unit 80 includes a driver IC as necessary, and communicates with an external device including a network via a connector 92. In addition to such standard specifications, data may be exchanged with an external device such as a printer, a karaoke machine, a game machine, or the like by a unique I / F.
【００３０】画像処理部２２０は、ディジタル画像デー
タに対して、所定の画像処理をする。例えば、画像処理
部２２０は、ディジタル画像データに対して、画像の天
地のずれの修正等の画像処理をする。画像処理部２２０
は、撮像ユニット２０が出力したディジタル画像データ
に対して画像処理し、画像処理したディジタル画像デー
タをＹＣ処理部又はメインメモリ６８に出力してよく、
また、ＹＣ処理部がＹＣ変換処理を施し、メインメモリ
６８に格納したディジタル画像データに対して画像処理
し、画像処理したディジタル画像データを、メインメモ
リ６８に格納してよい。The image processing section 220 performs predetermined image processing on digital image data. For example, the image processing unit 220 performs image processing on digital image data, such as correction of a vertical shift of an image. Image processing unit 220
May perform image processing on the digital image data output by the imaging unit 20, and output the digital image data obtained by the image processing to the YC processing unit or the main memory 68,
Further, the YC processing unit may perform YC conversion processing, perform image processing on the digital image data stored in the main memory 68, and store the processed digital image data in the main memory 68.
【００３１】画像処理部２２０は、不揮発性メモリ６６
又はメインメモリ６８に格納されたプログラムに基づい
て動作する。また、メモリ制御部６４は、通信Ｉ／Ｆ部
８０を介して、外部機器から画像処理部２２０を動作さ
せるためのプログラムを受け取り、不揮発性メモリ６６
に格納してよい。また、メモリ制御部６４は、オプショ
ン装置７６から画像処理部２２０を動作させるためのプ
ログラムを受け取り、不揮発性メモリ６６に格納してよ
い。不揮発性メモリ６６又はメインメモリ６８に格納さ
れたプログラムは、一例として処理ユニット６０を、画
像処理するべき画像を格納する画像記憶部と、画像から
予め定められた被写体要素を検出するための、検出条件
を格納する条件記憶部と、検出条件に基づいて、画像か
ら被写体要素に対応する画像要素を検出し、検出した画
像要素の、予め定められた基準との幾何学的ずれにもと
づいて、幾何学的ずれが小さくなるように、画像に対し
て画像処理を行う画像処理部として機能させる。また、
当該プログラムは、例えばコンピュータ等の画像処理装
置を、上述した機能動作させてもよい。当該プログラム
が、処理ユニット６０に行わせる処理は、後述する画像
処理部２２０、画像記憶部２１０、及び条件記憶部２３
０の機能及び動作、画像処理装置３００の機能及び動
作、又は画像処理方法の機能と同一又は同様である。The image processing section 220 includes a nonvolatile memory 66
Alternatively, it operates based on a program stored in the main memory 68. Further, the memory control unit 64 receives a program for operating the image processing unit 220 from an external device via the communication I / F unit 80, and
May be stored. Further, the memory control unit 64 may receive a program for operating the image processing unit 220 from the option device 76 and store the program in the nonvolatile memory 66. The program stored in the non-volatile memory 66 or the main memory 68 includes, as an example, a processing unit 60 that stores an image to be subjected to image processing and an image storage unit that detects a predetermined subject element from the image. A condition storage unit that stores the condition, an image element corresponding to the subject element is detected from the image based on the detection condition, and a geometric deviation of the detected image element from a predetermined reference is determined. It functions as an image processing unit that performs image processing on an image so as to reduce the chemical shift. Also,
The program may cause an image processing device such as a computer to perform the above-described functions. The processing that the program causes the processing unit 60 to perform is performed by an image processing unit 220, an image storage unit 210, and a condition storage unit 23 described later.
0 is the same as or similar to the functions and operations of the image processing apparatus 300 or the functions and operations of the image processing method.
【００３２】表示ユニット１００は、液晶モニタ１０２
とＬＣＤパネル１０４を有する。それらはＬＣＤドライ
バであるモニタドライバ１０６、パネルドライバ１０８
によってそれぞれ制御される。液晶モニタ１０２は、例
えば２インチ程度の大きさでカメラ背面に設けられ、現
在の撮影や再生のモード、撮影や再生のズーム倍率、電
池残量、日時、モード設定のための画面、被写体画像な
どを表示する。ＬＣＤパネル１０４は例えば小さな白黒
ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯ
ＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁
止、標準撮影可能枚数、画素数、電池容量などの情報を
簡易的に表示する。The display unit 100 includes a liquid crystal monitor 102
And an LCD panel 104. They are LCD driver monitor driver 106, panel driver 108
Respectively controlled by The liquid crystal monitor 102 has a size of, for example, about 2 inches and is provided on the back of the camera. Is displayed. The LCD panel 104 is, for example, a small black-and-white LCD provided on the upper surface of the camera, and has an image quality (FINE / NO
RMAL / BASIC), strobe light emission / non-light emission, standard number of recordable images, number of pixels, battery capacity, and other information are simply displayed.
【００３３】本実施形態の場合、表示ユニット１００
は、さらに照明部１５６，１５８を含む。先に説明した
ように、本実施形態の照明部１５６、１５８は、液晶モ
ニタ１０２の光源を利用して照明を行うからである。な
お、照明部１５６，１５８は、独自の光源を有する、液
晶モニタ１０２から独立した構成要素として撮像装置１
０に備えてもよい。In the case of this embodiment, the display unit 100
Includes illumination units 156 and 158. This is because, as described above, the illumination units 156 and 158 of the present embodiment perform illumination using the light source of the liquid crystal monitor 102. Note that the illumination units 156 and 158 are components of the imaging apparatus 1 that have independent light sources and are independent of the liquid crystal monitor 102.
0 may be provided.
【００３４】操作ユニット１１０は、ユーザーが撮像装
置１０の動作やそのモードなどを設定または指示するた
めに必要な機構および電気部材を含む。パワースイッチ
１１２は、撮像装置１０の電源のオンオフを決める。レ
リーズスイッチ１１４は、半押しと全押しの二段階押し
込み構造になっている。一例として、半押しでＡＦおよ
びＡＥがロックし、全押しで撮影画像の取込が行われ、
必要な信号処理、データ圧縮等の後、メインメモリ６
８、オプション装置７６等に記録される。操作ユニット
１１０はこれらのスイッチの他、回転式のモードダイヤ
ルや十字キーなどによる設定を受け付けてもよく、それ
らは図１において機能設定部１１６と総称されている。
操作ユニット１１０で指定できる動作または機能の例と
して、「ファイルフォーマット」、「特殊効果」、「印
画」、「決定／保存」、「表示切換」等がある。ズーム
スイッチ１１８は、ズーム倍率を決める。The operation unit 110 includes mechanisms and electrical members necessary for the user to set or instruct the operation of the imaging apparatus 10 and its mode. The power switch 112 determines whether the power of the imaging device 10 is turned on or off. The release switch 114 has a two-stage pressing structure of half pressing and full pressing. As an example, AF and AE are locked by pressing halfway, and captured images are captured by pressing fully,
After necessary signal processing, data compression, etc., the main memory 6
8. Recorded in the optional device 76 or the like. The operation unit 110 may receive a setting using a rotary mode dial, a cross key, or the like in addition to these switches, and these are collectively referred to as a function setting unit 116 in FIG.
Examples of operations or functions that can be specified by the operation unit 110 include “file format”, “special effects”, “printing”, “determine / save”, and “display switching”. The zoom switch 118 determines a zoom magnification.
【００３５】以上の構成による主な動作は以下のとおり
である。まず、撮像装置１０のパワースイッチ１１２が
オンされ、カメラ各部に電力が供給される。メインＣＰ
Ｕ６２は、機能設定部１１６の状態を読み込むことで、
撮像装置１０が撮影モードにあるか再生モードにあるか
を判断する。The main operation of the above configuration is as follows. First, the power switch 112 of the imaging device 10 is turned on, and power is supplied to each part of the camera. Main CP
U62 reads the state of the function setting unit 116,
It is determined whether the imaging device 10 is in the shooting mode or the reproduction mode.
【００３６】次に、メインＣＰＵ６２はレリーズスイッ
チ１１４の半押し状態を監視する。スタンドが閉じた位
置にある場合、メインＣＰＵ６２は、半押し状態を検出
すると、測光センサ５４および測距センサ５２からそれ
ぞれ測光データと測距データを得る。得られたデータに
基づいて撮像制御ユニット４０が動作し、光学系２２の
ピント、絞りなどの調整が行われる。メインＣＰＵ６２
は、半押し状態を検出すると、測光センサ５４のみから
測光データを得る。そして、撮像制御ユニット４０は、
光学系２２の絞りを調整する。Next, the main CPU 62 monitors the half-pressed state of the release switch 114. When the stand is in the closed position, when detecting the half-pressed state, the main CPU 62 obtains photometric data and distance measurement data from the photometry sensor 54 and the distance measurement sensor 52, respectively. The imaging control unit 40 operates based on the obtained data, and the focus of the optical system 22, the aperture, and the like are adjusted. Main CPU 62
Detects the half-pressed state, the photometric data is obtained only from the photometric sensor 54. Then, the imaging control unit 40
The aperture of the optical system 22 is adjusted.
【００３７】調整が完了すると、ＬＣＤモニタ１０２に
「スタンバイ」などの文字を表示してユーザーにその旨
を伝え、つづいてレリーズスイッチ１１４の全押し状態
を監視する。レリーズスイッチ１１４が全押しされる
と、所定のシャッタ時間をおいてシャッタ２６が閉じら
れ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き
出される。撮像信号処理部３２による処理の結果生成さ
れたディジタル画像データはメインバス８２へ出力され
る。When the adjustment is completed, characters such as "Standby" are displayed on the LCD monitor 102 to inform the user of the fact, and the state of the release switch 114 being fully pressed is monitored. When the release switch 114 is fully pressed, the shutter 26 is closed after a predetermined shutter time, and the charge stored in the CCD 30 is swept out to the image signal processing unit 32. The digital image data generated as a result of the processing by the imaging signal processing unit 32 is output to the main bus 82.
【００３８】ディジタル画像データは一旦メインメモリ
６８へ格納され、この後、画像処理部２２０、ＹＣ処理
部７０、及び圧縮伸張処理部７８で処理を受け、オプシ
ョン装置制御部７４を経由してオプション装置７６へ記
録される。記録された画像は、フリーズされた状態でし
ばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影
画像を知ることができる。以上で一連の撮影動作が完了
する。The digital image data is temporarily stored in the main memory 68, then processed by the image processing section 220, the YC processing section 70, and the compression / decompression processing section 78, and passed through the optional device control section 74 via the optional device control section 74. Recorded in 76. The recorded image is displayed on the LCD monitor 102 for a while in a frozen state, so that the user can know the captured image. Thus, a series of photographing operations is completed.
【００３９】一方、撮像装置１０が再生モードの場合、
メインＣＰＵ６２は、メモリ制御部６４を介してメイン
メモリ６８から最後に撮影した画像を読み出し、これを
表示ユニット１００のＬＣＤモニタ１０２へ表示する。
この状態でユーザーが機能設定部１１６にて「順送
り」、「逆送り」を指示すると、現在表示している画像
の前後に撮影された画像が読み出され、ＬＣＤモニタ１
０２へ表示される。表示ユニット１００は、画像処理部
２２０において画像処理された画像を表示してよく、ま
た、画像処理前の画像を表示してよい。例えば、表示ユ
ニット１００は、画像処理部２２０において、天地のず
れが修正された画像を表示してよい。次に、画像処理部
２２０における画像処理について説明する。On the other hand, when the imaging device 10 is in the reproduction mode,
The main CPU 62 reads the last captured image from the main memory 68 via the memory control unit 64 and displays this on the LCD monitor 102 of the display unit 100.
When the user instructs “forward” or “reverse” in the function setting section 116 in this state, images taken before and after the currently displayed image are read out, and the LCD monitor 1
02 is displayed. The display unit 100 may display the image processed by the image processing unit 220, or may display the image before the image processing. For example, the display unit 100 may display an image in which the misalignment has been corrected in the image processing unit 220. Next, image processing in the image processing unit 220 will be described.
【００４０】図２は、撮像装置１０における画像処理の
一例を説明するためのブロック図である。撮像装置１０
は、撮像部２００、画像記憶部２１０、画像処理部２２
０、条件記憶部２３０、及び表示部２４０を備える。FIG. 2 is a block diagram for explaining an example of image processing in the image pickup apparatus 10. Imaging device 10
Are the imaging unit 200, the image storage unit 210, the image processing unit 22
0, a condition storage unit 230, and a display unit 240.
【００４１】撮像部２００は一例として、図１において
説明した、撮像ユニット２０、撮像制御ユニット４０、
及び撮像補助ユニット３８と同一又は同様の機能及び構
成を有し、被写体２５０の画像を取得する。画像記憶部
２１０は一例として、図１において説明した、メモリ制
御部６４、及び不揮発性メモリ６６と同一又は同様の機
能及び構成を有し、撮像部２００が撮像した画像を格納
する。条件記憶部２３０は一例として、図１において説
明したメモリ制御部６４、不揮発性メモリ６６、及びメ
インメモリ６８と同一又は同様の機能及び構成を有し、
画像処理部２２０において、画像から、前記被写体のエ
ッジ成分のうち、予め定められた長さ以上の直線成分を
検出するための検出条件を格納する。As an example, the imaging unit 200 includes the imaging unit 20, the imaging control unit 40,
And has the same or similar function and configuration as the imaging auxiliary unit 38, and acquires an image of the subject 250. As an example, the image storage unit 210 has the same or similar function and configuration as the memory control unit 64 and the nonvolatile memory 66 described in FIG. 1, and stores an image captured by the imaging unit 200. The condition storage unit 230 has, for example, the same or similar function and configuration as the memory control unit 64, the nonvolatile memory 66, and the main memory 68 described in FIG.
The image processing unit 220 stores, from the image, a detection condition for detecting a linear component having a predetermined length or more from the edge components of the subject.
【００４２】画像処理部２２０は、図１において説明し
た画像処理部２２０と同一又は同様の機能及び構成を有
し、条件記憶部２３０に格納された検出条件に基づい
て、画像から当該直線成分に対応する画像要素を検出
し、検出した画像要素と、予め定められた直線成分の傾
きに関する基準との幾何学的ずれを検出する。また、画
像処理部２２０は、当該幾何学的ずれが小さくなるよう
に、画像に対して画像処理をしてよい。表示部２４０
は、図１において説明した表示ユニット１００と同一又
は同様の機能及び構成を有し、画像処理部２２０が画像
処理した画像又は撮像部２００が撮像した画像を表示す
る。また、画像記憶部２１０は、画像処理部２２０が画
像処理した画像を格納してよい。例えば、画像記憶部２
１０は、画像処理部２２０が画像の幾何学的ずれを小さ
くした画像を格納してよい。また、画像記憶部２１０
は、撮像部が撮像した画像と、画像処理部２２０が検出
した当該画像に対応した傾きに関する基準との幾何学的
ずれの情報とを対応づけて格納してもよい。The image processing section 220 has the same or similar function and configuration as the image processing section 220 described with reference to FIG. 1, and converts the image into the linear component based on the detection conditions stored in the condition storage section 230. A corresponding image element is detected, and a geometric deviation between the detected image element and a reference relating to the inclination of a predetermined linear component is detected. In addition, the image processing unit 220 may perform image processing on the image so that the geometric deviation is reduced. Display 240
Has the same or similar function and configuration as the display unit 100 described in FIG. 1, and displays an image processed by the image processing unit 220 or an image captured by the imaging unit 200. Further, the image storage unit 210 may store an image on which the image processing unit 220 has performed image processing. For example, the image storage unit 2
Reference numeral 10 may store an image in which the image processing unit 220 has reduced the geometric deviation of the image. Also, the image storage unit 210
May store the image captured by the image capturing unit and the information on the geometric deviation between the image detected by the image processing unit 220 and the reference relating to the tilt corresponding to the image in association with each other.
【００４３】表示部２４０は、画像記憶部２１０が格納
した画像及び天地情報を表示する。例えば、表示部２４
０は、画像記憶部２１０が格納した、幾何学的ずれを小
さくした画像を表示してよい。また、表示部２４０は、
画像記憶部２１０が格納した、画像と、前記画像処理部
２２０が検出した、当該画像に対応した傾きに関する基
準とのずれの情報とを表示してもよい。例えば、表示部
２４０は、撮像部２００が取得した画像と、画像処理部
２２０が検出した当該画像の傾き情報とをあわせて表示
してもよい。この場合、撮像者がシャッタを押し、画像
を撮像する前に、撮像装置１０の傾きを表示するため、
撮像者が、撮像装置１０の傾きを容易に修正することが
できる。また、表示部２４０は、画像記憶部２１０が格
納した、幾何学的ずれを小さくした複数の画像を縮小し
て表示してよい。また、表示部２４０は、縮小した複数
の画像と、複数の画像にそれぞれ対応した傾きに関する
基準との幾何学的ずれの情報とを表示してよい。The display unit 240 displays the image and the top and bottom information stored in the image storage unit 210. For example, the display unit 24
A value of 0 may display an image stored in the image storage unit 210 and reduced in geometric deviation. In addition, the display unit 240
The image stored in the image storage unit 210 and information on a deviation from a reference relating to a tilt corresponding to the image, detected by the image processing unit 220, may be displayed. For example, the display unit 240 may display the image acquired by the imaging unit 200 and the tilt information of the image detected by the image processing unit 220 together. In this case, in order to display the inclination of the imaging device 10 before the photographer presses the shutter and captures an image,
The photographer can easily correct the inclination of the imaging device 10. In addition, the display unit 240 may display a plurality of images stored in the image storage unit 210 and reduced in geometric displacement, in a reduced size. In addition, the display unit 240 may display a plurality of reduced images and information on a geometric deviation from a reference regarding a tilt corresponding to each of the plurality of images.
【００４４】図３は、画像処理部２２０における画像処
理の一例を説明する図である。本例において、画像処理
部２２０は、撮像部２００が撮像した画像の傾きを検出
し、当該傾きを修正する画像処理を行う。本例におい
て、画像処理部２２０が、図２において説明した条件記
憶部２３０は、予め定められた長さ以上の直線成分を検
出するための検出条件、及び当該直線成分の傾きに関す
る基準とを格納する。FIG. 3 is a diagram for explaining an example of image processing in the image processing section 220. In this example, the image processing unit 220 detects the inclination of the image captured by the imaging unit 200 and performs image processing to correct the inclination. In this example, the image processing unit 220 stores the detection condition for detecting a linear component having a length equal to or greater than a predetermined length and the reference regarding the inclination of the linear component in the condition storage unit 230 described in FIG. I do.
【００４５】図３（ａ）は、撮像部２００が撮像した被
写体の画像の一例を示す。図３（ａ）に示す画像には、
被写体として、建物、空、木、地面、道路等が撮像され
ている。図３（ａ）に示すように、当該画像において、
画像枠の傾きと、被写体の傾きとは、一致していない。
図３（ａ）に示す画像は、撮像時における撮像装置１０
の傾き等によって、被写体が画像枠に対して傾いてい
る。本例における画像処理部２２０は、当該傾きを修正
する。FIG. 3A shows an example of an image of a subject captured by the image capturing section 200. The image shown in FIG.
Buildings, sky, trees, ground, roads, and the like are imaged as subjects. As shown in FIG. 3A, in the image,
The inclination of the image frame does not match the inclination of the subject.
The image shown in FIG.
The subject is tilted with respect to the image frame due to the tilt or the like. The image processing unit 220 in the present example corrects the inclination.
【００４６】まず、画像処理部２２０は、条件記憶部２
３０に格納された検出条件に基づいて、画像から、予め
定められた長さ以上の直線成分を検出する。例えば、図
３（ｂ）に示すように、画像処理部２２０は、地平線の
直線成分に対応する画像要４０８、建物の直線成分に対
応する画像要素４０２、及び画像要素４０６を検出す
る。また、本例において、撮像装置１０は、被写体まで
の距離情報を取得する距離測定部を更に備え、画像処理
部２２０は、距離情報に基づいて、実質的に等距離の画
像要素から形成される直線成分を検出してよい。当該距
離測定部は、図１に関連して説明した測距センサ５２で
あってよい。例えば、図３（ａ）に示す画像要素４２２
は、手前から地平線に伸びる道路を被写体としたもので
あり、画像要素４２２における直線成分は、実質的に等
距離の画像要素から形成されていない。そのため、本例
における画像処理部２２０は、画像要素４２２を除去
し、実質的に等距離に有る直線成分に対応する、画像要
素４０２、画像要素４０６、及び画像要素４０８を検出
する。本例において、画像処理部２２０は、直線成分に
おける距離情報の最小値に対する最大値の割合が、所定
の範囲内である直線成分を、実質的に等距離として検出
してよい。画像処理部２２０が、実質的に等距離の画像
要素から形成される直線成分を検出することにより、実
空間において、実質的に水平又は垂直である直線成分に
基づいて、画像処理することができる。First, the image processing unit 220
Based on the detection conditions stored in 30, a straight line component having a length equal to or longer than a predetermined length is detected from the image. For example, as illustrated in FIG. 3B, the image processing unit 220 detects an image element 408 corresponding to a straight-line component of the horizon, an image element 402 corresponding to a straight-line component of a building, and an image element 406. Further, in this example, the imaging device 10 further includes a distance measuring unit that acquires distance information to the subject, and the image processing unit 220 is formed from substantially equidistant image elements based on the distance information. A linear component may be detected. The distance measuring unit may be the distance measuring sensor 52 described with reference to FIG. For example, the image element 422 shown in FIG.
Is based on a road extending from the front to the horizon, and the straight line component in the image element 422 is not formed from substantially equidistant image elements. Therefore, the image processing unit 220 in this example removes the image element 422 and detects the image element 402, the image element 406, and the image element 408 corresponding to the linear components that are substantially equidistant. In this example, the image processing unit 220 may detect a linear component whose ratio of the maximum value to the minimum value of the distance information in the linear component is within a predetermined range as substantially equidistant. The image processing unit 220 detects a linear component formed from substantially equidistant image elements, so that image processing can be performed based on a linear component that is substantially horizontal or vertical in real space. .
【００４７】次に、画像処理部２２０は、検出した画像
要素に基づいて、画像の傾きを修正する。まず、画像処
理部２２０は、画像要素と、予め定められた直線成分の
傾きに関する基準との幾何学的ずれを検出する。本例に
おいて、条件記憶部２３０は、画像の水平方向又は垂直
方向を、当該傾きに関する基準として格納する。つま
り、画像処理部２２０は、画像の水平又は垂直方向を傾
きに関する基準として、検出した画像要素と、当該傾き
に関する基準との幾何学的ずれを検出する。本例に示す
ように、画像処理部２２０は、複数の画像要素を検出
し、検出した複数の画像要素と、傾きに関する基準との
幾何学的ずれを小さくしてよい。例えば、画像処理部２
２０は、複数の画像要素と、傾きに関する基準との幾何
学的ずれの総和、又は平均値を小さくする。Next, the image processing section 220 corrects the inclination of the image based on the detected image element. First, the image processing unit 220 detects a geometric deviation between an image element and a predetermined reference regarding a slope of a linear component. In this example, the condition storage unit 230 stores the horizontal direction or the vertical direction of the image as a reference regarding the inclination. That is, the image processing unit 220 uses the horizontal or vertical direction of the image as a reference regarding the inclination and detects a geometric deviation between the detected image element and the reference regarding the inclination. As shown in this example, the image processing unit 220 may detect a plurality of image elements, and reduce a geometric deviation between the detected plurality of image elements and a reference regarding the inclination. For example, the image processing unit 2
Numeral 20 reduces the sum or average value of geometric deviations between a plurality of image elements and a reference relating to inclination.
【００４８】次に、画像処理部２２０は、当該幾何学的
ずれを小さくするように、画像に対して画像処理を行
う。例えば、図３（ｃ）に示すように、画像処理部２２
０は、検出した幾何学的ずれに基づいて、画像を回転さ
せる。本例において、画像処理部２２０は、検出した画
像要素のうち、傾きに関する基準に対する傾きが、予め
定められた範囲内である画像要素と、傾きに関する基準
との幾何学的ずれを小さくしてよい。例えば、画像処理
部２２０は、検出した画像要素のうち、画像の水平方向
に対する傾きが、予め定められた範囲内である画像要素
と、画像の水平方向との幾何学的ずれ、すなわち当該画
像要素の、水平方向に対する傾きを小さくするように、
画像を回転させてよい。また、画像処理部２２０は、検
出した画像要素のうち、画像の垂直方向に対する傾き
が、予め定められた範囲内である画像要素と、画像の垂
直方向との幾何学的ずれ、すなわち当該画像要素の、垂
直方向に対する傾きを小さくするように、画像を回転さ
せてよい。この場合、条件記憶部２３０は、当該傾きの
予め定められた範囲を格納してよい。画像処理部２２０
が、傾きに関する基準との幾何学的ずれが予め定められ
た範囲内にある画像要素のみに基づいて、画像処理する
ことにより、撮像者が意図的に傾かせた画像に対して画
像処理してしまうような、誤処理を防ぐことができる。Next, the image processing section 220 performs image processing on the image so as to reduce the geometric deviation. For example, as shown in FIG.
0 rotates the image based on the detected geometric shift. In this example, the image processing unit 220 may reduce the geometric deviation between the image element whose inclination with respect to the inclination is within a predetermined range and the inclination-related reference among the detected image elements. . For example, the image processing unit 220 may detect, among the detected image elements, a geometric deviation between the image element whose inclination with respect to the horizontal direction of the image is within a predetermined range and the horizontal direction of the image, that is, the image element. So that the inclination of the
The image may be rotated. Further, the image processing unit 220 detects, among the detected image elements, a geometric deviation between the image element whose inclination with respect to the vertical direction of the image is within a predetermined range and the vertical direction of the image, that is, the image element. The image may be rotated so as to reduce the inclination of the image with respect to the vertical direction. In this case, the condition storage unit 230 may store a predetermined range of the inclination. Image processing unit 220
However, by performing image processing based on only image elements whose geometric deviation from the reference regarding inclination is within a predetermined range, image processing is performed on an image intentionally inclined by the photographer. Such erroneous processing can be prevented.
【００４９】また、条件記憶部２３０は、画像処理部２
２０が検出した画像要素のうち、実質的に直交する画像
要素の組み合わせを検出するための検出条件を更に格納
し、画像処理部２２０は、実質的に直交する画像要素を
検出し、検出した画像要素と、傾きに関する基準との幾
何学的ずれを小さくしてよい。例えば、画像処理部２２
０は、図３（ｂ）の画像要素４０２及び画像要素４０６
のように、直交する直線成分を有する画像要素と、傾き
に関する基準との幾何学的ずれを検出し、当該幾何学的
ずれを小さくするように画像処理してよい。この場合、
条件記憶部２３０は、直交する画像要素のそれぞれに対
応する、傾きに関する基準を格納することが好ましい。
本例において、条件記憶部２３０は、水平方向と垂直方
向とを、直交する画像要素のそれぞれに対応した傾きに
関する基準として格納する。The condition storage unit 230 stores the image processing unit 2
20 further stores a detection condition for detecting a combination of substantially orthogonal image elements among the image elements detected by the image processing unit 20. The image processing unit 220 detects the substantially orthogonal image elements and detects the detected image element. The geometric deviation between the element and the reference regarding the inclination may be reduced. For example, the image processing unit 22
0 is the image element 402 and the image element 406 in FIG.
As described above, a geometric deviation between an image element having an orthogonal linear component and a reference relating to inclination may be detected, and image processing may be performed to reduce the geometric deviation. in this case,
It is preferable that the condition storage unit 230 stores a criterion relating to the inclination corresponding to each of the orthogonal image elements.
In the present example, the condition storage unit 230 stores the horizontal direction and the vertical direction as references for the inclination corresponding to each of the orthogonal image elements.
【００５０】本例において説明した撮像装置１０によれ
ば、直線成分に対応する画像要素と、傾きに関する基準
との幾何学的ずれを検出し、当該幾何学的ずれを小さく
するように画像処理することにより、容易に画像の傾き
を修正することができる。また、実質的に等距離に有る
画像要素から形成される直線成分に基づいて画像処理す
ることにより、精度良く画像の傾きを修正することがで
きる。次に、図３（ｃ）に示す画像のように、傾きを修
正した画像を、画像処理部２２０が、所定の大きさに切
り出す手段、すなわち画像処理部２２０における画像の
トリミング手段について説明する。According to the imaging apparatus 10 described in the present embodiment, the geometrical deviation between the image element corresponding to the linear component and the reference regarding the inclination is detected, and the image processing is performed so as to reduce the geometrical deviation. This makes it possible to easily correct the inclination of the image. Further, by performing image processing based on a linear component formed from image elements that are substantially equidistant, the inclination of the image can be corrected with high accuracy. Next, a description will be given of a means for the image processing unit 220 to cut out an image whose inclination has been corrected to a predetermined size like the image shown in FIG. 3C, that is, an image trimming unit in the image processing unit 220.
【００５１】図４は、画像処理部２２０における画像の
トリミング手段の一例を説明する図である。本例におい
ては、図３で説明した画像を用いて、トリミング手段を
説明する。図４（ａ）は、図３（ｃ）に示した画像処理
部２２０が幾何学的ずれを小さくした画像である。画像
処理部２２０は、幾何学的ずれを小さくした画像に対し
て、所定の大きさのトリミング枠を設定する。当該トリ
ミング枠は、画像処理部２２０が画像処理する前の、元
の画像枠と同一の傾きを有する。本例において、画像処
理部２２０は、図３（ａ）で示した画像の画像枠の縦横
比と同一の縦横比を有するトリミング枠を設定する。例
えば、画像処理部２２０は、図４（ａ）に示すトリミン
グ枠４１２のように、当該縦横比を有するトリミング枠
の内、幾何学的ずれを小さくした画像を切り出す面積が
最大のトリミング枠を設定する。次に、画像処理部２２
０は、トリミング枠４１２に基づいて、画像を切り出
し、切り出した画像を、所定の大きさに拡大する。本例
においては、図４（ｂ）に示すように、画像処理部２２
０は、切り出した画像を、元の画像枠の大きさに拡大す
る。以上説明した撮像装置１０によれば、画像の傾きを
修正した、所定の大きさの画像を容易に生成することが
できる。FIG. 4 is a view for explaining an example of an image trimming means in the image processing section 220. In this example, the trimming means will be described using the image described in FIG. FIG. 4A is an image in which the image processing unit 220 shown in FIG. The image processing unit 220 sets a trimming frame of a predetermined size for the image in which the geometric deviation is reduced. The trimming frame has the same inclination as the original image frame before the image processing unit 220 performs image processing. In this example, the image processing unit 220 sets a trimming frame having the same aspect ratio as the aspect ratio of the image frame of the image shown in FIG. For example, the image processing unit 220 sets a trimming frame having a maximum area for cutting out an image with a reduced geometric deviation among the trimming frames having the aspect ratio, such as a trimming frame 412 illustrated in FIG. I do. Next, the image processing unit 22
0 cuts out the image based on the trimming frame 412 and enlarges the cut out image to a predetermined size. In this example, as shown in FIG.
0 enlarges the clipped image to the size of the original image frame. According to the imaging device 10 described above, it is possible to easily generate an image of a predetermined size in which the inclination of the image is corrected.
【００５２】図５は、画像処理部２２０における画像処
理の他の例を説明する図である。本例において、画像処
理部２２０は、撮像部２００が矩形状の被写体を撮像す
る場合において、当該矩形状の被写体に対応する画像要
素に基づいて、画像における矩形状の被写体を矩形状に
する。つまり、本例において、画像処理部２２０は、画
像のあおりを修正する画像処理を行う。本例において、
画像処理部２２０、条件記憶部２３０、画像記憶部２１
０、撮像部２００、及び表示部２４０は、図２から図４
に関連して説明した画像処理部２２０、条件記憶部２３
０、画像記憶部２１０、撮像部２００、及び表示部２４
０と同一又は同様の機能及び構成を有する。FIG. 5 is a diagram for explaining another example of image processing in the image processing section 220. In this example, when the imaging unit 200 captures an image of a rectangular object, the image processing unit 220 converts the rectangular object in the image into a rectangular shape based on an image element corresponding to the rectangular object. That is, in the present example, the image processing unit 220 performs image processing for correcting the tilt of the image. In this example,
Image processing unit 220, condition storage unit 230, image storage unit 21
0, the imaging unit 200, and the display unit 240 are shown in FIGS.
Image processing unit 220 and condition storage unit 23 described in relation to
0, image storage unit 210, imaging unit 200, and display unit 24
0 has the same or similar function and configuration.
【００５３】図５（ａ）は、撮像部２００が撮像した被
写体の画像の一例を示す。図５（ａ）に示す画像には、
被写体として、矩形状の建物が撮像されている。図５
（ａ）に示す画像は、建物をしたから見上げる構図で撮
像した画像である。このような構図で撮像した画像に
は、一般にあおりとよばれる現象が生じる場合がある。
つまり、矩形状の被写体を撮像した場合に、台形の画像
が撮像される場合がある。本例における撮像装置１０
は、当該あおりを修正する。FIG. 5A shows an example of an image of a subject captured by the image capturing section 200. The image shown in FIG.
A rectangular building is imaged as a subject. FIG.
The image shown in (a) is an image captured in a composition to look up after building. In an image captured in such a composition, a phenomenon generally called tilt may occur.
That is, when capturing a rectangular object, a trapezoidal image may be captured. Imaging device 10 in the present example
Corrects the tilt.
【００５４】まず、画像処理部２２０は、被写体のエッ
ジ成分のうち、予め定められた長さ以上の直線成分を検
出する。一例として、画像処理部２２０は図５（ｂ）に
示すように、画像要素４１４、画像要素４１６、及び画
像要素４１８を、当該直線成分として検出する。次に、
検出した画像要素と、予め定められた傾きに関する基準
との幾何学的ずれを検出し、当該幾何学的ずれを小さく
するように画像に対して画像処理する。例えば、画像処
理部２２０は、当該傾きに関する基準と直交する画素列
毎に、所望の倍率だけ拡大又は／縮小し、検出した画像
要素と当該傾きに関する基準との幾何学的ずれを小さく
する。本例において、画像処理部２２０は、画像の垂直
方向を、予め定められた傾きに関する基準として、画像
要素４１４及び画像要素４１８と、画像の垂直方向との
傾きを小さくするように画像処理を行う。First, the image processing section 220 detects a straight line component having a predetermined length or more from the edge components of the subject. As an example, as shown in FIG. 5B, the image processing unit 220 detects the image element 414, the image element 416, and the image element 418 as the linear component. next,
A geometric deviation between the detected image element and a predetermined reference for inclination is detected, and image processing is performed on the image to reduce the geometric deviation. For example, the image processing unit 220 enlarges / reduces by a desired magnification for each pixel row orthogonal to the reference regarding the inclination, and reduces the geometric deviation between the detected image element and the reference regarding the inclination. In the present example, the image processing unit 220 performs image processing so as to reduce the inclination of the image elements 414 and 418 and the vertical direction of the image using the vertical direction of the image as a reference for a predetermined inclination. .
【００５５】例えば、画像処理部２２０は、図５（ｂ）
に示すように、画像を複数の領域に分割し、それぞれの
領域の境界線における、画像要素と、画像の中心線４２
４との距離ｘｎを算出する。画像処理部２２０は、例え
ば画素数に基づいて、当該距離ｘｎを算出してよい。次
に、画像処理部２２０は、算出した距離ｘｎに基づい
て、それぞれの境界線における、画像の水平方向におけ
る倍率を算出する。例えば、画像処理部２２０は、それ
ぞれの境界線における距離ｘｎの比に基づいて、画像の
水平方向における倍率を算出する。この場合、画像処理
部２２０は、中心線４２４の左右において、異なる倍率
を算出してよい。本例において、画像処理部２２０は、
距離ｘ１及び距離ｘ７を基準として、それぞれの境界線
における距離ｘｎの基準に対する比に基づいて、当該倍
率を算出する。次に、画像処理部２２０は、算出した倍
率に基づいて、画像の水平方向のおける画素列毎に画像
を拡大又は縮小する。画像処理部２２０は、それぞれの
境界線における倍率に基づいて、当該境界線間における
画素列の倍率を算出してよい。例えば、画像処理部２２
０は、線形補間により、境界線間の画素列の倍率を算出
してよい。図５（ｃ）に、画像処理部２２０が、画像処
理した画像を示す。画像処理部２２０が、画像要素と、
傾きに関する基準との傾きに基づいて、画素列を拡大又
は／及び縮小することにより、画像のあおりを修正する
ことができる。For example, the image processing section 220 operates as shown in FIG.
As shown in the figure, the image is divided into a plurality of areas, and the image element and the center line 42 of the image at the boundary of each area are divided.
Then, the distance xn to the position No. 4 is calculated. The image processing unit 220 may calculate the distance xn based on, for example, the number of pixels. Next, the image processing unit 220 calculates the magnification in the horizontal direction of the image at each boundary line based on the calculated distance xn . For example, the image processing unit 220 calculates the magnification of the image in the horizontal direction based on the ratio of the distance xn at each boundary line. In this case, the image processing unit 220 may calculate different magnifications on the left and right of the center line 424. In this example, the image processing unit 220
The distance x 1 and the distance x 7 as a reference, based on the ratio of the reference distance x n in each boundary, and calculates the magnification. Next, the image processing unit 220 enlarges or reduces the image for each pixel row in the horizontal direction of the image based on the calculated magnification. The image processing unit 220 may calculate the magnification of the pixel row between the boundary lines based on the magnification at each boundary line. For example, the image processing unit 22
For 0, the magnification of the pixel row between the boundary lines may be calculated by linear interpolation. FIG. 5C illustrates an image that has been subjected to image processing by the image processing unit 220. The image processing unit 220 includes: an image element;
The tilt of the image can be corrected by enlarging or reducing the pixel row based on the inclination with respect to the inclination.
【００５６】本例において、画像処理部２２０は、撮像
した画像要素の直線成分のうち、予め定められた傾きに
関する基準に対する傾きが、所定の範囲内である直線成
分の組み合わせの形状に基づいて、撮像された被写体が
矩形状であったと判定し、説明した画像処理を行ってよ
い。また、撮像装置１０は、被写体が矩形状であるか否
かを、使用者が入力するための入力手段を備えてよい。
また、撮像装置１０は、当該画像処理を行うか否かを、
使用者が選択するための入力手段を備えていてよい。In this example, the image processing section 220 determines, based on the shape of the combination of the linear components whose inclination with respect to a predetermined inclination is within a predetermined range, among the linear components of the captured image element. It may be determined that the captured subject has a rectangular shape, and the above-described image processing may be performed. Further, the imaging device 10 may include an input unit for the user to input whether or not the subject is rectangular.
Further, the imaging apparatus 10 determines whether or not to perform the image processing.
Input means for the user to select may be provided.
【００５７】また、撮像装置１０は、被写体までの距離
情報を取得する距離測定部を更に備え、画像処理部２２
０は、検出した画像要素における少なくとも２点の距離
情報と、画像要素の傾きとに基づいて、画像要素に対応
する被写体要素の実空間における傾きを算出し、検出し
た画像要素のうち、対応する被写体要素の実空間におけ
る傾きに関する基準に対する傾きが、予め定められた範
囲内である画像要素と、傾きに関する基準との幾何学的
ずれを小さくするように画像処理してよい。当該距離測
定部は、図１に関連して説明した測距センサ５２であっ
てよい。例えば、画像処理部２２０は、被写体要素の実
空間における傾きを算出し、算出した当該被写体要素
の、水平又は垂直方向に対する傾きが小さくなるよう
に、当該被写体要素に対応する画像要素の傾きを修正し
てよい。以下、被写体要素の実空間における傾きを算出
する方法について説明する。The imaging device 10 further includes a distance measuring unit for acquiring information on the distance to the subject.
0 calculates the inclination in the real space of the subject element corresponding to the image element based on the distance information of at least two points in the detected image element and the inclination of the image element. Image processing may be performed so as to reduce the geometrical deviation between the image element whose inclination with respect to the reference regarding the inclination of the subject element in the real space is within a predetermined range and the reference regarding the inclination. The distance measuring unit may be the distance measuring sensor 52 described with reference to FIG. For example, the image processing unit 220 calculates the inclination of the subject element in the real space, and corrects the inclination of the image element corresponding to the subject element so that the calculated inclination of the subject element in the horizontal or vertical direction is reduced. May do it. Hereinafter, a method of calculating the inclination of the subject element in the real space will be described.
【００５８】図６は、画像要素から、対応する被写体要
素の実空間における傾きを算出する方法の一例を説明す
る図である。図６は、ｘｙｚ空間における、被写体と撮
像装置１０の位置を示す。図６では、矩形状の被写体を
撮像した場合についてのあおりについて説明する。図６
において、点ａは撮像装置１０の位置を示す。また、図
６において、ｘｚ平面上の点ｂｃｄｅから成る矩形形状
は、被写体のエッジ成分を示す。本例において、線分ａ
ｅ及び線分ａｄの長さをＬ１とし、線分ａｂ及び線分ａ
ｃの長さをＬ２とする。点ａから、点ｂｃｄｅに示され
る被写体を撮像した場合、被写体までの距離分布に基づ
いて、撮像した画像にあおりが生じる。撮像装置１０
は、被写体を、点ａから実質的に等距離な面に投影した
画像を、レンズの屈折等により平面の画像として撮像す
る。本例において、被写体の点ｂは、直線ａｂ上の、点
ａからの距離がほぼＬ１である点ｆに、被写体の点ｃ
は、直線ａｃ上の、点ａからの距離がほぼＬ１である点
ｇに投影される。一例として、撮像装置１０は、面ｄｅ
ｆｇに、被写体を投影した画像を取得する。FIG. 6 is a view for explaining an example of a method for calculating the inclination of the corresponding subject element in the real space from the image element. FIG. 6 shows the position of the subject and the imaging device 10 in the xyz space. FIG. 6 illustrates a tilt in a case where a rectangular object is imaged. FIG.
, The point a indicates the position of the imaging device 10. In FIG. 6, a rectangular shape composed of a point bcde on the xz plane indicates an edge component of the subject. In this example, the line segment a
The length of e and the line segment ad and L 1, segment ab and the line segment a
The length of c and L 2. When an image of the subject indicated by the point bcde is captured from the point a, the captured image is shifted based on the distance distribution to the subject. Imaging device 10
Captures an image of a subject projected on a plane substantially equidistant from point a as a planar image due to refraction of a lens or the like. In this example, b points of the object, on the straight line ab, the f is a point substantially L 1 distance from the point a, of the object point c
Is on the straight line ac, the distance from the point a is projected that the point g is approximately L 1. As an example, the imaging device 10 has a surface de.
An image obtained by projecting the subject to fg is acquired.
【００５９】図６から明らかなように、被写体までの距
離の分布に基づいて、撮像した画像には、図６に示した
ようなあおりが生じる。あおりによって生じた画像の直
線成分の傾きθ１と、直線成分における２点に対応する
被写体の２点までの距離、例えば点ｅまでの距離Ｌ１及
び点ｂまでの距離Ｌ２とに基づいて、被写体の直線成分
ｂｅの実空間における傾きを算出することができる。画
像処理部２２０は、上述したように、直線成分に対応す
る画像要素に基づいて、被写体の実空間における形状を
算出し、算出した形状が矩形状である場合に、図５にお
いて説明した画像処理を行ってよい。また、画像処理部
２２０は、画像における直線上の２点の位置及び距離、
並びに画像における２点を結ぶ直線の傾きに基づいて、
直線の実空間における傾きを算出してよい。また、画像
処理部２２０は、直線成分に対応する画像要素に基づい
て、直線成分の実空間における傾きを算出し、当該直線
成分と、傾きに関する基準との幾何学的ずれが小さくな
るように、図３及び図４において説明した画像処理を行
ってよい。As is apparent from FIG. 6, the captured image has a tilt as shown in FIG. 6 based on the distribution of the distance to the subject. The inclination theta 1 of the linear component of the image caused by the tilt, based distances to two points of the object corresponding to the two points in the linear component, the distance L 2 for example up to a distance L 1 and the point b to the point e , The inclination of the linear component be of the subject in the real space can be calculated. As described above, the image processing unit 220 calculates the shape of the subject in the real space based on the image element corresponding to the linear component, and when the calculated shape is rectangular, the image processing described in FIG. May be performed. Further, the image processing unit 220 calculates the position and distance of two points on a straight line in the image,
And based on the slope of the straight line connecting the two points in the image,
The inclination of the straight line in the real space may be calculated. Further, the image processing unit 220 calculates the inclination of the linear component in the real space based on the image element corresponding to the linear component, and reduces the geometric deviation between the linear component and a reference regarding the inclination, The image processing described in FIGS. 3 and 4 may be performed.
【００６０】図７は、本発明に係る画像処理装置３００
の構成の一例を示すブロック図である。画像処理装置３
００は、例えば、表示装置を備えるコンピュータ等であ
って、与えられた画像を画像処理する。画像処理装置３
００は、画像記憶部２１０と、画像処理部２２０と、条
件記憶部２３０と、表示部２４０とを備える。画像記憶
部２１０は、図２から図６に関連して説明した画像記憶
部２１０と同一又は同様の機能及び構成を有し、与えら
れた画像を格納する。条件記憶部２３０は、図２から図
６に関連して説明した条件記憶部２３０と同一又は同様
の機能及び構成を有し、画像記憶部２１０が格納した画
像から、被写体のエッジ成分のうち、予め定められた長
さ以上の直線成分を検出するための検出条件を格納す
る。FIG. 7 shows an image processing apparatus 300 according to the present invention.
FIG. 3 is a block diagram showing an example of the configuration of FIG. Image processing device 3
Reference numeral 00 denotes, for example, a computer or the like including a display device, which performs image processing on a given image. Image processing device 3
00 includes an image storage unit 210, an image processing unit 220, a condition storage unit 230, and a display unit 240. The image storage unit 210 has the same or similar function and configuration as the image storage unit 210 described with reference to FIGS. 2 to 6 and stores a given image. The condition storage unit 230 has the same or similar function and configuration as the condition storage unit 230 described with reference to FIGS. 2 to 6, and, from the image stored by the image storage unit 210, among the edge components of the subject, A detection condition for detecting a linear component having a length equal to or longer than a predetermined length is stored.
【００６１】画像処理部２２０は、図２から図６に関連
して説明した画像処理部２２０と同一又は同様の機能及
び構成を有し、条件記憶部２４０に格納された、被写体
のエッジ成分のうち、予め定められた長さ以上の直線成
分を検出するための検出条件に基づいて、画像記憶部２
１０が格納した画像から、直線成分に対応する画像要素
を検出し、検出した画像要素と、予め定められた直線成
分の傾きに関する基準との幾何学的ずれを検出し、当該
幾何学的ずれが小さくなるように、画像に対して画像処
理する。The image processing section 220 has the same or similar function and configuration as the image processing section 220 described with reference to FIGS. 2 to 6, and stores the edge component of the subject stored in the condition storage section 240. The image storage unit 2 based on a detection condition for detecting a linear component having a predetermined length or more.
10 detects an image element corresponding to the linear component from the image stored, detects a geometric deviation between the detected image element and a predetermined reference regarding the inclination of the linear component, and detects the geometric deviation. Image processing is performed on the image so that it becomes smaller.
【００６２】例えば、画像処理部２２０は、図２から図
６に関連して説明した画像処理部２２０と同様に、直線
成分に対応する画像要素の、水平又は垂直方向との幾何
学的ずれを検出し、当該幾何学的ずれを小さくするよう
に、画像に対して画像処理する。For example, similarly to the image processing unit 220 described with reference to FIGS. 2 to 6, the image processing unit 220 calculates the geometrical deviation of the image element corresponding to the linear component from the horizontal or vertical direction. The image is detected and image processing is performed on the image so as to reduce the geometric deviation.
【００６３】表示部２４０は、図２から図６に関連して
説明した表示部２４０と同一又は同様の機能及び構成を
有し、画像処理部２２０が画像処理した画像を表示す
る。また、表示部２４０は、与えられた画像と、与えら
れた画像に対応した画像の傾きに関する情報とをあわせ
て表示してもよい。The display unit 240 has the same or similar function and configuration as the display unit 240 described with reference to FIGS. 2 to 6, and displays an image processed by the image processing unit 220. The display unit 240 may also display the given image together with information about the inclination of the image corresponding to the given image.
【００６４】本例における画像処理装置３００によれ
ば、被写体の直線成分に対応する画像要素に、画像の傾
きを容易に検出することができる。また、検出した画像
の傾きを容易に修正することができる。According to the image processing apparatus 300 in this embodiment, the inclination of the image can be easily detected in the image element corresponding to the linear component of the subject. Further, the inclination of the detected image can be easily corrected.
【００６５】図８は、本発明に係る画像処理方法のフロ
ーチャートの一例を示す。本例における画像処理方法
は、図７に関連して説明した画像処理装置３００におけ
る画像処理と同一又は同様の処理を行う。まず、画像記
憶手順で、与えられた画像を格納する（Ｓ２５２）。画
像記憶手順は、図７に関連して説明した画像記憶部２１
０における処理と同様の処理を行う。また、条件記憶手
順で、与えられた画像から、被写体のエッジ成分のう
ち、予め定められた長さ以上の直線成分を検出するため
の検出条件を格納する（Ｓ２５４）。条件記憶手順は、
図７に関連して説明した条件記憶部２３０における処理
と同様の処理を行う。画像記憶手順と、条件記憶手順と
は、いずれを先に行ってもよい。FIG. 8 shows an example of a flowchart of the image processing method according to the present invention. The image processing method in this example performs the same or similar processing as the image processing in the image processing device 300 described with reference to FIG. First, a given image is stored in the image storing procedure (S252). The image storage procedure is the same as the image storage unit 21 described with reference to FIG.
0 is performed. In the condition storage procedure, a detection condition for detecting a straight component having a length equal to or longer than a predetermined length among the edge components of the subject from the given image is stored (S254). The condition storage procedure is
The same processing as the processing in the condition storage unit 230 described with reference to FIG. 7 is performed. Either the image storage procedure or the condition storage procedure may be performed first.
【００６６】次に、画像処理手順で、画像の幾何学的ず
れを小さくする。画像処理手順（Ｓ２５６〜Ｓ２６２）
では、図７に関連して説明した画像処理部２２０におけ
る処理と同様の処理を行う。画像処理手順は、まず検出
条件に基づいて、画像から直線成分に対応する画像要素
を検出する（Ｓ２５６）。次に、検出した画像要素と、
予め定められた直線成分の傾きに関する基準との幾何学
的ずれを検出する（Ｓ２５８）。Ｓ２５８では例えば、
画像要素と、画像の水平又は垂直方向との幾何学的ずれ
を検出する。次に、画像要素と、当該傾きに関する基準
との幾何学的ずれが有るか否かを判定する（Ｓ２６
０）。当該幾何学的ずれが無い場合、画像処理方法の処
理を終了する。また、当該幾何学的ずれが有る場合、当
該幾何学的ずれが小さくなるように、画像に対して画像
処理する（Ｓ２６２）。Ｓ２６２では例えば、図３から
図６に関連して説明したように、画像要素と、傾きに関
する基準との幾何学的ずれが小さくなるように、画像に
対して画像処理する。Next, in the image processing procedure, the geometric deviation of the image is reduced. Image processing procedure (S256 to S262)
Then, the same processing as the processing in the image processing unit 220 described with reference to FIG. 7 is performed. In the image processing procedure, first, an image element corresponding to a linear component is detected from the image based on the detection condition (S256). Next, the detected image element,
A geometric deviation from a reference regarding the inclination of a predetermined linear component is detected (S258). In S258, for example,
Detect the geometric deviation between the image element and the horizontal or vertical direction of the image. Next, it is determined whether or not there is a geometric deviation between the image element and the reference regarding the inclination (S26).
0). If there is no such geometric deviation, the processing of the image processing method ends. If there is such a geometric deviation, image processing is performed on the image so that the geometric deviation becomes smaller (S262). In S <b> 262, for example, as described with reference to FIGS. 3 to 6, image processing is performed on the image so that the geometric deviation between the image element and the reference regarding the inclination is reduced.
【００６７】以上説明した画像処理方法によれば、与え
られた画像から検出した画像要素に基づいて、与えられ
た画像の傾きを容易に判定することができる。また、画
像の傾きを容易に修正することができる。According to the image processing method described above, the inclination of a given image can be easily determined based on image elements detected from the given image. Further, the inclination of the image can be easily corrected.
【００６８】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることが可能であることが当業者に明らか
である。その様な変更又は改良を加えた形態も本発明の
技術的範囲に含まれ得ることが、特許請求の範囲の記載
から明らかである。As described above, the present invention has been described using the embodiments. However, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent to those skilled in the art that various changes or improvements can be made to the above embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.
【００６９】[0069]
【発明の効果】上記説明から明らかなように、本発明に
係る撮像装置、画像処理装置、画像処理方法、及びプロ
グラムによれば、画像の傾きを検出し、当該傾きを容易
に修正することができる。例えば、画像が、水平又は垂
直方向等に対してずれている場合、当該ずれを検出し、
当該ずれを容易に修正することができる。As is apparent from the above description, according to the imaging apparatus, the image processing apparatus, the image processing method, and the program according to the present invention, the inclination of an image can be detected and the inclination can be easily corrected. it can. For example, when the image is shifted with respect to the horizontal or vertical direction, the shift is detected,
The deviation can be easily corrected.
【図１】 本発明に係る撮像装置１０の構成の一例を示
すブロック図である。FIG. 1 is a block diagram illustrating an example of a configuration of an imaging device 10 according to the present invention.
【図２】 撮像装置１０における画像処理の一例を説明
するためのブロック図である。FIG. 2 is a block diagram for describing an example of image processing in the imaging device 10.
【図３】 画像処理部２２０における画像処理の一例を
説明する図である。FIG. 3 is a diagram illustrating an example of image processing in an image processing unit 220.
【図４】 画像処理部２２０における画像のトリミング
手段の一例を説明する図である。FIG. 4 is a diagram illustrating an example of an image trimming unit in the image processing unit 220.
【図５】 画像処理部２２０における画像処理の他の例
を説明する図である。FIG. 5 is a diagram illustrating another example of image processing in the image processing unit 220.
【図６】 画像要素から、対応する被写体要素の実空間
における傾きを算出する方法の一例を説明する図であ
る。FIG. 6 is a diagram illustrating an example of a method of calculating a tilt of a corresponding subject element in a real space from an image element.
【図７】 本発明に係る画像処理装置３００の構成の一
例を示すブロック図である。FIG. 7 is a block diagram illustrating an example of a configuration of an image processing apparatus 300 according to the present invention.
【図８】 本発明に係る画像処理方法のフローチャート
の一例を示す。FIG. 8 shows an example of a flowchart of an image processing method according to the present invention.
１０・・・撮像装置、２０・・・撮像ユニット、２２・
・・光学系、２４・・・絞り、２６・・・シャッタ、２
８・・・光学ＬＰＦ、３０・・・ＣＣＤ、３２・・・撮
像信号処理部、３４・・・ファインダ、３６・・・スト
ロボ、３８・・・撮像補助ユニット、４０・・・撮像制
御ユニット、４２・・・ズーム駆動部、４４・・・フォ
ーカス駆動部、４６・・・絞り駆動部、４８・・・シャ
ッタ駆動部、５０・・・撮像系ＣＰＵ、５２・・・測距
センサ、５４・・・測光センサ、６２・・・メインＣＰ
Ｕ、６４・・・メモリ制御部、６６・・・不揮発性メモ
リ、６８・・・メインメモリ、７０・・・ＹＣ処理部、
７２・・・エンコーダ、７４・・・オプション装置制御
部、７６・・・オプション装置、７８・・・圧縮伸張処
理部、８０・・・通信Ｉ／Ｆ部、８２・・・メインバ
ス、８４・・・キャラクタ生成部、８６・・・タイマ、
８８・・・クロック発生器、１００・・・表示ユニッ
ト、１０２・・・液晶モニタ、１０４・・・ＬＣＤパネ
ル、１０６・・・モニタドライバ、１０８・・・パネル
ドライバ、１１０・・・操作ユニット、１１２・・・パ
ワースイッチ、１１４・・・レリーズスイッチ、１１６
・・・機能設定部、１１８・・・ズームスイッチ、１５
８・・・照明部、３００・・・画像処理装置、４０２、
４０６，４０８・・・画像要素、４１２・・・画像枠10 imaging apparatus, 20 imaging unit, 22
..Optical systems, 24 ... apertures, 26 ... shutters, 2
8 optical LPF, 30 CCD, 32 imaging signal processing unit, 34 finder, 36 strobe, 38 imaging auxiliary unit, 40 imaging control unit 42 zoom drive unit 44 focus drive unit 46 aperture drive unit 48 shutter drive unit 50 imaging system CPU 52 distance measuring sensor 54 ..Photometric sensors, 62 ... main CP
U, 64: memory control unit, 66: nonvolatile memory, 68: main memory, 70: YC processing unit,
72: encoder, 74: optional device control unit, 76: optional device, 78: compression / decompression processing unit, 80: communication I / F unit, 82: main bus, 84 ..Character generation unit, 86, timer,
88: clock generator, 100: display unit, 102: liquid crystal monitor, 104: LCD panel, 106: monitor driver, 108: panel driver, 110: operation unit, 112 ... power switch, 114 ... release switch, 116
... Function setting part, 118 ... Zoom switch, 15
8 Illumination unit, 300 Image processing device, 402
406, 408: image element, 412: image frame
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 １８０ Ｇ０６Ｔ 7/60 １８０Ｂ ２００ ２００Ｇ Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/232 Ｚ 5/262 5/262 // Ｈ０４Ｎ 101:00 101:00 Ｆターム(参考） 5B057 AA01 BA02 BA26 CC03 CD03 CD06 CE09 CH11 CH18 DA08 DA16 DA17 DC02 DC08 DC16 5C022 AA13 AB51 AC69 5C023 AA03 AA37 AA38 BA01 5C076 AA02 AA14 AA16 AA19 AA21 AA22 AA23 AA24 BA06 BB25 CB02 5L096 AA02 BA08 CA02 CA27 DA04 EA03 EA16 EA33 EA35 FA06 FA54 FA66 FA67 MA03 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 7/60 180 G06T 7/60 180B 200 200G H04N 5/232 H04N 5/232 Z 5/262 5/262 // H04N 101: 00 101: 00 F term (reference) 5B057 AA01 BA02 BA26 CC03 CD03 CD06 CE09 CH11 CH18 DA08 DA16 DA17 DC02 DC08 DC16 5C022 AA13 AB51 AC69 5C023 AA03 AA37 AA38 BA01 5C076 AA02 AA14 AA16 AA22 AA21 AA23 CB02 5L096 AA02 BA08 CA02 CA27 DA04 EA03 EA16 EA33 EA35 FA06 FA54 FA66 FA67 MA03
Claims (20)
められた長さ以上の直線成分を検出するための検出条件
を格納する条件記憶部と、 前記検出条件に基づいて、前記画像から、前記直線成分
に対応する画像要素を検出し、検出した前記画像要素
と、予め定められた前記直線成分の傾きに関する基準と
の幾何学的ずれを検出する画像処理部とを備えることを
特徴とする撮像装置。1. An imaging device for imaging a subject, comprising: an imaging unit for acquiring an image of the subject; and detecting, from the image, a linear component having a predetermined length or more among edge components of the subject. A condition storage unit for storing a detection condition for detecting, based on the detection condition, an image element corresponding to the linear component from the image, and the detected image element and the predetermined linear component An image processing unit for detecting a geometric deviation from a reference relating to the inclination of the image.
る画像記憶部を更に備えることを特徴とする請求項１に
記載の撮像装置。2. The imaging device according to claim 1, further comprising an image storage unit that stores the image captured by the imaging unit.
小さくなるように、前記画像に対して画像処理すること
を特徴とする請求項１又は２に記載の撮像装置。3. The imaging apparatus according to claim 1, wherein the image processing unit performs image processing on the image so that the geometric deviation is reduced.
を、前記傾きに関する基準として、検出した前記画像要
素と前記傾きに関する基準との幾何学的ずれを小さくす
ることを特徴とする請求項３に記載の撮像装置。4. The image processing unit according to claim 3, wherein a horizontal or vertical direction is used as a criterion for the inclination, and a geometric deviation between the detected image element and the criterion for the inclination is reduced. An imaging device according to claim 1.
ち、前記傾きに関する基準に対する傾きが、予め定めら
れた範囲内である前記直線成分と、前記傾きに関する基
準との幾何学的ずれを小さくすることを特徴とする請求
項３または４に記載の撮像装置。5. The image processing unit according to claim 1, wherein, among the straight line components, a geometric deviation between the straight line component whose inclination with respect to the reference is within a predetermined range and the reference with respect to the inclination is reduced. The imaging apparatus according to claim 3, wherein the imaging is performed.
素のうち、前記画像の水平方向に対する傾きが、予め定
められた範囲内である前記画像要素、又は前記画像の垂
直方向に対する傾きが、予め定められた範囲内である前
記画像要素と、前記画像の水平方向又は垂直方向との幾
何学的ずれを小さくすることを特徴とする請求項５に記
載の撮像装置。6. The image processing unit, wherein, among the detected image elements, an inclination of the image in a horizontal direction is within a predetermined range, or an inclination of the image in a vertical direction is: The imaging apparatus according to claim 5, wherein a geometrical deviation between the image element within a predetermined range and a horizontal direction or a vertical direction of the image is reduced.
出した前記画像要素のうち、実質的に直交する画像要素
の組み合わせを検出するための検出条件を更に格納し、 前記画像処理部は、実質的に直交する画像要素の組み合
わせを検出し、検出した画像要素と、前記傾きに関する
基準との幾何学的ずれを小さくすることを特徴とする請
求項１から６のいずれかに記載の撮像装置。7. The condition storage unit further stores a detection condition for detecting a combination of substantially orthogonal image elements among the image elements detected by the image processing unit, wherein the image processing unit 7. The imaging apparatus according to claim 1, wherein a combination of substantially orthogonal image elements is detected, and a geometric deviation between the detected image element and a reference regarding the inclination is reduced. apparatus.
離測定部を更に備え、 前記画像処理部は、 検出した前記画像要素における少なくとも２点の距離情
報と、前記画像要素の傾きとに基づいて、前記画像要素
に対応する前記被写体要素の実空間における傾きを算出
し、 検出した前記画像要素のうち、対応する前記被写体要素
の前記実空間における前記傾きに関する基準に対する傾
きが、予め定められた範囲内である前記画像要素と、前
記傾きに関する基準との幾何学的ずれを小さくすること
を特徴とする請求項１から７のいずれかに記載の撮像装
置。8. The image processing apparatus according to claim 1, further comprising: a distance measurement unit configured to acquire distance information to the subject, wherein the image processing unit is configured to detect distance information of at least two points in the detected image element and a tilt of the image element. Calculating the inclination of the subject element corresponding to the image element in the real space, and determining the inclination of the detected image element with respect to the reference relating to the inclination of the corresponding subject element in the real space in a predetermined range. The imaging apparatus according to any one of claims 1 to 7, wherein a geometric deviation between the image element that is within and a reference regarding the inclination is reduced.
離測定部を更に備え、 前記画像処理部は、前記距離情報に基づいて、実質的に
等距離の画像要素から形成される前記直線成分を検出
し、検出した前記直線成分と前記傾きに関する基準との
幾何学的ずれを小さくすることを特徴とする請求項１か
ら８のいずれかに記載の撮像装置。9. The image processing apparatus according to claim 1, further comprising a distance measurement unit configured to acquire distance information to the subject, wherein the image processing unit calculates the linear component formed from substantially equidistant image elements based on the distance information. The imaging apparatus according to any one of claims 1 to 8, wherein a geometric deviation between the detected linear component and a reference regarding the inclination is reduced.
素を検出し、検出した複数の前記画像要素と、前記傾き
に関する基準との幾何学的ずれの総和を小さくすること
を特徴とする請求項１から９のいずれかに記載の撮像装
置。10. The image processing unit according to claim 1, wherein the image processing unit detects a plurality of the image elements, and reduces a sum of geometric deviation between the detected plurality of the image elements and a reference regarding the inclination. Item 10. The imaging device according to any one of Items 1 to 9.
て、前記画像処理部は、前記矩形状の被写体に対応する
前記画像要素に基づいて、前記画像における、前記矩形
状の被写体を矩形状にすることを特徴とする請求項１か
ら６のいずれかに記載の撮像装置。11. When capturing an image of a rectangular object, the image processing unit changes the rectangular object in the image into a rectangular shape based on the image element corresponding to the rectangular object. The imaging device according to claim 1, wherein:
前記幾何学的ずれを小さくした前記画像を格納すること
を特徴とする請求項１から１１のいずれかに記載の撮像
装置。12. The imaging device according to claim 1, wherein the image storage unit stores the image in which the image processing unit has reduced the geometric deviation.
した前記画像と、前記画像に対応した前記傾きに関する
基準との幾何学的ずれの情報とを格納することを特徴と
する請求項１から１１のいずれかに記載の撮像装置。13. The image storage unit according to claim 1, wherein the image captured by the image capturing unit and information on a geometric deviation from a reference relating to the inclination corresponding to the image are stored. 12. The imaging device according to any one of items 1 to 11.
ずれを小さくした前記画像を表示する表示部を更に備え
ることを特徴とする請求項３から１３のいずれかに記載
の撮像装置。14. The imaging apparatus according to claim 3, wherein the image image processing unit further includes a display unit that displays the image with the geometric deviation reduced.
さくした複数の前記画像を縮小して表示することを特徴
とする請求項１４に記載の撮像装置。15. The imaging device according to claim 14, wherein the display unit displays the plurality of images in which the geometric deviation has been reduced in a reduced size.
記画像処理部が検出した、前記画像に対応した前記傾き
に関する基準との幾何学的ずれの情報とを表示する表示
部を更に備えることを特徴とする請求項３から１３のい
ずれかに記載の撮像装置。16. A display unit for displaying the image picked up by the image pick-up unit and information on a geometric shift between the image detected by the image processing unit and a reference related to the tilt corresponding to the image. The imaging device according to claim 3, wherein:
した画像と、前記複数の画像にそれぞれ対応した前記傾
きに関する基準との幾何学的ずれの情報とを表示するこ
とを特徴とする請求項１６に記載の撮像装置。17. The display unit according to claim 1, wherein the display unit displays an image obtained by reducing the plurality of images and information on a geometric deviation between the plurality of images and a reference relating to the inclination corresponding to each of the plurality of images. Item 17. The imaging device according to Item 16.
理装置であって、 与えられた前記画像を格納する画像記憶部と、 前記画像から、前記被写体のエッジ成分のうち、予め定
められた長さ以上の直線成分を検出するための検出条件
を格納する条件記憶部と、 前記検出条件に基づいて、前記画像から、前記直線成分
に対応する画像要素を検出し、検出した前記画像要素
と、予め定められた前記直線成分の傾きに関する基準と
の幾何学的ずれに基づいて、前記幾何学的ずれが小さく
なるように、前記画像に対して画像処理する画像処理部
と、 前記画像処理部が画像処理した前記画像を表示する表示
部とを備えることを特徴とする画像処理装置。18. An image processing apparatus for performing image processing on a given image, comprising: an image storage unit for storing the given image; and a predetermined length of edge components of the subject from the image. A condition storage unit for storing a detection condition for detecting a linear component of more than, based on the detection condition, from the image, an image element corresponding to the linear component is detected, and the detected image element; An image processing unit that performs image processing on the image based on a predetermined geometric deviation from a reference relating to the inclination of the linear component, so that the geometric deviation is small; and A display unit for displaying the image subjected to image processing.
理方法であって、 与えられた前記画像を格納する画像記憶部手順と、 前記画像から、前記被写体のエッジ成分のうち、予め定
められた長さ以上の直線成分を検出するための検出条件
を格納する条件記憶手順と、 前記検出条件に基づいて、前記画像から、前記直線成分
に対応する画像要素を検出し、検出した前記画像要素
と、予め定められた前記直線成分の傾きに関する基準と
の幾何学的ずれに基づいて、前記幾何学的ずれが小さく
なるように、前記画像に対して画像処理する画像処理手
順とを備えることを特徴とする画像処理方法。19. An image processing method for performing image processing on a given image, comprising: an image storage unit procedure for storing the given image; and a predetermined one of edge components of the subject from the image. A condition storage procedure for storing a detection condition for detecting a linear component having a length or more, based on the detection condition, from the image, an image element corresponding to the linear component is detected, and the detected image element An image processing procedure for performing image processing on the image based on a predetermined geometric deviation from a reference relating to the inclination of the linear component so as to reduce the geometric deviation. Image processing method.
ためのプログラムであって、 前記画像処理装置を、 画像処理するべき画像を格納する画像記憶部と、 前記画像から、前記被写体のエッジ成分のうち、予め定
められた長さ以上の直線成分を検出するための検出条件
を格納する条件記憶部と、 前記検出条件に基づいて、前記画像から、前記直線成分
に対応する画像要素を検出し、検出した前記画像要素
と、予め定められた前記直線成分の傾きに関する基準と
の幾何学的ずれに基づいて、前記幾何学的ずれが小さく
なるように、前記画像に対して画像処理する画像処理部
として機能させることを特徴とするプログラム。20. A program for causing an image processing device to execute image processing, the image processing device comprising: an image storage unit that stores an image to be subjected to image processing; Among them, a condition storage unit that stores a detection condition for detecting a linear component having a predetermined length or more, based on the detection condition, detects an image element corresponding to the linear component from the image, An image processing unit that performs image processing on the image based on a geometric deviation between the detected image element and a predetermined reference for the inclination of the linear component, so that the geometric deviation is reduced. A program characterized by functioning as a program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001148428A JP4176328B2 (en) | 2001-05-17 | 2001-05-17 | Imaging apparatus, image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001148428A JP4176328B2 (en) | 2001-05-17 | 2001-05-17 | Imaging apparatus, image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002344723A true JP2002344723A (en) | 2002-11-29 |
| JP4176328B2 JP4176328B2 (en) | 2008-11-05 |
Family
ID=18993742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001148428A Expired - Fee Related JP4176328B2 (en) | 2001-05-17 | 2001-05-17 | Imaging apparatus, image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4176328B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008061163A (en) * | 2006-09-04 | 2008-03-13 | Samsung Techwin Co Ltd | Imaging apparatus and imaging method |
| JP2008123086A (en) * | 2006-11-09 | 2008-05-29 | Matsushita Electric Ind Co Ltd | Image processor and image processing method |
| JP2010011177A (en) * | 2008-06-27 | 2010-01-14 | Nikon Corp | Digital camera |
| JP2010103922A (en) * | 2008-10-27 | 2010-05-06 | Olympus Imaging Corp | Imaging apparatus and method for controlling the same |
| US7956902B2 (en) | 2007-06-29 | 2011-06-07 | Funai Electric Co., Ltd. | Imaging device |
| JP2011142574A (en) * | 2010-01-08 | 2011-07-21 | Nikon Corp | Digital camera, image processor, and image processing program |
| US8395672B2 (en) | 2007-07-13 | 2013-03-12 | Panasonic Corporation | Imaging device that detects inclination of image and apparatus in a rolling direction |
| US8675089B2 (en) | 2009-12-25 | 2014-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for assisting composition of photographic image |
| JP2015045764A (en) * | 2013-08-28 | 2015-03-12 | オリンパス株式会社 | Imaging device, imaging method and program |
| JP2016504657A (en) * | 2012-11-16 | 2016-02-12 | グーグル インコーポレイテッド | Image rotation based on image content to correct image orientation |
| JP2017187801A (en) * | 2017-07-05 | 2017-10-12 | 株式会社ニコン | Imaging device, control program, and electronic apparatus |
-
2001
- 2001-05-17 JP JP2001148428A patent/JP4176328B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008061163A (en) * | 2006-09-04 | 2008-03-13 | Samsung Techwin Co Ltd | Imaging apparatus and imaging method |
| JP4588000B2 (en) * | 2006-09-04 | 2010-11-24 | 三星デジタルイメージング株式会社 | Imaging apparatus and imaging method |
| JP2008123086A (en) * | 2006-11-09 | 2008-05-29 | Matsushita Electric Ind Co Ltd | Image processor and image processing method |
| US7956902B2 (en) | 2007-06-29 | 2011-06-07 | Funai Electric Co., Ltd. | Imaging device |
| US8395672B2 (en) | 2007-07-13 | 2013-03-12 | Panasonic Corporation | Imaging device that detects inclination of image and apparatus in a rolling direction |
| JP2010011177A (en) * | 2008-06-27 | 2010-01-14 | Nikon Corp | Digital camera |
| JP2010103922A (en) * | 2008-10-27 | 2010-05-06 | Olympus Imaging Corp | Imaging apparatus and method for controlling the same |
| US8675089B2 (en) | 2009-12-25 | 2014-03-18 | Samsung Electronics Co., Ltd. | Apparatus and method for assisting composition of photographic image |
| JP2011142574A (en) * | 2010-01-08 | 2011-07-21 | Nikon Corp | Digital camera, image processor, and image processing program |
| JP2016504657A (en) * | 2012-11-16 | 2016-02-12 | グーグル インコーポレイテッド | Image rotation based on image content to correct image orientation |
| JP2015045764A (en) * | 2013-08-28 | 2015-03-12 | オリンパス株式会社 | Imaging device, imaging method and program |
| JP2017187801A (en) * | 2017-07-05 | 2017-10-12 | 株式会社ニコン | Imaging device, control program, and electronic apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4176328B2 (en) | 2008-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE45451E1 (en) | Image display apparatus and image display method | |
| JP6833746B2 (en) | Imaging equipment, imaging methods, programs and recording media | |
| JP3971100B2 (en) | Digital camera and image projection method | |
| US6864474B2 (en) | Focusing apparatus for adjusting focus of an optical instrument | |
| JP2002344723A (en) | Imaging device, image processing apparatus, image processing method, and program | |
| JP4124404B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
| US7292268B2 (en) | Image processing system, image capturing apparatus, image processing apparatus, and image processing method for performing edge enhancement | |
| JP4275326B2 (en) | Imaging apparatus and position information detection system | |
| JP2001197347A (en) | Information recorder, information obtaining method and digital camera | |
| JP4034029B2 (en) | Digital camera | |
| US20030206319A1 (en) | Image sensing apparatus, image sensing method, program, and storage medium | |
| JP2002344724A (en) | Imaging device, image processing apparatus, image processing method, and program | |
| JP2001142442A (en) | System and method for preparing profile, and digital photographing device, recording medium, and display measuring method | |
| JP4421788B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
| JP2004145022A (en) | Digital camera | |
| JP2003207712A (en) | Focusing unit | |
| JP2002359771A (en) | Imaging device, image processing unit, image processing method and program | |
| JP2003018479A (en) | Image processing unit and image processing method, and imaging apparatus | |
| JP4939480B2 (en) | Display device, imaging device, image search device, and program | |
| JP2001141417A (en) | Parallax amount correction device | |
| JP3943323B2 (en) | IMAGING DEVICE, IMAGING METHOD, SIGNAL PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR MAKING COMPUTER TO PROCESS IMAGE | |
| JP4318873B2 (en) | Distance information acquisition device, distance information acquisition method, program, and imaging device | |
| JP4188531B2 (en) | Imaging apparatus and exposure control method | |
| JP4487766B2 (en) | Imaging apparatus and program | |
| JP4054173B2 (en) | camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060110 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4176328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |