JP2005311757A - Image processing apparatus and portable terminal device employing the same - Google Patents
Image processing apparatus and portable terminal device employing the same Download PDFInfo
- Publication number
- JP2005311757A JP2005311757A JP2004126596A JP2004126596A JP2005311757A JP 2005311757 A JP2005311757 A JP 2005311757A JP 2004126596 A JP2004126596 A JP 2004126596A JP 2004126596 A JP2004126596 A JP 2004126596A JP 2005311757 A JP2005311757 A JP 2005311757A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- specific subject
- processing apparatus
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置及びそれを用いた携帯端末装置に関する。 The present invention relates to an image processing device and a portable terminal device using the same.
近年、携帯電話等の携帯端末装置においては、静止画や動画の撮影機能やインタ−ネット接続機能等の種々の機能が搭載され、高機能化が進みつつある。静止画や動画の撮影機能に関しては、携帯電話等の薄型化が益々図られているので、デジタルスチルカメラ(DSC)や、デジタルビデオカメラ(DVC)に搭載されるカメラと違って、撮像素子とレンズが一体となって回路基板に実装された薄型カメラモジュ−ルが携帯電話等に搭載されている。DSCやDVCの撮影機能においては、手ぶれ補正等が搭載された高機能機種も実用化されているが、カメラの駆動制御が複雑かつ大型になるため、これらの機能は、薄型カメラモジュ−ルでは実現が難しく、未だ、携帯電話等の携帯端末装置に手ぶれ補正等の機能は搭載されていない。手ぶれ補正に関するカメラ制御方法については、例えば特許文献1等に開示されている。 In recent years, mobile terminal devices such as mobile phones are equipped with various functions such as a still image / moving image shooting function and an Internet connection function, and are becoming increasingly sophisticated. With regard to still image and video shooting functions, mobile phones and the like are becoming thinner and thinner, so unlike cameras mounted on digital still cameras (DSC) and digital video cameras (DVC), A thin camera module in which a lens is integrated and mounted on a circuit board is mounted on a mobile phone or the like. In the DSC and DVC shooting functions, high-functional models equipped with camera shake correction and the like have been put into practical use. However, since camera drive control is complicated and large, these functions are not available in thin camera modules. It is difficult to realize, and functions such as camera shake correction are not yet installed in mobile terminal devices such as mobile phones. A camera control method related to camera shake correction is disclosed in, for example, Patent Document 1 and the like.
本願出願人は、移動する特定の被写体を追いかけながら撮影する際、当該特定の被写体を常に画面中央に配置できるように自動追尾する機能が実現できる薄型カメラモジュ−ルの構造を提案(特願2004−113791)している。本願出願人が提案する薄型カメラモジュ−ル300は、図7に示すように、レンズ301と撮像素子302が内蔵された第1の筐体303が、第2の筐体304の中空部305内で傾動可能に保持され、第1の筐体303と第2の筐体304は、回路基板306に搭載され、カメラモジュ−ル300を構成している。第1の筐体303は、回路基板306設けられた空間部307利用することによって、第1の筐体303の中心軸P-P´に対して約15度以下の角度範囲で傾動することができる。図7に示すカメラモジュ−ル300は、その厚みを6〜7mm以下に薄くすることでき、携帯電話等に搭載することも十分に可能である。この薄型カメラモジュ−ルを携帯電話等の携帯端末装置に搭載することによって、自動追尾の機能が実現できる。また、同じ傾動機能を利用すれば、手ぶれ補正の機能も実現可能である。
The applicant of the present application has proposed a structure of a thin camera module capable of realizing a function of automatically tracking so that a specific subject can always be placed at the center of the screen when shooting while tracking a specific moving subject (Japanese Patent Application No. 2004). -113791). As shown in FIG. 7, the
しかしながら、携帯電話等に図7に示す薄型カメラモジュ−ル200を搭載して自動追尾機能等を実現したとしても、携帯電話等で撮影した静止画や動画の録画デ−タをインタ−ネット接続機能を使って送信する場合、新たな問題が生じる。すなわち、携帯電話等のデ−タ通信の通信速度は、一般的なパソコンと比較してかなり低速であり、一方、録画された画像デ−タ、特に動画データにおいては、その情報量が膨大になるため、送信時間が非常に長くなってしまうという問題が発生する。最近の携帯電話等は、低消費電力化がかなり図られてはいるが、送信が長時間に及ぶとバッテリ稼動時間を大幅に減少させてしまったり、場合によっては、バッテリ−切れによって送信が途中で中断されてしまったりという問題が発生する。
However, even if the
このような問題を解決するために、種々の画像圧縮技術(MPEG2、MPEG4等)が開発されており、最近のカメラ搭載の携帯電話等にも、このような画像圧縮を行う専用のLSIが搭載されている。画像圧縮技術については、例えば特許文献2等に開示されている。
しかしながら、上記特許文献2等に開示されているような画像圧縮は、処理に必要な演算量が多く、必ずしも高性能の処理装置を搭載できるとは限らない携帯電話等にとっては大きな負荷になる。また、圧縮された画像デ−タを再生したとき、画像の鮮明度が悪くなる等の画質の劣化といった実用面での課題もある。 However, the image compression as disclosed in the above-mentioned Patent Document 2 requires a large amount of calculation necessary for processing, and is a heavy load for a mobile phone or the like that cannot always be equipped with a high-performance processing device. In addition, when compressed image data is reproduced, there is a problem in practical use such as deterioration of image quality such as deterioration of image sharpness.
従って、本願出願人が特願2004−113791で提案する薄型カメラモジュ−ルを携帯電話等に搭載して、動画撮影における自動追尾機構を付加した場合、上記のような課題を解決することが当該技術を実用化する上で重要な意義をなす。 Therefore, when the thin film camera module proposed by the applicant of the present application in Japanese Patent Application No. 2004-113791 is mounted on a mobile phone or the like and an automatic tracking mechanism in moving image shooting is added, the above-described problems can be solved. Significant significance in putting technology to practical use.
本発明はかかる点に鑑みてなされたものであり、その主な目的は、自動追尾等で撮像された画像デ−タを効率よくデ−タ削減できる画像処理装置を提供することにある。 The present invention has been made in view of this point, and a main object of the present invention is to provide an image processing apparatus capable of efficiently reducing image data captured by automatic tracking or the like.
本発明の画像処理装置は、カメラから伝送された画像信号を処理して画像デ−タを得る画像信号処理手段と、前記画像デ−タのデ−タ量を削減する画像デ−タ削減手段と、前記画像デ−タを記憶する画像デ−タ記憶手段と、前記画像デ−タ記憶手段に記憶された画像デ−タに基づく画像を画面に表示させる画像表示手段と、前記画像データから特定の被写体を含む特定画像デ−タを選択する被写体選択手段と、前記選択された特定被写体を前記画面上で自動追尾する追尾信号を出力する自動追尾手段と、前記追尾信号に基づき前記カメラの撮影方向を制御する制御信号を出力する制御信号発生手段とを備え、前記画像デ−タのうち、前記特定被写体画像デ−タ以外の画像デ−タが前記画像デ−タ削減手段によりデータ削減されていることを特徴とする。 An image processing apparatus according to the present invention comprises an image signal processing means for obtaining image data by processing an image signal transmitted from a camera, and an image data reduction means for reducing the amount of data of the image data. An image data storage means for storing the image data, an image display means for displaying an image based on the image data stored in the image data storage means on a screen, and the image data Subject selection means for selecting specific image data including a specific subject, automatic tracking means for outputting a tracking signal for automatically tracking the selected specific subject on the screen, and the camera based on the tracking signal Control signal generating means for outputting a control signal for controlling the photographing direction, and among the image data, image data other than the specific subject image data is reduced by the image data reducing means. Specially that To.
上記構成により、自動追尾される特定被写体を含む画像デ−タ以外の画像デ−タを選択的にデ−タ削減することによって、全体の画像デ−タのデ−タ量を削減できるとともに、撮影された画像デ−タを再生した場合も、目的とする特定被写体の画像の鮮明度は維持されるので、全体の再生画面を違和感なく見ることができる。 With the above configuration, by selectively reducing image data other than the image data including the specific subject that is automatically tracked, the data amount of the entire image data can be reduced, Even when the captured image data is reproduced, the sharpness of the target image of the specific subject is maintained, so that the entire reproduction screen can be viewed without a sense of incongruity.
ある好適な実施形態において、前記特定被写体画像デ−タが前記画像デ-タ削減手段によりデ−タ削減されており、該デ−タ削減の削減率が、前記特定被写体画像デ−タ以外の画像デ−タの削減率よりも小さい。 In a preferred embodiment, the specific subject image data is reduced by the image data reduction means, and the reduction rate of the data reduction is other than the specific subject image data. It is smaller than the reduction rate of image data.
上記構成により、自動追尾される特定被写体を含む画像デ−タを、それ以外の画像デ−タよりも小さい削減率で削減するので、目的とする特定被写体の画像の鮮明度を低下させることなく、全体の画像デ−タのデ−タ量をさらに削減することができる。 With the above configuration, image data including a specific subject to be automatically tracked is reduced at a reduction rate smaller than other image data, so that the sharpness of the image of the target specific subject is not reduced. Thus, the data amount of the entire image data can be further reduced.
また、前記特定被写体画像デ−タ以外の画像デ−タのうち少なくとも一部の画像デ−タがデ−タ削減されていてもよい。 Further, at least a part of the image data other than the specific subject image data may be reduced.
ある好適な実施形態において、前記画像デ−タ削減手段は、前記画像デ−タをデ−タ圧縮する手段よりなる。 In a preferred embodiment, the image data reduction means comprises means for compressing the image data.
ある好適な実施形態において、前記自動追尾手段は、前記選択された特定被写体を前記画面の略中央に配置するように追尾信号を出力する。 In a preferred embodiment, the automatic tracking means outputs a tracking signal so as to place the selected specific subject at a substantially center of the screen.
本発明の画像処理方法は、カメラから伝送された画像信号を処理して画像デ−タを得る工程と、前記画像データから特定の被写体を含む特定被写体画像デ−タを選択する工程と、前記選択された特定被写体を前記画面上で自動追尾する追尾信号を出力する工程と、前記追尾信号に基づき前記カメラの撮影方向を制御する制御信号を出力する工程と、前記画像デ−タのうち、前記特定被写体画像デ−タ以外の画像デ−タのデータ量を削減する工程とからなる。 The image processing method of the present invention includes a step of processing image signals transmitted from a camera to obtain image data, a step of selecting specific subject image data including a specific subject from the image data, Of the image data, a step of outputting a tracking signal for automatically tracking the selected specific subject on the screen, a step of outputting a control signal for controlling the shooting direction of the camera based on the tracking signal, And a step of reducing the data amount of image data other than the specific subject image data.
ある好適な実施形態において、前記特定被写体画像デ−タのデータ量を削減する工程をさらに含み、前記特定被写体画像デ−タのデ−タ量削減率が、前記特定被写体画像デ−タ以外の画像デ−タのデータ量削減率よりも小さい。 In a preferred embodiment, the method further includes a step of reducing a data amount of the specific subject image data, wherein the data amount reduction rate of the specific subject image data is other than the specific subject image data. It is smaller than the data amount reduction rate of the image data.
本発明の携帯端末装置は、上記の画像処理装置と、回転可能なカメラと、前記カメラを回転制御する回転制御手段とを備えた携帯端末装置であって、前記回転制御手段は、前記画像処理装置の前記制御信号発生手段から出力される制御信号に基づいて前記カメラを回転制御する。 A portable terminal device of the present invention is a portable terminal device including the above-described image processing device, a rotatable camera, and a rotation control unit that controls rotation of the camera, wherein the rotation control unit includes the image processing unit. The camera is rotationally controlled based on a control signal output from the control signal generating means of the apparatus.
ある好適な実施形態において、前記画像処理装置の前記画像データ記憶手段に記憶された画像デ−タを通信回線を介してデ−タ送信する送信手段を備えている。 In a preferred embodiment, the image processing apparatus further comprises transmission means for transmitting the image data stored in the image data storage means of the image processing apparatus via a communication line.
本発明の他の画像処理装置は、カメラから伝送された画像信号を処理して画像デ−タを得る画像信号処理手段と、前記画像デ−タのデ−タ量を削減する画像デ−タ削減手段と、前記画像デ−タを記憶する画像デ−タ記憶手段と、前記画像デ−タ記憶手段に記憶された画像デ−タに基づく画像を画面に表示させる画像表示手段と、前記画像データから特定の被写体を含む特定被写体画像デ−タを選択する被写体選択手段と、前記選択された特定被写体を含む画像デ−タを前記画面の略中央に配置されるように自動配置する配置信号を出力する自動配置手段とを備え、前記画像デ−タのうち、前記特定被写体画像デ−タ以外の画像デ−タが前記画像デ−タ削減手段によりデータ削減されていることを特徴とする。 Another image processing apparatus of the present invention is an image signal processing means for processing image signals transmitted from a camera to obtain image data, and image data for reducing the amount of image data. A reduction means, an image data storage means for storing the image data, an image display means for displaying an image based on the image data stored in the image data storage means, and the image Object selection means for selecting specific object image data including a specific object from the data, and an arrangement signal for automatically arranging the image data including the selected specific object so as to be arranged substantially at the center of the screen And an automatic arrangement means for outputting the image data, wherein image data other than the specific subject image data is reduced by the image data reduction means among the image data. .
上記構成により、画面中央に配置された特定被写体を含む画像デ−タ以外の画像デ−タを選択的にデ−タ削減することによって、全体の画像デ−タのデ−タ量を削減できるとともに、撮影された画像デ−タを再生した場合も、目的とする特定被写体の画像はその鮮明度を低下させることはないので、全体の再生画面を違和感なく見ることができる。 With the above configuration, the amount of data of the entire image data can be reduced by selectively reducing the image data other than the image data including the specific subject arranged at the center of the screen. At the same time, even when the captured image data is reproduced, the sharpness of the image of the target specific subject does not deteriorate, so that the entire reproduction screen can be viewed without a sense of incongruity.
ある好適な実施形態において、前記特定被写体画像デ−タが前記画像デ-タ削減手段によりデ−タ削減されており、該デ−タ削減の削減率が、前記特定被写体画像デ−タ以外の画像デ−タの削減率よりも小さい。 In a preferred embodiment, the specific subject image data is reduced by the image data reduction means, and the reduction rate of the data reduction is other than the specific subject image data. It is smaller than the reduction rate of image data.
本発明の携帯端末装置は、上記画像処理装置を備えた携帯端末装置であって、前記画像処理装置の前記画像データ記憶手段に記憶された画像デ−タを通信回線を介してデ−タ送信する送信手段を備えている。 A portable terminal device according to the present invention is a portable terminal device including the above-described image processing device, and transmits image data stored in the image data storage means of the image processing device via a communication line. The transmission means to be provided.
本発明によれば、自動追尾(自動配置)される特定被写体を含む画像デ−タ以外の画像デ−タを選択的にデ−タ削減することによって、全体の画像デ−タのデ−タ量を削減できるとともに、撮影された画像デ−タを再生した場合も、目的とする特定被写体の画像の鮮明度は維持したまま全体の再生画面を違和感なく見ることができる画像処理装置が実現できる。さらに、当該画像処理装置を送信手段を備えた携帯端末装置に搭載した場合、自動追尾(自動配置)により撮影され、当該画像処理装置により処理された画像デ−タを短時間に送信することが可能になる。 According to the present invention, the image data other than the image data including the specific subject to be automatically tracked (automatically arranged) is selectively reduced to thereby reduce the data of the entire image data. It is possible to realize an image processing apparatus that can reduce the amount and can view the entire reproduction screen without a sense of incongruity while maintaining the sharpness of the image of the target specific subject even when the captured image data is reproduced. . Furthermore, when the image processing apparatus is mounted on a portable terminal device having a transmission means, image data captured by automatic tracking (automatic placement) and processed by the image processing apparatus can be transmitted in a short time. It becomes possible.
本願発明者は、移動する特定被写体を自動追尾しながら撮影をする場合、撮影で得られる画像デ−タのうち、重要度の高い画像デ−タは、自動追尾によって得られる特定被写体の画像デ−タであって、特定被写体と相対移動している背景画像は、言わば“流れている画像”にすぎないので、特別の目的がある場合は別として、通常は重要度の低い画像デ−タとみなしても特段の支障がないという点に着目して、自動追尾機能を用いて撮影された画像デ−タの情報量を効果的に削減する方法を着想するに至った。 When the present inventor performs shooting while automatically tracking a specific moving subject, image data of high importance is image data of a specific subject obtained by automatic tracking among image data obtained by shooting. -A background image that is relatively moving with respect to a specific subject is merely a "flowing image", so it is usually less important image data, unless there is a special purpose. Focusing on the fact that there is no particular hindrance even if it is considered, the inventors have come up with a method for effectively reducing the amount of information of image data photographed using the automatic tracking function.
本発明を説明する前に、自動追尾の一般的な方式について、図8(a)から(c)を用いて説明する。 Before describing the present invention, a general method of automatic tracking will be described with reference to FIGS.
図8(a)は、カメラで目的とする特定被写体60を撮影し、目的とする特定被写体60が表示画面50中央に位置する状態を示す。図8(b)は、次の時刻に特定被写体60が移動した結果、特定被写体60が表示画面51の中で特定被写体61の位置にきたことを示す。ここで、表示画面51の画像デ−タを用いて、特定被写体61の移動量63を算出する。次に、図8(c)に示すように、算出した特定被写体の移動量63に基づいて、特定被写体62が表示画面52の中央に位置するように、カメラの撮影方向を回転させる。この動作を一定の時間間隔をもって連続的に繰り返すことによって、移動する特定被写体を常に画面中央に表示する自動追尾が行われる。なお、回転(傾動)制御されるカメラとしては、例えば、図7に示す薄型のカメラモジュ−ルを挙げることができ、これを用いれば、このような自動追尾機能が携帯電話等の薄型携帯端末装置で実現できる。
FIG. 8A shows a state where the target specific subject 60 is photographed by the camera and the target specific subject 60 is located at the center of the
このような自動追尾の撮影において、目的とする特定被写体は常に画面の中央にあり、一方、特定被写体の周りは、特定被写体が移動しているが故に時々刻々変化している。このような時々刻々変化する特定被写体の周りの画像デ−タは、特別の目的がある場合(例えば、撮影は目的とする特定被写体を追って行われるが、撮影後において、目標とする特定被写体の周辺の景色の変化にも興味があるような場合)を除いて、一般に、自動追尾によって得られる特定の被写体の画像デ−タよりも、重要度は低いと考えられる。 In such automatic tracking shooting, the target specific subject is always in the center of the screen, while the specific subject is changing every moment because the specific subject is moving. The image data around the specific subject that changes from moment to moment has a special purpose (for example, shooting is performed following the target specific subject. In general, it is considered that the degree of importance is lower than that of image data of a specific subject obtained by automatic tracking (except when the surrounding scenery changes).
本発明は、上記知見に基づき、撮影された画像デ−タのうち、自動追尾によって得られる特定被写体を含む特定画像デ−タ以外の画像デ−タは重要度の低いデ−タと捉え、この重要度の低い画像デ−タを選択的にデ−タ削減することによって、全体の画像デ−タのデータ量の削減を図ろうとするものである。このように選択的にデータ削減された画像デ−タを再生した場合、たとえ特定被写体以外の画像の鮮明度が悪くても、画面中央の特定被写体が鮮明に再生されていれば、ほとんど違和感なく再生画面を見ることができる。 Based on the above knowledge, the present invention regards image data other than specific image data including a specific subject obtained by automatic tracking among captured image data as less important data. It is intended to reduce the data amount of the entire image data by selectively reducing this less important image data. When image data with selectively reduced data is reproduced in this way, even if the sharpness of the image other than the specific subject is poor, if the specific subject at the center of the screen is reproduced clearly, there is almost no sense of incongruity. You can see the playback screen.
以下、本発明の実施の形態について、図面を参照しながら説明する。以下の図面においては、説明の簡略化のため、実質的に同一の機能を有する構成要素を同一の参照符号で示す。なお、本発明は以下の実施形態に限定されない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following drawings, components having substantially the same function are denoted by the same reference numerals for the sake of simplicity. In addition, this invention is not limited to the following embodiment.
(実施形態1)
図1は、本発明の実施の形態に係る画像処理装置100の構成を示したブロック図である。図1に示した画像処理装置100は、カメラ20から伝送された画像信号を処理して画像デ−タを得る画像信号処理手段10と、画像デ−タのデ−タ量を削減する画像デ−タ削減手段11と、画像デ−タを記憶する画像デ−タ記憶手段12と、画像デ−タ記憶手段12に記憶された画像デ−タに基づく画像を画面に表示させる画像表示手段13を備えている。さらに、画像データから特定の被写体を含む特定被写体画像デ−タを選択する被写体選択手段14と、選択された特定被写体を画面上で自動追尾する追尾信号を出力する自動追尾手段15と、追尾信号に基づきカメラの撮影方向を制御する制御信号を出力する制御信号発生手段16とを備えている。そして、画像デ−タのうち、特定被写体画像デ−タ以外の画像デ−タは、画像デ−タ削減手段11によりデータ削減される。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an
上記構成によれば、被写体選択手段14で選択された自動追尾される特定被写体を含む画像デ−タ(特定被写体画像デ−タ)以外の画像デ−タを、画像デ−タ削減手段11により選択的にデ−タ削減することができ、それによって、全体の画像デ−タのデ−タ量を削減できるとともに、撮影された画像デ−タを再生した場合も、目標とする特定被写体の画像の鮮明度は維持される。従って、全体の再生画面を違和感なく見ることができる。
According to the above configuration, image data other than the image data (specific subject image data) including the specific subject to be automatically tracked selected by the
図1において、外部に設けられたカメラ20で撮影された画像信号は、画像信号処理手段10に伝送され、そこで画像信号を処理して画像デ−タを得る。画像信号処理手段10としては、専用の画像信号プロセッサ−やDSP等を用いる。外部に設けられたカメラ20は、CCDやCMOSイメ−ジセンサ−などの撮像素子22と、入射光を撮像素子22に結像させるレンズ21からなり、それらは、例えば、図7に示すような回路基板に一体実装されたカメラモジュ−ルの形態をなしている。
In FIG. 1, an image signal photographed by a
画像信号処理手段10で処理されて得られた画像デ−タは、画像デ−タ記憶手段12に一旦記憶され、画像表示手段13により、画像デ−タ記憶手段12に記憶された画像デ−タに基づく画像を画面に表示させる。画像デ−タ記憶手段12は、例えばビデオRAM(VRAM)等の半導体メモリを用い、画像表示手段13は、例えば表示装置として液晶パネルを用いるときには、液晶パネルを駆動する液晶ドライバ−を用いる。 The image data obtained by processing by the image signal processing means 10 is temporarily stored in the image data storage means 12, and the image data stored in the image data storage means 12 by the image display means 13. Image based on the screen. The image data storage means 12 uses a semiconductor memory such as a video RAM (VRAM), for example, and the image display means 13 uses a liquid crystal driver for driving the liquid crystal panel when using a liquid crystal panel as a display device, for example.
次に、特定の被写体を自動追尾して撮影を行う際の、画像処理方法について説明する。図2は、撮影された画像デ−タに基づく画像の表示画面30を示し、特定被写体31が表示画面30の中央に位置している。この特定被写体31を含む画像デ−タ(特定被写体画像デ−タ)32を、図1に示す被写体選択手段14で選択する。特定被写体31の選択方法としては、例えば、以下の方法で行うことができる。
Next, a description will be given of an image processing method when shooting by automatically tracking a specific subject. FIG. 2 shows an
まず、表示画面30内で、特定の被写体を囲むように、ポインタ−で2隅P,Qを指定し、特定被写体31を含む画像ブロック32′を特定する。特定の仕方としては、特定被写体31の中心をポインタ−で指定し、その中心から一定の範囲のブロックを特定被写体31を含む画像ブロック32′として特定を行ってもよい。また、オ−トフォ−カス機能を使って特定被写体31を含む画像ブロック32′を特定することもできる。次に、画像ブロック32′の画像デ−タ(特定被写体画像デ−タ)32を基に、輪郭認識、または輝度認識等の認識手段を用いて特定被写体31を認識して選択を行う。
First, in the
上記の方法で選択された特定被写体31は、自動追尾手段15で出力される追尾信号により自動追尾される。追尾信号は、特定被写体31の一定時間後(例えば1/30秒)における特定被写体31の移動方向及び移動距離を算出することによって得ることができる。こうして得られた追尾信号に基づいて、実際にカメラ20の撮影方向を制御する制御信号を制御信号発生手段16で出力する。この制御信号は、追尾信号(特定被写体31の移動方向及び移動距離に相当)から得られるカメラ20の回転(傾動)角度に相当する。外部に設けられた回転制御手段23は、制御信号発生手段16から出力された制御信号に基づいてカメラ20を回転制御することによって、特定被写体31の自動追尾を行うことができる。
The specific subject 31 selected by the above method is automatically tracked by the tracking signal output from the automatic tracking means 15. The tracking signal can be obtained by calculating the moving direction and moving distance of the specific subject 31 after a certain time (for example, 1/30 second) of the
次に、特定被写体を自動追尾して撮影して得られた画像デ−タの削減方法について説明する。上述したように、図2に示す表示画面30において、特定被写体31を含む画像ブロック32′の画像デ−タ32以外の周辺の画像デ−タ33は、その情報の重要度が低い。そこで、特定被写体31を含む画像デ−タ32以外(即ち、周辺の画像デ−タ33)を画像デ−タ削減手段11を用いて選択的に削減を行う。削減方法としては、MPEG等の画像圧縮、特定の画像デ−タの間引き若しくは削除、または輝度信号の低減など、画像デ−タ記憶手段12の記憶容量や画像デ−タ削減手段11の処理能力等の種々の条件に応じて適宜選ぶことができる。このようにして選択的に削減された画像デ−タを含む撮影画像を再生しても、目的とする特定被写体の画像の鮮明度は維持されるので、全体の再生画面を違和感なく見ることができる。
Next, a method for reducing image data obtained by automatically tracking and shooting a specific subject will be described. As described above, in the
なお、特定被写体31を含む画像デ−タ(特定被写体画像デ−タ)32のデータ削減も行って、さらに全体の画像デ−タの削減を図ることもできるが、この場合、特定被写体画像デ−タ32のデータ削減の削減率が、特定被写体画像デ−タ32以外の画像デ−タ33の削減率よりも小さくしておく。このとき、特定被写体画像デ−タ32のデータ削減は、画像デ−タを再生しても特定被写体31の画像の鮮明度を低下させない程度の削減率にしておくことが好ましい。
Note that the data of the image data including the specific subject 31 (specific subject image data) 32 can also be reduced to further reduce the entire image data. The data reduction rate of the
本実施形態では、図2に示すように、特定被写体31は表示画面30の中央に位置しているが、必ずしも特定被写体31が最初の撮影段階で表示画面30の中央に位置するとは限らない。このような場合を想定して、自動追尾撮影において、目的とする特定被写体31を常に表示画面中央に位置させるようにするために、自動追尾撮影の開始時に、被写体選択手段14で選択された特定被写体31を含む画像デ−タ32の表示画面30中央の位置からのズレ量を算出し、この算出されたズレ量に基づいて、特定被写体31が表示画面30の中央に位置するように、カメラの撮影方向を予め初期設定しておいてもよい。
In the present embodiment, as shown in FIG. 2, the
また、本発明の実施の形態に係る画像処理装置100を、図1に示す回転(回動、又は傾動)可能なカメラ20と、カメラ20を回転制御する回転制御手段23を備えた携帯端末装置に搭載することにより、自動追尾機能が付加された携帯端末装置を提供することもできる。ここで、回転制御手段23は、画像処理装置100の制御信号発生手段16から出力される制御信号に基づいて、カメラ20の回転制御を行う。回転可能なカメラ20としては、上述の図7に示したような傾動可能な薄型カメラモジュ−ル300を用いることができ、これを用いれば、携帯電話、PDA、ノ−トPC等の薄型の携帯端末装置に搭載することができる。なお、この場合、回転制御手段23としては、図7に示した薄型カメラモジュ−ル300の第2の筐体304に埋め込まれた電磁石308(第1の筐体303には磁石309が埋め込まれている)がその機能を果たす。
In addition, the
また、上記携帯端末装置に、画像デ−タを通信回線(有線または無線)を介してデ−タ伝送する送信手段を搭載してもよい。この場合、画像処理装置100の画像記憶手段12に記憶された減縮された画像デ−タが送信されるので、送信時間を短くすることができる。
The portable terminal device may be equipped with a transmission means for transmitting image data via a communication line (wired or wireless). In this case, since the reduced image data stored in the
さらに、携帯端末装置に搭載された表示装置(例えば液晶パネル)に、特定被写体が表示装置の画面上のどこにいるかを示す位置表示機能や、特定被写体が表示装置の画面枠からはみ出そうなとき(例えば、特定被写体が画面枠内の所定の幅領域に入ったとき)に、警告音または警告表示をする警告機能が付加されていれば、特定被写体を自動追尾しながら撮影する際に便利である。 Furthermore, when the display device (for example, a liquid crystal panel) mounted on the mobile terminal device has a position display function indicating where the specific subject is on the screen of the display device, or when the specific subject is likely to protrude from the screen frame of the display device ( For example, if a warning function for displaying a warning sound or warning is added when a specific subject enters a predetermined width area in the screen frame), it is convenient when shooting while automatically tracking the specific subject. .
図3(a)、(b)及び図4は、本発明の実施の形態に係る画像処理装置100が搭載されたカメラ付き携帯電話110、及びPDA120の例を示す。携帯電話110、及びPDA120には、本発明の実施の形態に係る画像処理装置100(図示せず)が内蔵されるとともに、回転可能なカメラ130と、該カメラを回転制御する回転制御手段(図示せず)が備えられており、回転制御手段は、画像処理装置100の制御信号発生手段から出力される制御信号に基づいて、カメラを回転制御できるようになっている。また、画像処理装置100の画像データ記憶手段に記憶された画像デ−タを通信回線を介してデ−タ送信する送信手段(図示せず)を備えていてもよい。
FIGS. 3A, 3B, and 4 show examples of the camera-equipped
なお、本発明の実施の形態に係る画像処理装置100は、上記カメラ付き携帯電話やPDA等の薄型携帯端末装置に限らず、DSC、DVC、その他の撮影機能(カメラに回転機構がついたもの)映像機器にも搭載することは可能である。
Note that the
(実施形態2)
次に、図5及び図6を参照しながら、本発明の他の実施形態に係る画像処理装置200を説明する。図5に示した画像処置装置200は、カメラ20から伝送された画像信号を処理して画像デ−タを得る画像信号処理手段10と、画像デ−タのデ−タ量を削減する画像デ−タ削減手段11と、画像デ−タを記憶する画像デ−タ記憶手段12と、画像デ−タ記憶手段12に記憶された画像デ−タに基づく画像を画面に表示させる画像表示手段13を備えている。さらに、画像データから特定被写体画像デ−タを選択する被写体選択手段14と、選択された特定被写体を含む画像デ−タを画面の略中央に配置されるように自動配置する配置信号を出力する自動配置手段17とを備えている。そして、画像デ−タのうち、特定被写体画像デ−タ以外の画像デ−タは、画像デ−タ削減手段11によりデータ削減されている。
(Embodiment 2)
Next, an
上記構成により、自動配置手段17によって画面中央に配置された特定被写体を含む画像デ−タ以外の画像デ−タ(特定被写体画像デ−タ)を、画像デ−タ削減手段11で選択的にデ−タ削減することによって、全体の画像デ−タのデ−タ量を削減できるとともに、撮影された画像デ−タを再生した場合も、目的とする特定被写体の画像はその鮮明度を低下させることはない。従って、全体の再生画面を違和感なく見ることができる。 With the above configuration, image data reduction means 11 selectively selects image data (specific subject image data) other than the image data including the specific subject arranged at the center of the screen by the automatic arrangement means 17. By reducing the data, the amount of data of the entire image data can be reduced, and even when the captured image data is played back, the sharpness of the target specific subject image is reduced. I will not let you. Therefore, the entire playback screen can be viewed without a sense of incongruity.
本実施形態に係る画像処理装置200は、上述の実施形態1に係る画像処理装置100が「自動追尾機能」を具備していたのに対し、「自動配置機能」を具備している点が相違する。すなわち、本実施形態に係る画像処理装置200は、特定被写体を常に画面中央に自動配置させる機能を備え、かかる機能を備えた画像デ−タの効率的なデ−タ圧縮の方法を提供するものである。本実施形態に係る画像処理装置200は、固定されたカメラで移動する特定の被写体を撮影する場合、目的とする特定被写体を常に画面中央に自動配置することによって、当該特定被写体の観察を容易にできるとともに、自動配置される特定被写体を含む画像デ−タ(特定被写体画像デ−タ)以外の画像デ−タを選択的にデ−タ削減することによって、全体の画像デ−タのデ−タ量を削減できる。もちろん、画面中央に自動配置された特定被写体の画像はその鮮明度を低下させることはないので、全体の画面再生を違和感なく見ることができる。
The
本実施形態に係る画像処理装置200の基本的な構成は、実施形態1の図1に示した画像処理装置100と変わらないので、特徴となる相違点だけを以下に説明する。
Since the basic configuration of the
図6(a)は、撮影された画像デ−タに基づく画像の表示画面40を示し、特定被写体41が表示画面40の右上に位置している。この特定被写体41を含む画像デ−タ(特定被写体画像デ−タ)42を被写体選択手段14で選択する。特定被写体41の選択方法は、実施形態1で説明した方法と同様である。次に、選択された特定被写体41を含む画像デ−タ42を、画面の略中央に配置されるように自動配置する自動配置信号を自動配置手段17で出力する。自動配置信号は、被写体選択手段14で選択した特定被写体41の表示画面40の位置情報から、特定被写体41の表示画面40中央からのズレ量を算出することによって得られる。特定被写体41が移動する場合は、一定時間毎(例えば1/30秒)に、上記の特定被写体の選択、自動配置信号の発生を連続的に行うことによって、移動する特定被写体を常に画面中央に自動配置することができる。
FIG. 6A shows an
次に、自動配置手段17から出力される配置信号に基づいて、選択された特定被写体41を含む画像デ−タ42を表示画面40の略中央に配置する。このとき、再配置された選択された特定被写体41を含む画像デ−タ42以外の画像デ−タは、図4(b)において、表示画面40の中で、領域43(図4(a)において、実線で示された表示画面40と、破線で示された表示画面40′との重なった部分)には画像デ−タは存在するが、領域44(図4(a)において、破線で示された表示画面40′のうち、実線で示された表示画面40と重ならない部分)には画像デ−タは存在しない。
Next, based on the arrangement signal output from the automatic arrangement means 17, the
次に、特定被写体画像デ−タを画面中央に自動配置して得られた画像デ−タの削減方法について説明する。上述の実施形態1で説明したのと同様に、図4(b)に示す表示画面40において、特定被写体41を含む画像デ−タ42以外の周辺の画像デ−タ43は、その情報の重要度が低い。そこで、特定被写体41を含む画像デ−タ42以外(即ち、周辺の画像デ−タ43)を画像デ−タ削減手段11を用いて選択的に削減を行う。この場合、撮影された画像デ−タを再生しても、目的とする特定被写体の画像の鮮明度は維持されるので、全体の再生画面を違和感なく見ることができる。
Next, a method for reducing image data obtained by automatically arranging specific subject image data at the center of the screen will be described. In the same manner as described in the first embodiment, in the
なお、図4(b)に示すように、表示画面40の領域44には画像デ−タが存在していないので、表示画面40全体の画像は不自然になることから、表示画面40を、特定被写体41を含む画像デ−タ42を中心として、その周辺の有効画像デ−タだけが存在する縮小表示画面45に切り替えてもよい。
As shown in FIG. 4B, since no image data exists in the
本発明の実施の形態に係る画像処理装置200は、カメラ付き携帯電話、PDA等の携帯端末装置、あるいはDSC、DVC、その他の映像機器に搭載することによって、自動配置機能が付加された携帯端末装置等を提供することもできる。さらに、画像デ−タを通信回線(有線または無線)を介してデ−タ伝送する送信手段を搭載することにより、画像処理装置200の画像記憶手段12に記憶された減縮された画像デ−タが送信できるので、送信時間を短くすることができる。
An
以上、本発明を好適な実施形態により説明してきたが、こうした記述は限定事項ではなく、勿論、種々の改変が可能である。 As mentioned above, although this invention was demonstrated by suitable embodiment, such description is not a limitation matter and of course various modifications are possible.
本発明によれば、自動追尾等で撮像された画像デ−タを効率よくデ−タ削減できる画像処理装置、および自動追尾等で撮像された画像データを通信回線を用いて送信可能な情報端末装置を提供することができる。 According to the present invention, an image processing apparatus capable of efficiently reducing image data captured by automatic tracking or the like, and an information terminal capable of transmitting image data captured by automatic tracking or the like using a communication line An apparatus can be provided.
10 画像信号処理手段
11 画像デ−タ削減手段
12 画像デ−タ記憶手段
13 画像表示手段
14 被写体選択手段
15 自動追尾手段
16 制御信号発生手段
17 自動配置手段
20 カメラ
21 レンズ
22 撮像素子
23 回転制御手段
30 表示画面
31 特定被写体
32 特定被写体を含む特定画像デ−タ
100,200 画像処理装置
110 携帯電話
120 PDA
300 カメラモジュ−ル
303 第1の筐体
304 第2の筐体
306 回路基板
DESCRIPTION OF
300
Claims (12)
前記画像デ−タのデ−タ量を削減する画像デ−タ削減手段と、
前記画像デ−タを記憶する画像デ−タ記憶手段と、
前記画像デ−タ記憶手段に記憶された画像デ−タに基づく画像を画面に表示させる画像表示手段と
前記画像データから特定の被写体を含む特定被写体画像デ−タを選択する被写体選択手段と、
前記選択された特定被写体を前記画面上で自動追尾する追尾信号を出力する自動追尾手段と、
前記追尾信号に基づき前記カメラの撮影方向を制御する制御信号を出力する制御信号発生手段と
を備え、
前記画像デ−タのうち、前記特定被写体画像デ−タ以外の画像デ−タは前記画像デ−タ削減手段によってデータ削減されている
ことを特徴とする画像処理装置。 Image signal processing means for processing image signals transmitted from the camera to obtain image data;
Image data reducing means for reducing the amount of data of the image data;
Image data storage means for storing the image data;
Image display means for displaying an image based on the image data stored in the image data storage means on a screen; subject selection means for selecting specific subject image data including a specific subject from the image data;
Automatic tracking means for outputting a tracking signal for automatically tracking the selected specific subject on the screen;
Control signal generating means for outputting a control signal for controlling the shooting direction of the camera based on the tracking signal;
An image processing apparatus characterized in that image data other than the specific subject image data is reduced by the image data reduction means among the image data.
前記画像データから特定の被写体を含む特定被写体画像デ−タを選択する工程と、
前記選択された特定被写体を前記画面上で自動追尾する追尾信号を出力する工程と、
前記追尾信号に基づき前記カメラの撮影方向を制御する制御信号を出力する工程と、
前記画像デ−タのうち、前記特定被写体画像デ−タ以外の画像デ−タのデータ量を削減する工程と
からなる画像処理方法。 Processing image signals transmitted from the camera to obtain image data;
Selecting specific subject image data including a specific subject from the image data;
Outputting a tracking signal for automatically tracking the selected specific subject on the screen;
Outputting a control signal for controlling the shooting direction of the camera based on the tracking signal;
An image processing method comprising a step of reducing a data amount of image data other than the specific subject image data among the image data.
前記特定被写体画像デ−タのデ−タ量削減率が、前記特定被写体画像デ−タ以外の画像デ−タのデータ量削減率よりも小さいことを特徴とする請求項6に記載の画像処理方法。 And a step of reducing a data amount of the specific subject image data.
7. The image processing according to claim 6, wherein a data amount reduction rate of the specific subject image data is smaller than a data amount reduction rate of image data other than the specific subject image data. Method.
回転可能なカメラと、
前記カメラを回転制御する回転制御手段と
を備えた携帯端末装置であって、
前記回転制御手段は、前記画像処理装置の前記制御信号発生手段から出力される制御信号に基づいて、前記カメラを回転制御することを特徴とする携帯端末装置。 An image processing apparatus according to claim 1;
A rotatable camera,
A portable terminal device comprising rotation control means for controlling rotation of the camera,
The portable terminal device, wherein the rotation control unit controls the rotation of the camera based on a control signal output from the control signal generation unit of the image processing apparatus.
前記画像デ−タのデ−タ量を削減する画像デ−タ削減手段と、
前記画像デ−タを記憶する画像デ−タ記憶手段と、
前記画像デ−タ記憶手段に記憶された画像デ−タに基づく画像を画面に表示させる画像表示手段と
前記画像データから特定の被写体を含む特定被写体画像デ−タを選択する被写体選択手段と、
前記選択された特定被写体画像デ−タを前記画面の略中央に配置されるように自動配置する配置信号を出力する自動配置手段と、
を備え、
前記画像デ−タのうち、前記特定被写体画像デ−タ以外の画像デ−タは前記画像デ−タ削減手段によってデータ削減されている
ことを特徴とする画像処理装置。 Image signal processing means for processing image signals transmitted from the camera to obtain image data;
Image data reducing means for reducing the amount of data of the image data;
Image data storage means for storing the image data;
Image display means for displaying an image based on the image data stored in the image data storage means on a screen; subject selection means for selecting specific subject image data including a specific subject from the image data;
Automatic placement means for outputting a placement signal for automatically placing the selected specific subject image data so as to be placed at substantially the center of the screen;
With
An image processing apparatus characterized in that image data other than the specific subject image data is reduced by the image data reduction means among the image data.
前記画像処理装置の前記画像データ記憶手段に記憶された画像デ−タを通信回線を介してデ−タ送信する送信手段を備えていることを特徴とする携帯端末装置。 A portable terminal device comprising the image processing device according to claim 10,
A portable terminal device comprising transmission means for transmitting image data stored in the image data storage means of the image processing apparatus via a communication line.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004126596A JP2005311757A (en) | 2004-04-22 | 2004-04-22 | Image processing apparatus and portable terminal device employing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004126596A JP2005311757A (en) | 2004-04-22 | 2004-04-22 | Image processing apparatus and portable terminal device employing the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005311757A true JP2005311757A (en) | 2005-11-04 |
Family
ID=35440004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004126596A Pending JP2005311757A (en) | 2004-04-22 | 2004-04-22 | Image processing apparatus and portable terminal device employing the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005311757A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007129432A1 (en) * | 2006-05-02 | 2007-11-15 | Sony Computer Entertainment Inc. | Game device |
JP2012040435A (en) * | 2011-11-30 | 2012-03-01 | Sony Computer Entertainment Inc | Game device and virtual object control method |
JP2018125661A (en) * | 2017-01-31 | 2018-08-09 | 富士通株式会社 | Information processor, control method of information processor, and control program of information processor |
-
2004
- 2004-04-22 JP JP2004126596A patent/JP2005311757A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007129432A1 (en) * | 2006-05-02 | 2007-11-15 | Sony Computer Entertainment Inc. | Game device |
JP2007296248A (en) * | 2006-05-02 | 2007-11-15 | Sony Computer Entertainment Inc | Game device |
JP2012040435A (en) * | 2011-11-30 | 2012-03-01 | Sony Computer Entertainment Inc | Game device and virtual object control method |
JP2018125661A (en) * | 2017-01-31 | 2018-08-09 | 富士通株式会社 | Information processor, control method of information processor, and control program of information processor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9571735B2 (en) | Digital camera having low power capture mode | |
US9628708B2 (en) | Digital camera having multiple image capture systems | |
US8934045B2 (en) | Digital camera system having remote control | |
JP2006217478A (en) | Apparatus and method for photographing image | |
JP2012165090A (en) | Imaging apparatus and control method of the same | |
JP4810323B2 (en) | Imaging device, program, recording medium | |
JP4748442B2 (en) | Imaging apparatus and program thereof | |
JP2008199210A (en) | Photographing device and photographing method | |
JP2006033724A (en) | Information processing apparatus and information processing method | |
JP5088216B2 (en) | Electronic camera | |
WO2011001970A1 (en) | Electronic device, camera, camera system, position measurement operation control program, and position measurement operation control method | |
JP4341407B2 (en) | Imaging projection device | |
JP2005086500A (en) | Mounting table, imaging system and portable electronic equipment | |
JP2010193066A (en) | Imaging apparatus, and control method and program of imaging apparatus | |
JP3359526B2 (en) | Digital electronic camera | |
JP2005311757A (en) | Image processing apparatus and portable terminal device employing the same | |
JP2006319541A (en) | Imaging device, moving picture processing method, and program | |
JP2005005791A (en) | Electronic camera | |
JP2008053774A (en) | Imaging apparatus | |
JP2006339728A (en) | Imaging apparatus and program thereof | |
JP2010166524A (en) | Imaging device | |
JP2008065851A (en) | Information processing apparatus and recording medium | |
JP2008252373A (en) | Image processor,image processing method and computer program | |
JP2003338979A (en) | Imaging apparatus | |
JP3382296B2 (en) | Imaging device |