JP2000358221A - Image display device - Google Patents

Image display device

Info

Publication number
JP2000358221A
JP2000358221A JP11167298A JP16729899A JP2000358221A JP 2000358221 A JP2000358221 A JP 2000358221A JP 11167298 A JP11167298 A JP 11167298A JP 16729899 A JP16729899 A JP 16729899A JP 2000358221 A JP2000358221 A JP 2000358221A
Authority
JP
Japan
Prior art keywords
image
rate
display
interpolated
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11167298A
Other languages
Japanese (ja)
Other versions
JP4339446B2 (en
Inventor
Tomoyuki Nakamura
智幸 中村
Susumu Kobayashi
進 小林
Akihiro Kubota
明広 窪田
Yukihiro Sugimoto
行弘 杉本
Hiroshi Ito
広 伊藤
Toru Hidaka
徹 日高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP16729899A priority Critical patent/JP4339446B2/en
Publication of JP2000358221A publication Critical patent/JP2000358221A/en
Application granted granted Critical
Publication of JP4339446B2 publication Critical patent/JP4339446B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image display device that can properly display image data at a variable photographing rate onto an image display means with a prescribed display rate. SOLUTION: The image display device that continuously displays image data photographed by an image pickup device with a variable photographing rate, is provided with an image storage section 1 that stores the image data and information relating to the photographing rate, an image display section 4 that displays an image at a prescribed display rate, a frame rate detection section 2 that detects the photographing rate from the information stored in the image storage section 1 and detects the display rate of the image display section 4, and an interpolation image generating section 3 that generates an interpolation image to interpolate the image read from the image storage section 1 based on the information detected by the frame rate detection section 2.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像表示装置、よ
り詳しくは、撮像レートを可変とする撮像装置により撮
影された画像を表示する画像表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display device, and more particularly, to an image display device for displaying an image captured by an image capturing device having a variable imaging rate.

【0002】[0002]

【従来の技術】ある撮像レートで撮影された画像を、撮
影時とは異なる表示用のフレームレートで表示する画像
表示装置は、従来より、種々のものが提案されている。
2. Description of the Related Art There have been proposed various image display apparatuses for displaying an image photographed at a certain imaging rate at a display frame rate different from that at the time of photographing.

【0003】このようなものの第1の従来技術として
は、特開平7−59054号公報に記載されているよう
な、画像入力側のフレームレートと画像表示側のフレー
ムレートが異なる画像を表示する映像信号変換装置が挙
げられる。該公報に記載の画像表示装置は、内蔵するメ
モリに対して、画像データを書き込む際には入力側の映
像信号方式に同期させ、一方、画像データを読み出す際
には表示側の映像信号方式に同期させるようにしたもの
である。このとき、表示側のフレームレートに対して入
力側のフレーム数が不足する場合には、必要枚数のフレ
ーム画像を補間し、また、入力側のフレーム数が過剰と
なる場合には、不要枚数のフレーム画像を間引きするこ
とにより、異なるテレビジョン方式の入出力を可能とし
たものとなっている。
As a first prior art of this kind, as disclosed in Japanese Patent Application Laid-Open No. 7-59054, a video displaying an image having a different frame rate on an image input side and a frame rate on an image display side is disclosed. A signal conversion device. The image display device described in this publication synchronizes the image data with the video signal system on the input side when writing image data to the built-in memory, while using the video signal system on the display side when reading image data. This is to synchronize. At this time, if the number of frames on the input side is insufficient with respect to the frame rate on the display side, the necessary number of frame images are interpolated, and if the number of frames on the input side becomes excessive, By thinning out frame images, input and output of different television systems are made possible.

【0004】次に、第2の従来技術としては、特開平9
−97348号公報に記載されているような、被写体の
動きに対応した補間画像を連続的に作成する動画表示装
置および方法が挙げられる。該公報に記載の動画表示装
置は、画像データを保存しておくための画像記憶手段
と、この画像記憶手段から読み出した画像データを一時
的に記憶しておくためのバッファ手段と、被写体の特徴
点の動きを表すパラメータ列を制御データとして与える
ための制御データ付与手段と、この制御データに従って
補間画像を生成する画像生成手段と、画像を順次表示す
る表示手段とを備えている。こうして、少量の原画像デ
ータと、予め用意された上記パラメータ列の情報とに基
づいて、被写体の動きに対応した補間画像を連続的に作
成することにより、少量の基本画像データから長時間の
動画像を作成して表示することができるようになってい
る。
Next, as a second prior art, Japanese Patent Laid-Open No.
A moving image display apparatus and method for continuously creating an interpolated image corresponding to the motion of a subject as described in Japanese Patent Application Laid-Open No. 97348/97. The moving image display device described in the publication includes an image storage means for storing image data, a buffer means for temporarily storing image data read from the image storage means, and a feature of the subject. The control device includes control data providing means for providing a parameter sequence representing the movement of a point as control data, image generating means for generating an interpolated image according to the control data, and display means for sequentially displaying the images. In this way, by continuously creating an interpolated image corresponding to the motion of the subject based on a small amount of original image data and information of the parameter sequence prepared in advance, a long-time moving image can be obtained from a small amount of basic image data. Images can be created and displayed.

【0005】さらに、第3の従来技術としては、特開平
10−233996号公報に記載されているような、間
欠的に記録された映像信号から、被写体の動きに対応し
た補間画像を作成して原画像間に内挿し表示を行う、映
像信号再生装置および映像信号再生方法が挙げられる。
この映像信号再生装置は、映像信号を再生する再生手段
と、映像信号の動きベクトルを検出するベクトル検出手
段と、補間画像を生成する手段と、映像を出力する出力
手段とを備え、映像信号を再生する際に、上記ベクトル
検出手段が被写体の動きベクトルを検出して、上記補間
フレーム作成手段が、検出した動きベクトルと2枚の連
続するフレーム画像とに基づいて補間フレーム画像を作
成し、これを原画像間に内挿して表示するものとなって
いる。これによって、間欠的に記録された映像信号を再
生する際に、違和感の少ない動画像を表示することがで
きるようになっている。
Further, as a third prior art, an interpolated image corresponding to the movement of a subject is created from an intermittently recorded video signal as described in Japanese Patent Application Laid-Open No. Hei 10-233996. There are a video signal reproducing apparatus and a video signal reproducing method for performing interpolation display between original images.
The video signal reproducing apparatus includes a reproducing unit that reproduces a video signal, a vector detecting unit that detects a motion vector of the video signal, a unit that generates an interpolated image, and an output unit that outputs a video. At the time of reproduction, the vector detecting means detects a motion vector of the subject, and the interpolated frame creating means creates an interpolated frame image based on the detected motion vector and two consecutive frame images. Are interpolated between the original images and displayed. Thereby, when reproducing the intermittently recorded video signal, a moving image with less discomfort can be displayed.

【0006】[0006]

【発明が解決しようとする課題】しかしながら、上記第
1、第3の従来技術では、原画像のフレームレートが一
定である場合には対応することができるが、原画像のフ
レームレートが可変である場合には、表示装置に固有の
一定の表示レートで表示しようとしても、撮像時とは異
なるタイミングで画像が再生されてしまい、不自然な動
画となってしまうことがある。
However, the first and third prior arts can cope with the case where the frame rate of the original image is constant, but the frame rate of the original image is variable. In such a case, even if an attempt is made to display at a constant display rate specific to the display device, an image may be reproduced at a timing different from that at the time of imaging, resulting in an unnatural moving image.

【0007】また、上記第2の従来技術では、事前に被
写体の動きに関する情報がわかっている場合にのみ、動
きを考慮した補間画像の作成が可能になるものであるた
めに、事前に被写体の動きに関する情報がない場合に
は、補間画像を作成することはできない。
In the second prior art, an interpolated image can be created in consideration of movement only when information on the movement of the subject is known in advance. If there is no information on motion, an interpolated image cannot be created.

【0008】本発明は上記事情に鑑みてなされたもので
あり、可変な撮像レートの画像データを、所定の表示レ
ートの画像表示手段に適切に表示させることが可能な画
像表示装置を提供することを目的としている。
The present invention has been made in view of the above circumstances, and provides an image display apparatus capable of appropriately displaying image data having a variable imaging rate on image display means having a predetermined display rate. It is an object.

【0009】[0009]

【課題を解決するための手段】上記の目的を達成するた
めに、第1の発明による画像表示装置は、撮影時のフレ
ームレートである撮像レートを可変とする撮像装置によ
り撮影された画像データを連続表示する画像表示装置で
あって、上記画像データと該画像データの撮像レートに
係る情報とを記録する画像記憶手段と、所定の表示時の
フレームレートである表示レートにより画像を表示する
画像表示手段と、上記画像記憶手段に記録されている情
報から撮像レートを検出するとともに上記画像表示手段
の表示レートを検出するフレームレート検出手段と、こ
のフレームレート検出手段により検出された情報に基づ
いて上記画像記憶手段から読み出される画像に対して補
間を行うための補間画像を発生させる補間画像発生手段
とを備えたものである。
In order to achieve the above object, an image display apparatus according to a first aspect of the present invention converts image data captured by an image capturing apparatus that changes an image capturing rate which is a frame rate at the time of image capturing. An image display device for continuously displaying, comprising: an image storage means for recording the image data and information relating to an imaging rate of the image data; and an image display for displaying an image at a display rate which is a predetermined display frame rate. Means, a frame rate detecting means for detecting an imaging rate from the information recorded in the image storage means and a display rate of the image display means, and the frame rate detecting means based on the information detected by the frame rate detecting means. Interpolated image generating means for generating an interpolated image for performing interpolation on an image read from the image storage means. That.

【0010】また、第2の発明による画像表示装置は、
上記第1の発明による画像表示装置において、上記フレ
ームレート検出手段が、上記画像記憶手段から読み出さ
れる画像データに基づき被写体の動き検出を行って動き
量を算出する動き検出手段と、この動き検出手段により
算出された動き量に応じて発生させるべき補間画像の枚
数を変化させる補間画像枚数検出手段とを有して構成さ
れたものである。
Further, an image display device according to a second aspect of the present invention comprises:
In the image display device according to the first aspect, the frame rate detecting means performs motion detection of a subject based on image data read from the image storage means to calculate a motion amount, and the motion detecting means And an interpolated image number detecting means for changing the number of interpolated images to be generated in accordance with the amount of motion calculated by (1).

【0011】さらに、第3の発明による画像表示装置
は、上記第1の発明による画像表示装置において、上記
フレームレート検出手段が、上記画像記憶手段に記録さ
れている情報から撮像レートを検出する撮像レート検出
手段と、上記画像表示手段の表示レートを外部から入力
する表示レート設定手段とを有して構成されたものであ
る。
Further, in the image display device according to a third aspect of the present invention, in the image display device according to the first aspect, the frame rate detection means detects an imaging rate from information recorded in the image storage means. It is provided with a rate detecting means and a display rate setting means for externally inputting a display rate of the image display means.

【0012】[0012]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1から図5は本発明の第1の実
施形態を示したものであり、図1は画像表示装置の構成
の概略を示すブロック図、図2はフレームレート検出部
の構成を示すブロック図、図3は補間画像発生部の構成
を示すブロック図、図4は撮像タイミングと表示タイミ
ングとの対応例を示すタイムチャート、図5は原画像と
補間画像とを対比して示す図である。
Embodiments of the present invention will be described below with reference to the drawings. 1 to 5 show a first embodiment of the present invention. FIG. 1 is a block diagram showing an outline of a configuration of an image display device. FIG. 2 is a block diagram showing a configuration of a frame rate detection unit. FIG. 3 is a block diagram showing the configuration of the interpolation image generation unit, FIG. 4 is a time chart showing an example of correspondence between the imaging timing and the display timing, and FIG. 5 is a diagram showing the original image and the interpolation image in comparison.

【0013】この画像表示装置は、撮影時のフレームレ
ートである撮像レートを可変とする撮像装置により撮影
された画像(以下、必要に応じて原画像と記載する)の
画像データを記憶する画像記憶手段たる画像記憶部1
と、この画像記憶部1から読み出されたデータに基づき
撮像時のフレームレートである撮像レートを検出すると
ともに後述する画像表示部4による表示時のフレームレ
ートである表示レートを検出するフレームレート検出手
段たるフレームレート検出部2と、上記画像記憶部1か
ら出力される画像データに基づき補間用のフレーム画像
を生成する補間画像発生手段たる補間画像発生部3と、
この補間画像発生部3から出力される画像データを所定
の表示レートで連続して表示する画像表示手段たる画像
表示部4とを有して構成されている。
This image display device stores image data of an image (hereinafter, referred to as an original image as necessary) taken by an image pickup device that changes an image pickup rate which is a frame rate at the time of image pickup. Image storage unit 1 as means
Frame rate detection for detecting an imaging rate which is a frame rate at the time of imaging based on data read from the image storage unit 1 and detecting a display rate which is a frame rate at the time of display by an image display unit 4 to be described later. A frame rate detection unit 2 as a means, an interpolation image generation unit 3 as an interpolation image generation means for generating a frame image for interpolation based on the image data output from the image storage unit 1,
An image display unit 4 as image display means for continuously displaying image data output from the interpolation image generation unit 3 at a predetermined display rate.

【0014】次に、上記フレームレート検出部2は、図
2に示すように、上記画像記憶部1から出力される画像
間のフレームレートを検出して出力する撮像レート検出
手段たる撮像レート検出部2aと、上記画像表示部4の
出力に基づいて表示レートを検出する表示レート検出部
2cと、上記撮像レート検出部2aにより検出された撮
像レートおよび上記表示レート検出部2cにより検出さ
れた表示レートに基づいて作成するべき補間画像の枚数
を計算する補間画像枚数検出手段たる補間枚数演算部2
bと、を有して構成されている。
Next, as shown in FIG. 2, the frame rate detecting section 2 detects the frame rate between the images output from the image storage section 1 and outputs the frame rate. 2a, a display rate detection unit 2c for detecting a display rate based on the output of the image display unit 4, an imaging rate detected by the imaging rate detection unit 2a, and a display rate detected by the display rate detection unit 2c Number of interpolated images to be created based on the number of interpolated images to be created
b.

【0015】さらに、上記補間画像発生部3は、図3に
示すように、上記画像記憶部1から撮像時と同じ時系列
で順次読み出した少なくとも1フレーム分の画像を一時
的に蓄えておくメモリ手段たるメモリ部3aと、このメ
モリ部3aから出力される時系列的に前の画像データ
(旧画像データ)と、上記画像記憶部1から出力される
時系列的に後の画像データ(新画像データ)と、上記フ
レームレート検出部2から出力される補間画像の枚数、
撮像レート、表示レートの各情報とに基づいて、原画像
間の相関を演算することにより補間画像を連続して作成
し上記画像表示部4に出力する補間画像作成手段たる補
間画像作成部3bと、を有して構成されている。
Further, as shown in FIG. 3, the interpolated image generation unit 3 temporarily stores at least one frame of images sequentially read out from the image storage unit 1 in the same time series as when the image was captured. A memory unit 3a serving as a means, chronologically preceding image data (old image data) output from the memory unit 3a, and chronologically subsequent image data (new image data) output from the image storage unit 1. Data), the number of interpolated images output from the frame rate detection unit 2,
An interpolated image creating unit 3b, which is an interpolated image creating unit that continuously creates an interpolated image by calculating a correlation between original images based on each information of an imaging rate and a display rate and outputs the interpolated image to the image display unit 4. , Is configured.

【0016】なお、上記メモリ部3aは、上記画像記憶
部1から入力される新画像データを書き込みながら、同
時に、旧画像データを読み出して上記補間画像発生部3
へ出力する動作を、繰り返して行うことができる構成と
なっている。
The memory section 3a reads out old image data while writing new image data inputted from the image storage section 1 and simultaneously reads out the old image data.
The operation of outputting to the device can be repeatedly performed.

【0017】次に、このような画像表示装置の作用につ
いて説明する。
Next, the operation of such an image display device will be described.

【0018】図示しないシステムコントローラに対して
画像発生・表示の命令が入ると、該システムコントロー
ラの制御により、上記画像記憶部1は、連続する原画像
データを上記補間画像発生部3へ送出する。
When an image generation / display command is input to a system controller (not shown), the image storage unit 1 sends continuous original image data to the interpolation image generation unit 3 under the control of the system controller.

【0019】また、上記フレームレート検出部2では、
この補間画像発生部3に連続して読み込まれる画像間の
フレームレート値を上記撮像レート検出部2aにより検
出するとともに、上記表示レート検出部2cにより画像
表示部4における表示側のフレームレート値を検出す
る。そして、検出されたこれら2つのフレームレート値
に基づいて、補間枚数演算部2bが、作成する補間画像
の枚数を計算する。こうして求められた補間画像の枚数
と、上記検出された撮像レートおよび表示レートの情報
とを、上記補間画像発生部3へ出力する。
In the frame rate detecting section 2,
The frame rate value between images read continuously by the interpolation image generation unit 3 is detected by the imaging rate detection unit 2a, and the display rate detection unit 2c detects the frame rate value on the display side of the image display unit 4 I do. Then, based on these two detected frame rate values, the number-of-interpolated-images calculating section 2b calculates the number of interpolated images to be created. The number of interpolated images obtained in this way and the information on the detected imaging rate and display rate are output to the interpolated image generator 3.

【0020】ここでフレームレート値を検出する手段に
ついて説明する。
Here, the means for detecting the frame rate value will be described.

【0021】まず、撮像された画像のフレームレート値
を画像データ内に付与する手段としては、以下のものが
考えられる。
First, the following can be considered as means for adding the frame rate value of a captured image to image data.

【0022】例えば、撮像装置内で撮像クロックの周波
数を変えることによってフレームレートを変化させてい
る場合には、該撮像装置内において画像撮影時の撮像ク
ロックの1クロック所要時間を検出し、その所要時間か
らフレームレート値を計算により求めて、該フレームレ
ート値を画像データの垂直ブランキング期間に書き込む
という手段が考えられる。
For example, when the frame rate is changed by changing the frequency of the image pickup clock in the image pickup apparatus, the time required for one clock of the image pickup clock at the time of image pickup is detected in the image pickup apparatus, and the required time is detected. Means is to calculate the frame rate value from the time and write the frame rate value in the vertical blanking period of the image data.

【0023】また、別の手段として、撮像装置内で連続
する画像間の垂直同期信号の時間間隔を検出してフレー
ムレート値を求め、同様に画像データの垂直ブランキン
グ期間に書き込んでも構わない。
As another means, a frame rate value may be obtained by detecting a time interval of a vertical synchronizing signal between successive images in the image pickup apparatus, and may be similarly written in a vertical blanking period of image data.

【0024】このような手段を用いて画像データ内に記
録されているフレームレート値の情報を、画像表示装置
において、画像を読み出すときに、上記撮像レート検出
部2aにより検出するようにしている。
Using such means, the frame rate value information recorded in the image data is detected by the image-capturing rate detecting section 2a when the image is read out by the image display device.

【0025】あるいは、撮像装置内において、各画像デ
ータが備えるタグの空き領域に、撮像時のフレームレー
ト値を書き込み、画像表示装置内で該タグに記録された
フレームレート値を検出するという手段を用いても、上
述と同様の効果を奏することができることはいうまでも
ない。
Alternatively, there is provided a means for writing a frame rate value at the time of image capturing in an empty area of a tag included in each image data in the image capturing apparatus and detecting the frame rate value recorded on the tag in the image display apparatus. It goes without saying that the same effect as described above can be obtained even when used.

【0026】次に、表示側のフレームレート値は、画像
表示部4で発生する映像同期信号を表示レート検出部2
cにより検出すればよい。
Next, the frame rate value on the display side is obtained by converting the video synchronization signal generated in the image display section 4 into the display rate detection section 2.
What is necessary is just to detect by c.

【0027】また、上記補間画像発生部3は、上記画像
記憶部1から撮像時と同じ時系列で順次読み出された新
画像データをメモリ部3aに書き込みながら、同時に旧
画像データを繰り返し読み出して補間画像作成部3bへ
出力する。この補間画像作成部3bでは、上記画像記憶
部1から入力される新画像データと、上記メモリ部3a
から入力される旧画像データと、上記フレームレート検
出部2から入力される補間画像の枚数と撮像レートと表
示レートとの情報に基づいて、上記新画像データと旧画
像データの相関をとり、必要枚数の補間画像を連続して
作成する。こうして作成された表示側のフレームレート
に応じた枚数の補間画像データが、上記画像表示部4に
出力される。
The interpolated image generator 3 writes new image data sequentially read out from the image storage unit 1 in the same time series as the time of imaging into the memory unit 3a, and at the same time repeatedly reads out old image data. Output to the interpolated image creation unit 3b. The interpolation image creation unit 3b stores the new image data input from the image storage unit 1 and the memory unit 3a
The new image data and the old image data are correlated based on the old image data input from the CPU and the information of the number of the interpolated images, the imaging rate, and the display rate input from the frame rate detection unit 2. The number of interpolated images is continuously created. Interpolated image data of a number corresponding to the display-side frame rate created in this way is output to the image display unit 4.

【0028】こうして画像表示部4は、上記補間画像発
生部3から送出されてきた画像データを、該画像表示部
4に固有のフレームレート、例えば60コマ/秒のフレ
ームレートにより連続して表示する。
The image display unit 4 continuously displays the image data sent from the interpolation image generation unit 3 at a frame rate specific to the image display unit 4, for example, at a frame rate of 60 frames / second. .

【0029】以上が、画像データ読み出しから補間画像
表示までの、画像表示装置の動作の流れの一例である。
The above is an example of the operation flow of the image display device from the reading of the image data to the display of the interpolated image.

【0030】なお、画像発生・表示の命令が入る前に、
予め画像記憶部1から原画像を読み出して撮像レートや
表示レートを検出するとともに補間画像枚数を求めてお
き、画像発生・表示の命令が入り次第、検出した撮像レ
ート、表示レート、補間画像枚数の情報と原画像データ
とを補間画像発生部3に付与して、補間画像の発生・表
示を行うという流れを採用するようにしてもよい。この
ときには、より短時間で画像の表示を開始することが可
能となる。
Before an image generation / display command is input,
The original image is read from the image storage unit 1 in advance to detect the imaging rate and the display rate, and the number of interpolated images is determined. As soon as an image generation / display command is input, the detected imaging rate, display rate, and number of interpolated images are calculated. Information and the original image data may be given to the interpolation image generation unit 3 to generate and display an interpolation image. At this time, it is possible to start displaying the image in a shorter time.

【0031】次に、補間画像を作成する手段の一例につ
いて説明する。この例は、作成するべき補間画像の前後
に存在する2枚の原画像から、該原画像同士のフレーム
相関値を演算し、そのフレーム相関値を用いて補間画像
を作成する例である。
Next, an example of means for creating an interpolation image will be described. In this example, a frame correlation value between original images is calculated from two original images existing before and after an interpolation image to be created, and an interpolation image is created using the frame correlation values.

【0032】図4を参照して、撮像タイミングと表示タ
イミングとの対応例について説明する。
Referring to FIG. 4, an example of the correspondence between the imaging timing and the display timing will be described.

【0033】図4の上段は撮像側のタイミングを表した
ものであり、各符号F1 ,F2 ,…,Fn は、原画像I
n の1フレーム期間(秒)を示し、図示の例では、それ
ぞれの期間は異なるものとなっている。
The upper part of FIG. 4 shows the timing on the image pickup side, and each of the symbols F1, F2,.
n indicates one frame period (second). In the illustrated example, each period is different.

【0034】一方、図4の下段は表示側のタイミングを
表したものであり、符号fは、補間画像の表示時間間隔
(秒)を示し、常に一定となっている。
On the other hand, the lower part of FIG. 4 shows the timing on the display side, and the symbol f indicates the display time interval (second) of the interpolated image, which is always constant.

【0035】また、各原画像は符号I1 ,I2 ,I3 ,
…In により示され、原画像において空間的に同位置に
存在する任意の画素信号レベルを(I1 ),(I2 ),
(I3 ),…,(In )として表すものとする。
Each of the original images has codes I1, I2, I3,
.. In, the arbitrary pixel signal levels spatially located at the same position in the original image are represented by (I1), (I2),
(I3),..., (In).

【0036】同様に、各補間画像は符号O1,1 ,O1,2
,O1,3 ,…,On,m により示され、補間画像におい
て空間的に同位置に存在する任意の画素信号レベルを
(O1,1),(O1,2 ),(O1,3 ),…,(On,m )
として表すものとする。なお、このときmはフレーム期
間Fn 内に存在する補間画像の順序、つまり時系列にお
いてm番目の画像であることを示している。
Similarly, each interpolated image is represented by codes O1,1 and O1,2.
, O1,3,..., On, m, the arbitrary pixel signal levels spatially present at the same position in the interpolated image are represented by (O1,1), (O1,2), (O1,3),. , (On, m)
Shall be expressed as In this case, m indicates the order of the interpolated images existing within the frame period Fn, that is, the m-th image in the time series.

【0037】まず、上述のように、フレームレート検出
部2内の撮像レート検出部2aにより撮像レート値を、
表示レート検出部2cにより表示レート値をそれぞれ検
出する。これらの両情報を補間画像枚数演算部2bに出
力して、与えられた各フレームレート値を画像の時間間
隔として扱う。
First, as described above, the imaging rate value is calculated by the imaging rate detection section 2a in the frame rate detection section 2.
The display rate value is detected by the display rate detector 2c. These two pieces of information are output to the number-of-interpolated-images calculating section 2b, and the given frame rate values are treated as image time intervals.

【0038】撮像レート値から原画像In の1フレーム
期間Fn (秒)が、表示レート値から上記表示時間間隔
f(秒)が与えられる。これらを用いて、フレーム期間
Fnにおける補間画像枚数Xn (秒)を、次に示すよう
な数式1により求める。
The one frame period Fn (second) of the original image In is given from the imaging rate value, and the display time interval f (second) is given from the display rate value. Using these, the number of interpolated images Xn (seconds) in the frame period Fn is obtained by the following equation (1).

【0039】[0039]

【数1】 ここに、[]はガウスの記号であり、括弧内の数値を超
えない整数の内の最大のものを表している。
(Equation 1) Here, [] is a Gaussian symbol and represents the largest integer among integers not exceeding the numerical value in parentheses.

【0040】次に、フレームレート検出部2で検出され
た撮像レート値および表示レート値と、この数式1から
求められた補間枚数Xn (枚)と、を補間画像発生部3
内の補間画像作成部3bへ送出する。
Next, the image-capturing rate value and the display rate value detected by the frame rate detecting section 2 and the number of interpolations Xn (pictures) obtained from the equation (1) are calculated.
To the interpolated image creating unit 3b.

【0041】これにより、補間画像作成部3bにおいて
も、撮像レート値から原画像In の1フレーム期間Fn
(秒)が、表示レート値から上記表示時間間隔f(秒)
が、それぞれ与えられることになる。
Thus, the interpolation image generating unit 3b also determines one frame period Fn of the original image In based on the imaging rate value.
(Second) is the display time interval f (second) from the display rate value.
Will be given respectively.

【0042】こうして、フレーム期間F2 における最初
の表示フレームO2,1 は例えば原画像I2 をそのまま使
用するが、その後の表示フレームO2,2 からO2,6 まで
は原画像I2 と原画像I3 の相関演算を行って作成した
補間画像を使用することになる。
Thus, for example, the original image I2 is used as it is for the first display frame O2,1 in the frame period F2, but the correlation calculation between the original image I2 and the original image I3 is performed for the subsequent display frames O2,2 to O2,6. Will be used.

【0043】このような演算手段により作成される補間
画像の様子について、図5を参照して説明する。
The state of the interpolated image created by such an arithmetic means will be described with reference to FIG.

【0044】この図5中においては、作成された各補間
画像は、画像上に本来1つしか存在しない被写体が2つ
存在するものとなっており、これら2つの被写体は、例
えばその相関に応じた輝度(あるいは濃度)となってい
る。こうした画像は、1枚の静止画として見た場合には
実際とは異なった画像となっているが、各補間画像を連
続して表示することにより、見た目に滑らかな動きを実
現することができるものである。こうした重ね合わせの
処理は、次に示すように演算が容易で、画像処理回路等
への負荷が比較的小さいという利点を有している。
In FIG. 5, each created interpolated image has two objects that originally exist only on the image, and these two objects are, for example, in accordance with their correlation. Brightness (or density). Such an image is different from the actual image when viewed as a single still image, but by displaying each interpolated image continuously, it is possible to realize a smooth movement in appearance. Things. As described below, such superposition processing has the advantage that the calculation is easy and the load on the image processing circuit and the like is relatively small.

【0045】すなわち、上記フレーム期間Fn および表
示時間間隔fと、2枚の連続する原画像とに基づいて、
上記図4中のフレーム期間Fn に存在する補間画像を求
めるには、連続する原画像の全画素において、同一画素
間で次の数式2に示すような演算を行う。
That is, based on the frame period Fn and the display time interval f, and two continuous original images,
In order to obtain an interpolated image existing in the frame period Fn in FIG. 4, an operation as shown in the following Expression 2 is performed between all the pixels of the continuous original image.

【0046】[0046]

【数2】 ここに、m=0,1,2,…,Xn (m:整数)であ
り、Fn やfは上述したように、Fn :原画像の1フレ
ーム期間(秒)、f:表示時間間隔(秒)、である。
(Equation 2) Here, m = 0, 1, 2,..., Xn (m: integer), and Fn and f are Fn: one frame period (second) of the original image, and f: display time interval (second), as described above. ).

【0047】この数式2に示すような演算を、対象とな
るm番目の補間画像の全画素について行い、さらにそれ
を0番目からXn 番目までの補間画像について行うこと
により、フレーム期間Fn 内の一連の補間画像を得るこ
とができる。なお、ここでは、フレーム期間Fn での最
初の画像の表示には原画像In を用いている。
By performing the operation shown in Expression 2 on all the pixels of the m-th interpolated image to be processed, and further on the 0-th to Xn-th interpolated images, a series of operations within the frame period Fn is performed. Can be obtained. Here, the original image In is used for displaying the first image in the frame period Fn.

【0048】以上が補間画像を作成するための演算手段
の一例である。
The above is an example of the calculation means for creating an interpolation image.

【0049】なお、補間画像を作成するための手段とし
ては、例えば、上記従来の技術において述べた特開平1
0−233996号公報に記載されているような公知の
技術を用いるようにしても構わない。
Means for creating an interpolated image is described in, for example, Japanese Patent Laid-Open No.
A known technique as described in Japanese Patent Application Laid-Open No. 0-233996 may be used.

【0050】このような第1の実施形態によれば、撮像
レートと表示レートを検出して、これらに違いがある場
合には、それを検出してその比に応じた枚数の補間画像
を発生させるようにしたために、可変なフレームレート
によって撮影された画像を、所定の表示レートの画像表
示部により適切に表示させることが可能となる。
According to the first embodiment, the imaging rate and the display rate are detected, and when there is a difference between them, the number is detected and the number of interpolated images corresponding to the ratio is generated. With this configuration, an image captured at a variable frame rate can be appropriately displayed on an image display unit having a predetermined display rate.

【0051】図6は本発明の第2の実施形態を示したも
のであり、撮像タイミングと表示タイミングとの対応例
を示すタイムチャートである。
FIG. 6 shows a second embodiment of the present invention, and is a time chart showing an example of the correspondence between the image pickup timing and the display timing.

【0052】この第2の実施形態において、上述の第1
の実施形態と同様である部分については説明を省略し、
主として異なる点についてのみ説明する。
In the second embodiment, the first
The description of the same parts as those of the embodiment is omitted,
Only the differences will be mainly described.

【0053】上記図4に示した例では、撮像レートより
も表示レートの方が早いものとなっていた。これに対し
てこの第2の実施形態は、撮像レートの方が表示レート
よりも早い場合について実施形態である。
In the example shown in FIG. 4, the display rate is faster than the imaging rate. On the other hand, the second embodiment is an embodiment in which the imaging rate is faster than the display rate.

【0054】この実施形態の補間画像発生部3は、撮像
側と表示側のフレームレートの関係に応じて、相関の取
り方や作成する補間画像の枚数を変化させることができ
る機能と、撮像レート値と表示レート値から撮像側と表
示側のタイミングのずれ量を求める機能とを備えたもの
となっている。それ以外の構成は、上述した第1の実施
形態の図1に示したものとほぼ同様である。
The interpolated image generator 3 of this embodiment has a function of changing the correlation and the number of interpolated images to be created according to the relationship between the frame rates on the image capturing side and the display side. And a function for calculating the amount of deviation between the timings on the imaging side and the display side from the values and the display rate value. The rest of the configuration is substantially the same as that shown in FIG. 1 of the first embodiment.

【0055】また、この第2の実施形態の画像表示装置
の動作の概要は、上述した第1の実施形態とほぼ同様で
ある。
The outline of the operation of the image display device of the second embodiment is almost the same as that of the first embodiment.

【0056】次に、作成しようとする補間画像と、その
前後に存在する2枚の原画像との時間的関係から演算し
た原画像同士のフレーム相関値を用いて、補間画像を作
成する手段の一例について説明する。
Next, a means for generating an interpolated image by using a frame correlation value between original images calculated from a temporal relationship between an interpolated image to be generated and two original images existing before and after the interpolated image is described. An example will be described.

【0057】撮像タイミングと表示タイミングとの対応
は、例えば図6に示すようになっていて、可変となって
いる撮像側のフレーム期間Fn よりも、常に一定である
表示側のフレーム期間fのほうがやや長くなっている。
The correspondence between the imaging timing and the display timing is, for example, as shown in FIG. 6, and the frame period f on the display side which is always constant is more than the frame period Fn on the imaging side which is variable. It is slightly longer.

【0058】この図6に示す符号等は、上記図4に示し
たものとほぼ同様であるが、補間して作成された画像を
O1 ,O2 ,O3 ,…,On などとして示し、撮像側と
表示側のタイミングのずれ量をそれぞれB1 ,B2 ,
…,Bn などとしている。また、各画素信号レベルを括
弧()を用いて表すことも上述と同様である。
The reference numerals and the like shown in FIG. 6 are almost the same as those shown in FIG. 4, but the images created by interpolation are shown as O1, O2, O3,... The amount of the timing shift on the display side is B1, B2,
..., Bn, etc. The same applies to the case where each pixel signal level is expressed using parentheses ().

【0059】このときの動作は次のようになる。まず、
フレームレート検出部2で検出された撮像レート値と表
示レート値とを、補間画像発生部3内の補間画像作成部
3bへ送出する。
The operation at this time is as follows. First,
The imaging rate value and the display rate value detected by the frame rate detection unit 2 are sent to the interpolation image creation unit 3b in the interpolation image generation unit 3.

【0060】補間画像作成部3bでは、受け取った各レ
ートにより与えられるフレーム期間Fn と表示時間間隔
fとから、次の数式3に示すようにして、撮像側と表示
側のタイミングのずれ量Bn を演算する。
The interpolated image creating section 3b calculates the shift amount Bn of the timing between the imaging side and the display side from the frame period Fn and the display time interval f given by each received rate, as shown in the following Expression 3. Calculate.

【0061】[0061]

【数3】 (Equation 3)

【0062】ただしここでは、図6に示すように、撮像
側の1枚目の画像I1 と、補間側の1枚目の画像O1 と
が、同じタイミングで表示されるものとする。
Here, as shown in FIG. 6, it is assumed that the first image I1 on the imaging side and the first image O1 on the interpolation side are displayed at the same timing.

【0063】次に、上記フレーム期間Fn ,表示時間間
隔f,ずれ量Bn と、2枚の連続する原画像とから、補
間画像を求める。n番目の補間画像を求めるには、連続
する原画像の全画素において、同一画素間で次の数式4
に示すような演算を行う。
Next, an interpolation image is obtained from the frame period Fn, the display time interval f, the shift amount Bn, and two continuous original images. In order to obtain the n-th interpolated image, the following equation (4) is used between all the pixels of the continuous original image.
An operation as shown in is performed.

【0064】[0064]

【数4】 (Equation 4)

【0065】このような演算を行うことにより、表示側
のフレームレートの方が遅い場合にも、補間画像を作成
することができる。
By performing such calculations, an interpolated image can be created even when the frame rate on the display side is slower.

【0066】このような第2の実施形態によれば、上述
した第1の実施形態とほぼ同様の効果を奏するととも
に、撮像レートが表示レートより早い場合にも、適切な
表示を行うことが可能となる。
According to the second embodiment, substantially the same effects as those of the first embodiment can be obtained, and appropriate display can be performed even when the imaging rate is faster than the display rate. Becomes

【0067】図7、図8は本発明の第3の実施形態を示
したものであり、図7は画像表示装置の特にフレームレ
ート検出部の構成を示すブロック図、図8は動き量と新
たに作成する補間画像枚数の関係についての一例を示す
図である。
FIGS. 7 and 8 show a third embodiment of the present invention. FIG. 7 is a block diagram showing a configuration of a frame rate detecting section of an image display device, and FIG. FIG. 6 is a diagram showing an example of the relationship between the number of interpolated images created in FIG.

【0068】この第3の実施形態において、上述の第
1,第2の実施形態と同様である部分については説明を
省略し、主として異なる点についてのみ説明する。
In the third embodiment, a description of the same parts as those in the first and second embodiments will be omitted, and only different points will be mainly described.

【0069】この第3の実施形態は、被写体の動きに応
じて、補間画像の作成枚数および補間画像を作成するた
めの相関の取り方を変化させるようにしたものである。
In the third embodiment, the number of interpolated images and the manner of obtaining a correlation for generating an interpolated image are changed in accordance with the movement of the subject.

【0070】この実施形態の画像表示装置は、図7に示
すように構成されていて、画像記憶部1、補間画像発生
部3、画像表示部4の構成については上述した第1、第
2の実施形態と同様である。
The image display device of this embodiment is configured as shown in FIG. 7, and the configurations of the image storage unit 1, the interpolated image generation unit 3, and the image display unit 4 are the same as those of the first and second embodiments. This is the same as the embodiment.

【0071】また、本実施形態におけるフレームレート
検出手段たるフレームレート検出部2Aは、上記図2に
示したものとほぼ同様に、撮像レート検出部2a、補間
画像枚数演算部2b、表示レート検出部2cを有してい
るが、さらに、図7に示すように、上記画像記憶部1か
ら出力される原画像に基づいて被写体の動きを検出し、
その結果を上記補間画像枚数演算部2bに出力する動き
検出手段たる動き検出部2dを備えている。
The frame rate detecting section 2A, which is a frame rate detecting means in the present embodiment, includes an imaging rate detecting section 2a, an interpolated image number calculating section 2b, a display rate detecting section, in substantially the same manner as shown in FIG. 2c, but further detects the movement of the subject based on the original image output from the image storage unit 1, as shown in FIG.
A motion detecting section 2d is provided as a motion detecting means for outputting the result to the interpolation image number calculating section 2b.

【0072】すなわち、この動き検出部2dは、上記画
像記憶部1から読み出された原画像データから、連続す
る複数フレーム間の被写体の動き量を検出して定量化
し、その定量値をフレームレート検出部2内の補間画像
枚数検出手段たる補間枚数演算部2bへ送出するもので
ある。
That is, the motion detecting section 2d detects and quantifies the amount of motion of the subject between a plurality of continuous frames from the original image data read from the image storage section 1, and quantifies the quantitative value. This is sent to the interpolation number calculation section 2b as the interpolation image number detection means in the detection section 2.

【0073】動き検出部2dは、例えば以下のような手
段により、連続する原画像間の被写体の動き量を検出す
る。
The motion detector 2d detects the amount of motion of the subject between successive original images by, for example, the following means.

【0074】つまり、各原画像において、1枚分の原画
像データの総輝度値を積算してそれぞれ求め、連続する
画像データ間でそれぞれ積算された総輝度値の差分値を
求める。この差分値は、動き量と対応しているとみなす
ことができるために、該差分値により動き量を検出する
ことが可能となる。
That is, in each original image, the total luminance value of one sheet of original image data is integrated and obtained, and a difference value of the integrated total luminance value between successive image data is obtained. Since this difference value can be regarded as corresponding to the motion amount, the motion amount can be detected from the difference value.

【0075】こうして連続した原画像間での被写体の動
き量を検出し、該動き量に応じて、新たに作成する補間
画像の枚数を決定する。
The motion amount of the subject between the continuous original images is detected in this way, and the number of interpolation images to be newly created is determined according to the motion amount.

【0076】なお、上述した第1の実施形態と同様に、
画像発生・表示の命令が入る前に、予め画像記憶部1か
ら原画像を読み出して被写体の動き量や撮像レート、表
示レートを検出するとともに補間画像枚数を求めてお
き、画像発生・表示の命令が入り次第、検出した撮像レ
ート、表示レート、補間画像枚数の情報と原画像データ
とを補間画像発生部3に付与して、補間画像の発生・表
示を行うという流れを採用するようにしても構わない。
Incidentally, similarly to the above-described first embodiment,
Before an image generation / display command is input, an original image is read from the image storage unit 1 in advance to detect the amount of motion of the subject, the imaging rate, and the display rate, and to obtain the number of interpolated images. As soon as is entered, information on the detected imaging rate, display rate, number of interpolated images and the original image data are given to the interpolated image generating unit 3 to generate and display the interpolated image. I do not care.

【0077】次に、動き量と新たに作成する補間画像枚
数との関係の一例について、図8を参照して説明する。
Next, an example of the relationship between the amount of motion and the number of newly created interpolated images will be described with reference to FIG.

【0078】この図8に示す例においては、被写体の動
き量に応じて、作成する画像の枚数を多段階に決定し、
表示する画像の枚数が不足する場合には同じ画像を複数
回表示することにより表示レートに必要な枚数を与える
ようにしている。
In the example shown in FIG. 8, the number of images to be created is determined in multiple stages according to the amount of movement of the subject.
When the number of images to be displayed is insufficient, the same image is displayed a plurality of times to give a necessary number to the display rate.

【0079】具体的には、例えば16枚の補間画像が必
要であっても、被写体の動きが少ないと判断される場合
には、その動き量に応じて例えば4枚の補間画像のみを
作成し、各補間画像を4回ずつ表示させることにより、
合計16枚の補間画像とすることになる。被写体の動き
が少ない場合には、不自然な表示となることはないため
に、このように同一の画像を複数回表示しても構わない
のである。
Specifically, for example, even if 16 interpolated images are required, if it is determined that the movement of the subject is small, for example, only four interpolated images are created according to the amount of movement. , By displaying each interpolation image four times,
There will be a total of 16 interpolated images. When the movement of the subject is small, the same image may be displayed a plurality of times as described above, since an unnatural display does not occur.

【0080】なお、上記図8に示したような細かい多段
階の分類を行う替わりに、例えば静と動との2段階のみ
で被写体の動き量を決定して、次の原画像までは同一の
画像を用いて補間するようにしてもよい。
Instead of performing fine multi-stage classification as shown in FIG. 8, the amount of movement of the subject is determined only in two stages, for example, still and moving, and the same image is obtained until the next original image. Interpolation may be performed using an image.

【0081】このような第3の実施形態によれば、上述
した第1,第2の実施形態とほぼ同様の効果を奏すると
ともに、被写体の動きが少ない場合には、補間画像発生
部で行われる逐次補間の計算の回数が減少しあるいは不
要となるために、その分の計算時間を短縮することがで
きる。これにより、例えば補間画像を発生させるための
演算がソフトウェア処理により行われているときには、
該処理を行うためにシステムコントローラが占有される
時間が減少するために、その分を他の処理の実行に振り
当てることができ、より高速で効率的な処理を行うこと
ができるようになる。さらに、補間画像発生部において
消費される電力を抑制することも可能となり、システム
全体の省電力化を図ることができる。
According to the third embodiment, substantially the same effects as those of the first and second embodiments can be obtained, and when the movement of the subject is small, the interpolation is performed by the interpolation image generation unit. Since the number of successive interpolation calculations is reduced or unnecessary, the calculation time can be reduced accordingly. Thereby, for example, when the calculation for generating the interpolation image is performed by software processing,
Since the time occupied by the system controller for performing the processing is reduced, the processing time can be allocated to the execution of other processing, and higher-speed and more efficient processing can be performed. Further, it is possible to suppress the power consumed in the interpolation image generating unit, and it is possible to reduce the power consumption of the entire system.

【0082】図9は本発明の第4の実施形態を示したも
のであり、画像表示装置の特にフレームレート検出部の
構成を示すブロック図である。
FIG. 9 shows a fourth embodiment of the present invention, and is a block diagram showing a configuration of a frame rate detecting section of an image display device.

【0083】この第4の実施形態において、上述の第1
から第3の実施形態と同様である部分については説明を
省略し、主として異なる点についてのみ説明する。
In the fourth embodiment, the first
Therefore, description of the same parts as those of the third embodiment will be omitted, and only different points will be mainly described.

【0084】上記画像表示部4の表示レートは一定であ
ることが多いために、逐次検出を行う代わりに、外部か
らその情報を与えることも可能である。そこで、この第
4の実施形態は、画像表示部4に固有の表示レートを、
外部から入力するようにしたものである。
Since the display rate of the image display unit 4 is often constant, it is possible to provide the information from outside instead of performing the sequential detection. Therefore, in the fourth embodiment, a display rate specific to the image display unit 4 is set as follows.
This is to input from outside.

【0085】この実施形態の画像表示装置は、図9に示
すように、上述の第1の実施形態の画像表示装置とほぼ
同様に構成されているが、フレームレート検出手段たる
フレームレート検出部2Bにおいて、上記表示レート検
出部2cの代わりに表示レート設定手段たる表示レート
設定部2eを設けたものである。
As shown in FIG. 9, the image display device of this embodiment has substantially the same configuration as the image display device of the above-described first embodiment, but has a frame rate detector 2B as a frame rate detector. In this embodiment, a display rate setting section 2e as a display rate setting means is provided in place of the display rate detecting section 2c.

【0086】この表示レート設定部2eは、上記画像表
示部4で用いる表示レート値を、該画像表示装置の外部
から入力するものであり、入力された該表示レート値
は、上記補間画像枚数演算部2bおよび補間画像発生部
3へ出力されるようになっている。
The display rate setting section 2e is for inputting the display rate value used in the image display section 4 from outside the image display device. The input display rate value is calculated by the interpolation image number calculation. The data is output to the section 2b and the interpolation image generating section 3.

【0087】この表示レート設定部2eは、より具体的
には、画像表示部4の1フレーム期間を予め複数記憶し
ておくメモリ機能と、これら複数の表示レート値から所
望のものを選択することができるセレクタ機能とを有し
ている。
More specifically, the display rate setting section 2e has a memory function of storing a plurality of one frame periods of the image display section 4 in advance, and selecting a desired one from the plurality of display rate values. And a selector function that can perform

【0088】このような表示レート設定部2eにおい
て、上記セレクタ機能を用いて所望のフレームレート値
を選択すると、選択されたフレームレート値に相当する
表示側の1フレーム期間を上記メモリ機能から読み出し
て、上記補間画像枚数演算部2bおよび補間画像発生部
3へ出力する。
In the display rate setting section 2e, when a desired frame rate value is selected using the selector function, one frame period on the display side corresponding to the selected frame rate value is read out from the memory function. Are output to the interpolation image number calculation section 2b and the interpolation image generation section 3.

【0089】なお、複数の設定値の中から表示レートを
選ぶのではなく、表示側の1フレーム期間を連続する値
の中から決定することができる構成としても、ほぼ同様
の効果を奏することが可能であるのはいうまでもない。
It should be noted that substantially the same effect can be obtained even if the display rate is not selected from a plurality of set values but one frame period on the display side can be determined from continuous values. It goes without saying that it is possible.

【0090】このような第4の実施形態によれば、上述
した第1から第3の実施形態とほぼ同様の効果を奏する
とともに、表示レート検出部を省略して、その代わりに
より簡潔な構成の表示レート設定部を採用したために、
より一層、フレームレート検出部の構成を簡単にして低
コスト化を図ることができる。
According to the fourth embodiment, substantially the same effects as those of the above-described first to third embodiments can be obtained, and the display rate detection unit is omitted, and a simpler configuration is used instead. Because the display rate setting section was adopted,
Further, the configuration of the frame rate detection unit can be simplified, and the cost can be reduced.

【0091】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。
The present invention is not limited to the above-described embodiment, and it is needless to say that various modifications and applications can be made without departing from the gist of the invention.

【0092】[付記]以上詳述したような本発明の上記
実施形態によれば、以下のごとき構成を得ることができ
る。
[Appendix] According to the above-described embodiment of the present invention as described in detail above, the following configuration can be obtained.

【0093】(1) 撮影時のフレームレートである撮
像レートを可変とする撮像装置により撮影された画像デ
ータを連続表示する画像表示装置であって、上記画像デ
ータと、該画像データの撮像レートに係る情報と、を記
録する画像記憶手段と、所定の表示時のフレームレート
である表示レートにより画像を表示する画像表示手段
と、上記画像記憶手段に記録されている情報から撮像レ
ートを検出するとともに、上記画像表示手段の表示レー
トを検出するフレームレート検出手段と、このフレーム
レート検出手段により検出された情報に基づいて、上記
画像記憶手段から読み出される画像に対して補間を行う
ための補間画像を発生させる補間画像発生手段と、を具
備したことを特徴とする画像表示装置。
(1) An image display device for continuously displaying image data captured by an image capturing device that changes an image capturing rate, which is a frame rate at the time of image capturing, wherein the image data and the image capturing rate of the image data are displayed. Image storage means for recording such information, image display means for displaying an image at a display rate which is a frame rate at the time of predetermined display, and detecting an imaging rate from information recorded in the image storage means. A frame rate detection unit for detecting a display rate of the image display unit, and an interpolation image for performing interpolation on an image read from the image storage unit based on information detected by the frame rate detection unit. An image display device comprising: an interpolated image generating means for generating.

【0094】(2) 上記フレームレート検出手段は、
上記画像記憶手段から読み出される画像データに基づ
き、被写体の動き検出を行って動き量を算出する動き検
出手段と、この動き検出手段により算出された動き量に
応じて、発生させるべき補間画像の枚数を変化させる補
間画像枚数検出手段と、を有して構成されていることを
特徴とする付記(1)に記載の画像表示装置。
(2) The frame rate detecting means includes:
A motion detecting means for detecting a motion of a subject based on image data read from the image storage means to calculate a motion amount; and a number of interpolated images to be generated according to the motion amount calculated by the motion detecting means. And an interpolated image number detecting means for changing the number of images.

【0095】(3) 上記フレームレート検出手段は、
上記画像記憶手段に記録されている情報から撮像レート
を検出する撮像レート検出手段と、上記画像表示手段の
表示レートを外部から入力する表示レート設定手段と、
を有して構成されていることを特徴とする付記(1)に
記載の画像表示装置。
(3) The frame rate detecting means includes:
Imaging rate detection means for detecting an imaging rate from information recorded in the image storage means, display rate setting means for externally inputting a display rate of the image display means,
The image display device according to supplementary note (1), comprising:

【0096】(4) 上記補間画像発生手段は、上記画
像記憶手段から読み出される画像データを少なくとも1
フレーム分記憶するメモリ手段と、このメモリ手段から
出力される時系列的に前の画像データと、上記画像記憶
手段から読み出される時系列的に後の画像データと、に
基づいて補間画像を作成する補間画像作成手段と、を有
して構成されていることを特徴とする付記(1)に記載
の画像表示装置。
(4) The interpolation image generation means stores at least one image data read from the image storage means.
An interpolated image is created based on the memory means for storing frames, the image data output in time series from the memory means, and the image data read in time series from the image storage means. An image display device according to (1), further comprising: an interpolation image creation unit.

【0097】(5) 上記補間画像発生手段は、上記フ
レームレート検出手段による検出結果が、撮像レートよ
りも表示レートの方が高いとき、または撮像レートより
も表示レートの方が低いとき、の何れとなる場合にも対
応し得るものであることを特徴とする請求項1に記載の
画像表示装置。
(5) The interpolated image generating means determines whether the detection result by the frame rate detecting means is higher when the display rate is higher than the imaging rate or when the display rate is lower than the imaging rate. 2. The image display device according to claim 1, wherein the image display device can cope with the following case.

【0098】従って、付記(1)に記載の発明によれ
ば、撮像レートおよび表示レートを検出して補間画像を
発生させるようにしたために、可変な撮像レートの画像
データを、所定の表示レートの画像表示手段に適切に表
示させることが可能となる。
Therefore, according to the invention described in the appendix (1), since the interpolated image is generated by detecting the imaging rate and the display rate, the image data of the variable imaging rate is converted to the image data of the predetermined display rate. It is possible to appropriately display the image on the image display means.

【0099】また、付記(2)に記載の発明によれば、
付記(1)に記載の発明と同様の効果を奏するととも
に、被写体の動きに応じて補間画像の枚数を変化させる
ようにしたために、より効率の良い補間画像の発生を行
うことができる。
According to the invention described in Appendix (2),
Since the same effects as those of the invention described in Appendix (1) can be obtained, and the number of interpolation images is changed according to the movement of the subject, more efficient generation of interpolation images can be performed.

【0100】さらに、付記(3)に記載の発明によれ
ば、付記(1)に記載の発明と同様の効果を奏するとと
もに、表示レートを外部から入力して設定することが可
能となる。
Further, according to the invention described in the supplementary note (3), the same effect as that of the invention described in the supplementary note (1) can be obtained, and the display rate can be set by inputting from outside.

【0101】付記(4)に記載の発明によれば、付記
(1)に記載の発明と同様の効果を奏するとともに、異
なる時点の画像データに基づいて、相関性を考慮しなが
ら補間画像を作成することが可能となる。
According to the invention described in the supplementary note (4), the same effect as the invention described in the supplementary note (1) can be obtained, and an interpolated image is created based on image data at different points in time while considering the correlation. It is possible to do.

【0102】付記(5)に記載の発明によれば、付記
(1)に記載の発明と同様の効果を奏するとともに、撮
像レートよりも表示レートの方が高いときだけでなく、
撮像レートよりも表示レートの方が低いときにも対応す
ることができる。
According to the invention described in the supplementary note (5), the same effects as those of the invention described in the supplementary note (1) can be obtained, and not only when the display rate is higher than the imaging rate,
It is possible to cope with a case where the display rate is lower than the imaging rate.

【0103】[0103]

【発明の効果】以上説明したように請求項1による本発
明の画像表示装置によれば、撮像レートおよび表示レー
トを検出して補間画像を発生させるようにしたために、
可変な撮像レートの画像データを、所定の表示レートの
画像表示手段に適切に表示させることが可能となる。
As described above, according to the image display apparatus of the first aspect of the present invention, the interpolation rate is generated by detecting the imaging rate and the display rate.
It is possible to appropriately display image data having a variable imaging rate on image display means having a predetermined display rate.

【0104】また、請求項2による本発明の画像表示装
置によれば、請求項1に記載の発明と同様の効果を奏す
るとともに、被写体の動きに応じて補間画像の枚数を変
化させるようにしたために、より効率の良い補間画像の
発生を行うことができる。
Further, according to the image display apparatus of the present invention, the same effect as that of the first aspect is obtained, and the number of interpolated images is changed according to the movement of the subject. In addition, it is possible to more efficiently generate an interpolated image.

【0105】さらに、請求項3による本発明の画像表示
装置によれば、請求項1に記載の発明と同様の効果を奏
するとともに、表示レートを外部から入力して設定する
ことが可能となる。
Further, according to the image display apparatus of the present invention, the same effects as those of the first aspect can be obtained, and the display rate can be set by inputting from the outside.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態の画像表示装置の構成
の概略を示すブロック図。
FIG. 1 is a block diagram schematically showing the configuration of an image display device according to a first embodiment of the present invention.

【図2】上記第1の実施形態のフレームレート検出部の
構成を示すブロック図。
FIG. 2 is a block diagram illustrating a configuration of a frame rate detection unit according to the first embodiment.

【図3】上記第1の実施形態の補間画像発生部の構成を
示すブロック図。
FIG. 3 is a block diagram illustrating a configuration of an interpolation image generation unit according to the first embodiment.

【図4】上記第1の実施形態において、撮像タイミング
と表示タイミングとの対応例を示すタイムチャート。
FIG. 4 is a time chart showing an example of correspondence between imaging timing and display timing in the first embodiment.

【図5】上記第1の実施形態において、原画像と補間画
像とを対比して示す図。
FIG. 5 is a diagram showing an original image and an interpolated image in comparison with the first embodiment.

【図6】本発明の第2の実施形態において、撮像タイミ
ングと表示タイミングとの対応例を示すタイムチャー
ト。
FIG. 6 is a time chart showing an example of correspondence between imaging timing and display timing in the second embodiment of the present invention.

【図7】本発明の第3の実施形態において、画像表示装
置の特にフレームレート検出部の構成を示すブロック
図。
FIG. 7 is a block diagram showing a configuration of a frame rate detection unit of an image display device according to a third embodiment of the present invention.

【図8】上記第3の実施形態において、動き量と新たに
作成する補間画像枚数の関係についての一例を示す図。
FIG. 8 is a diagram showing an example of a relationship between a motion amount and the number of interpolation images to be newly created in the third embodiment.

【図9】本発明の第4の実施形態において、画像表示装
置の特にフレームレート検出部の構成を示すブロック
図。
FIG. 9 is a block diagram illustrating a configuration of a frame rate detection unit of an image display device according to a fourth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…画像記憶部(画像記憶手段) 2,2A,2B…フレームレート検出部(フレームレー
ト検出手段) 2a…撮像レート検出部(撮像レート検出手段) 2b…補間画像枚数演算部(補間画像枚数検出手段) 2c…表示レート検出部 2d…動き検出部(動き検出手段) 2e…表示レート設定部(表示レート設定手段) 3…補間画像発生部(補間画像発生手段) 3a…メモリ部(メモリ手段) 3b…補間画像作成部(補間画像作成手段) 4…画像表示部(画像表示手段)
DESCRIPTION OF SYMBOLS 1 ... Image storage part (image storage means) 2, 2A, 2B ... Frame rate detection part (frame rate detection means) 2a ... Imaging rate detection part (imaging rate detection means) 2b ... Interpolation image number calculation part (interpolation image number detection Means) 2c: display rate detection unit 2d: motion detection unit (motion detection unit) 2e: display rate setting unit (display rate setting unit) 3: interpolation image generation unit (interpolation image generation unit) 3a: memory unit (memory unit) 3b: Interpolated image creating section (interpolated image creating means) 4 ... Image display section (image displaying means)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 窪田 明広 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 杉本 行弘 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 伊藤 広 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 日高 徹 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 Fターム(参考) 5C063 AC01 BA08 BA12 CA07 CA14 CA40 DA20 DB02  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Akihiro Kubota 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Industrial Co., Ltd. (72) Inventor Yukihiro Sugimoto 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Co., Ltd. (72) Hiroshi Ito 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Co., Ltd. (72) Toru Hidaka 2-43-2, Hatagaya, Shibuya-ku, Tokyo No. Olympus Optical Co., Ltd. F-term (reference) 5C063 AC01 BA08 BA12 CA07 CA14 CA40 DA20 DB02

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 撮影時のフレームレートである撮像レー
トを可変とする撮像装置により撮影された画像データを
連続表示する画像表示装置であって、 上記画像データと、該画像データの撮像レートに係る情
報と、を記録する画像記憶手段と、 所定の表示時のフレームレートである表示レートにより
画像を表示する画像表示手段と、 上記画像記憶手段に記録されている情報から撮像レート
を検出するとともに、上記画像表示手段の表示レートを
検出するフレームレート検出手段と、 このフレームレート検出手段により検出された情報に基
づいて、上記画像記憶手段から読み出される画像に対し
て補間を行うための補間画像を発生させる補間画像発生
手段と、 を具備したことを特徴とする画像表示装置。
1. An image display device for continuously displaying image data captured by an image capturing device having a variable image capturing rate, which is a frame rate at the time of image capturing, wherein the image data and the image capturing rate of the image data are related. Information, an image storage means for recording information, an image display means for displaying an image at a display rate which is a predetermined display frame rate, and an imaging rate detected from the information recorded in the image storage means, A frame rate detection means for detecting a display rate of the image display means; and an interpolated image for performing interpolation on an image read from the image storage means based on information detected by the frame rate detection means. An image display device, comprising:
【請求項2】 上記フレームレート検出手段は、 上記画像記憶手段から読み出される画像データに基づ
き、被写体の動き検出を行って動き量を算出する動き検
出手段と、 この動き検出手段により算出された動き量に応じて、発
生させるべき補間画像の枚数を変化させる補間画像枚数
検出手段と、 を有して構成されていることを特徴とする請求項1に記
載の画像表示装置。
2. The motion detection device according to claim 1, wherein the frame rate detection means detects a motion of the subject based on the image data read from the image storage means and calculates a motion amount, and the motion calculated by the motion detection means. 2. The image display apparatus according to claim 1, further comprising: an interpolated image number detecting unit that changes the number of interpolated images to be generated according to the amount.
【請求項3】 上記フレームレート検出手段は、 上記画像記憶手段に記録されている情報から撮像レート
を検出する撮像レート検出手段と、 上記画像表示手段の表示レートを外部から入力する表示
レート設定手段と、 を有して構成されていることを特徴とする請求項1に記
載の画像表示装置。
3. An imaging rate detecting means for detecting an imaging rate from information recorded in the image storage means, and a display rate setting means for externally inputting a display rate of the image display means. The image display device according to claim 1, further comprising:
JP16729899A 1999-06-14 1999-06-14 Image display device Expired - Fee Related JP4339446B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16729899A JP4339446B2 (en) 1999-06-14 1999-06-14 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16729899A JP4339446B2 (en) 1999-06-14 1999-06-14 Image display device

Publications (2)

Publication Number Publication Date
JP2000358221A true JP2000358221A (en) 2000-12-26
JP4339446B2 JP4339446B2 (en) 2009-10-07

Family

ID=15847170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16729899A Expired - Fee Related JP4339446B2 (en) 1999-06-14 1999-06-14 Image display device

Country Status (1)

Country Link
JP (1) JP4339446B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096915A (en) * 2005-09-29 2007-04-12 Olympus Corp Frame rate converter and imaging apparatus
JP2008182680A (en) * 2006-12-27 2008-08-07 Fujifilm Corp Monitoring system, monitoring method, and program
JP2008182683A (en) * 2006-12-26 2008-08-07 Casio Comput Co Ltd Imaging apparatus, recording/reproducing method, and recording/reproducing program
JP2010045866A (en) * 2009-11-25 2010-02-25 Fujitsu Ltd Device for calculating moving image correction coefficient
WO2010055566A1 (en) * 2008-11-13 2010-05-20 パイオニア株式会社 Video processing device, display device, video processing method, program of the same, and recording medium where program is recorded
US7907668B2 (en) 2004-03-26 2011-03-15 Fujitsu Limited Method and apparatus for calculating moving-image correction-coefficient, moving-image correcting apparatus, and computer product
JP2012023479A (en) * 2010-07-13 2012-02-02 Mitsubishi Electric Building Techno Service Co Ltd Video recording and reproducing device
JP2012049657A (en) * 2010-08-25 2012-03-08 Panasonic Corp Video display device
JP2014222272A (en) * 2013-05-13 2014-11-27 株式会社ジャパンディスプレイ Display device and method for driving display device
WO2018207298A1 (en) * 2017-05-11 2018-11-15 マクセル株式会社 Image display device, image display system, image display method
WO2018207253A1 (en) * 2017-05-09 2018-11-15 マクセル株式会社 Image recording/playback device, image transmission device, and image transmission method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907668B2 (en) 2004-03-26 2011-03-15 Fujitsu Limited Method and apparatus for calculating moving-image correction-coefficient, moving-image correcting apparatus, and computer product
JP2007096915A (en) * 2005-09-29 2007-04-12 Olympus Corp Frame rate converter and imaging apparatus
JP4643407B2 (en) * 2005-09-29 2011-03-02 オリンパス株式会社 Frame rate conversion device and imaging device
JP2008182683A (en) * 2006-12-26 2008-08-07 Casio Comput Co Ltd Imaging apparatus, recording/reproducing method, and recording/reproducing program
JP2008182680A (en) * 2006-12-27 2008-08-07 Fujifilm Corp Monitoring system, monitoring method, and program
WO2010055566A1 (en) * 2008-11-13 2010-05-20 パイオニア株式会社 Video processing device, display device, video processing method, program of the same, and recording medium where program is recorded
JP2010045866A (en) * 2009-11-25 2010-02-25 Fujitsu Ltd Device for calculating moving image correction coefficient
JP2012023479A (en) * 2010-07-13 2012-02-02 Mitsubishi Electric Building Techno Service Co Ltd Video recording and reproducing device
JP2012049657A (en) * 2010-08-25 2012-03-08 Panasonic Corp Video display device
JP2014222272A (en) * 2013-05-13 2014-11-27 株式会社ジャパンディスプレイ Display device and method for driving display device
WO2018207253A1 (en) * 2017-05-09 2018-11-15 マクセル株式会社 Image recording/playback device, image transmission device, and image transmission method
WO2018207298A1 (en) * 2017-05-11 2018-11-15 マクセル株式会社 Image display device, image display system, image display method

Also Published As

Publication number Publication date
JP4339446B2 (en) 2009-10-07

Similar Documents

Publication Publication Date Title
JP4917345B2 (en) Sync signal generating apparatus, digital camera, and sync signal generating method
US8139152B2 (en) Image processing apparatus, image processing method and program
JP4438795B2 (en) Video conversion device, video display device, and video conversion method
JP4346591B2 (en) Video processing apparatus, video processing method, and program
US20110043639A1 (en) Image Sensing Apparatus And Image Processing Apparatus
US20120105657A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
JP2000358221A (en) Image display device
JP6986621B2 (en) Display device, multi-display system
US20060077292A1 (en) Image processing apparatus using judder-map and method thereof
JPH10290447A (en) Image output controller, monitoring system, image output control method and storage medium
JP3596520B2 (en) Image signal processing apparatus and method
JP4561452B2 (en) IMAGING DEVICE, VIDEO OUTPUT METHOD, AND VIDEO REPRODUCTION PROGRAM
JP2006303630A (en) Frame rate conversion apparatus, overrun compensation method, and display apparatus
JPH10233996A (en) Video signal reproducing device and video signal reproducing method
JP5489649B2 (en) Image processing apparatus and image processing method
JP4847688B2 (en) Interlace-progressive converter and conversion method thereof
JP2001238183A (en) Data rate converting apparatus
JP2002300537A (en) Video frequency converter
JP4226933B2 (en) Video signal processing device
JPH06178270A (en) Video reproducing device
JP7449062B2 (en) Electronic equipment and its control method
JP2006154378A (en) Image display controller
JPH06121290A (en) Picture converter
JP6544939B2 (en) Imaging device, control method therefor, program, storage medium
JP4611666B2 (en) Scan conversion device and scan conversion method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees