JP2003134388A - 補正画像生成装置および補正画像生成プログラム - Google Patents

補正画像生成装置および補正画像生成プログラム

Info

Publication number
JP2003134388A
JP2003134388A JP2001328905A JP2001328905A JP2003134388A JP 2003134388 A JP2003134388 A JP 2003134388A JP 2001328905 A JP2001328905 A JP 2001328905A JP 2001328905 A JP2001328905 A JP 2001328905A JP 2003134388 A JP2003134388 A JP 2003134388A
Authority
JP
Japan
Prior art keywords
image
motion vector
pattern matching
unit
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001328905A
Other languages
English (en)
Other versions
JP3886769B2 (ja
Inventor
Katsutoshi Shimizu
勝敏 清水
Hiroki Shitamae
弘樹 下前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2001328905A priority Critical patent/JP3886769B2/ja
Priority to US10/078,433 priority patent/US7333132B2/en
Publication of JP2003134388A publication Critical patent/JP2003134388A/ja
Application granted granted Critical
Publication of JP3886769B2 publication Critical patent/JP3886769B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】本発明は、複数の受光センサが一次元的に配列
された一次元撮像素子を用いその一次元撮像素子を構成
する複数の受光センサの配列方向に交わる走査方向に被
写界を繰り返し走査することにより、複数フレームの原
画像を順次取得するカメラにより得られた原画像の、カ
メラの振動による乱れを補正して補正画像を生成する補
正画像生成装置等に関し、ブレが補正された画像を生成
する。 【解決手段】一次元撮像素子の受光センサの配列方向に
延びる各短冊ごとに動きベクトルを求め各短冊を移動さ
せて補正画像を求める。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数の受光センサ
が一次元的に配列された一次元撮像素子を用い、その一
次元撮像素子を構成する複数の受光センサの配列方向に
交わる走査方向に被写界を繰り返し走査することによ
り、複数フレームの原画像を順次取得するカメラにより
得られた原画像の、カメラの振動による乱れを補正して
補正画像を生成する補正画像生成装置、およびコンピュ
ータをそのような補正画像生成装置として動作させる補
正画像生成プログラムに関する。
【０００２】
【従来の技術】例えば航空機やヘリコプタ等から赤外線
カメラを用いて地上の撮影を行なう場合、鮮明な画像を
得るために上記のような一次元撮像素子を用い被写界を
繰り返し走査することにより複数フレームの画像を順次
撮影する方式のものがある。
【０００３】この方式の赤外線カメラを用いて航空機や
ヘリコプタ等から地上の撮影を行なう場合に、航空機や
ヘリコプタの振動で赤外線カメラが振動し、この赤外線
カメラは一次元撮像素子の走査により二次元画像を取得
しているため同一画面であっても走査の間にブレが発生
し、そのブレは一般の二次元ＣＣＤ撮像素子を用いた一
般のカメラにより得られる二次元画像のブレとは異な
り、このような一般のカメラにより得られる二次元画像
のブレ補正方法ではブレを補正することはできない。
【０００４】このため、従来は、赤外線カメラの振動を
抑制するためにダンパ機構が設けられている。
【０００５】
【発明が解決しようとする課題】しかし、ダンパ機構を
設けると装置が大型化し、この赤外線カメラを搭載する
ことのできる航空機やヘリコプタの機種が限定されてし
まうという問題がある。ダンパ機構を設置することがで
きない機種では、画像のブレのために監視要員に疲労が
蓄積し、長時間の監視に耐えられないという問題があ
る。
【０００６】本発明は、上記事情に鑑み、ダンパ機構を
設置することなく、あるいは簡易的なダンパ機構であっ
てカメラが振動しても、ブレが補正された画像を生成す
ることのできる補正画像生成装置、およびコンピュータ
をそのような補正画像生成装置として動作させる補正画
像生成プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】上記目的を達成する本発
明の補正画像生成装置は、複数の受光センサが一次元的
に配列された一次元撮像素子を用いその一次元撮像素子
を構成する複数の受光センサの配列方向に交わる走査方
向に被写界を繰り返し走査することにより複数フレーム
の原画像を順次取得するカメラにより得られた原画像
の、カメラの振動による乱れを補正して補正画像を生成
する補正画像生成装置において、原画像を格子状に分割
した各ブロックについて、隣接するフレームどうしでパ
ターンマッチング処理を行うパターンマッチング部と、
パターンマッチング部により得られたパターンマッチン
グ処理結果に基づいて、原画像の、パターンマッチング
上の特徴点を抽出する特徴点抽出部と、特徴点抽出部に
より抽出された特徴点に関する、パターンマッチング部
により得られたパターンマッチング処理結果に基づい
て、特徴点の動きベクトルを求める動きベクトル演算部
と、特徴点抽出部により抽出された特徴点の、動きベク
トル演算部により求められた動きベクトルに基づいて、
原画像の乱れを補正した補正画像を求める画像補正部と
を備えたことを特徴とする。
【０００８】本発明の補正画像生成装置は、パターンマ
ッチング処理により特徴点を求め特徴点の動きベクトル
を求めてその動きベクトルに基づいて補正画像を求める
ものであり、カメラの振動の影響のある原画像からその
原画像の乱れを補正した補正画像が求められる。
【０００９】ここで、上記本発明の補正画像生成装置に
おいて、原画像の画素を間引いて間引画像を生成する画
像間引部を備え、特徴点抽出部は、パターンマッチング
部に、画像間引部により生成された間引画像についてパ
ターンマッチング処理を行なわせ、この間引画像につい
てのパターンマッチング処理結果に基づいて特徴点を抽
出するものであって、動きベクトル演算部は、パターン
マッチング部に、間引き前の原画像の、特徴点抽出部で
抽出された特徴点のブロックについてパターンマッチン
グ処理を行なわせ、この原画像についてのパターンマッ
チング処理結果に基づいて特徴点の動きベクトルを求め
るものであることが好ましい。
【００１０】特徴点を求めるにあたっては、原画像の全
面にわたってパターンマッチング処理を行なう必要があ
り、かなりの演算時間を要する。そこで、上記のように
間引画像を生成して間引画像上で特徴点を求めることに
より演算時間の短縮化が図られる。
【００１１】動きベクトルは間引く前の原画像について
再度パターンマッチング処理を行なって求めるため精度
は低下せず、また動きベクトルは特徴点についてのみ求
めればよいため、演算は短時間で済む。
【００１２】また、上記本発明の補正画像生成装置にお
いて、動きベクトル演算部は、原画像が格子状に分割さ
れた複数のブロックのうちの上記配列方向に並ぶ複数の
ブロックからなる短冊内の特徴点の動きベクトルに基づ
いて短冊ごとの動きベクトルを求めるものであり、画像
補正部は、動きベクトル演算部により求められた短冊ご
との動きベクトルに基づいて短冊どうしの位置を補正す
ることにより補正画像を求めるものであることが好まし
い。
【００１３】一次元撮像素子を構成する複数の受光セン
サが並ぶ配列方向についてはブレは全画素について同時
に同じ量だけ生じる。そこで、上記のブロックが配列方
向に並んだ短冊を単位として位置を補正することによ
り、ブロックごとに補正するよりも簡単な演算で、しか
も高精度の補正が可能となる。
【００１４】ここで、上記の短冊ごとに位置補正を行な
う態様において、さらに、動きベクトル演算部は、短冊
内の特徴点の動きベクトル中の最頻値ベクトルをその短
冊の動きベクトルとして求めるものであることが好まし
い。
【００１５】航空機やヘリコプタにカメラを搭載して地
上の撮影を行なうことを考えた場合、例えば地上を走行
している自動車等、被写体の中には航空機あるいはヘリ
コプタの振動によるブレとは別の動きをする被写体が存
在する。そこで、上記のように短冊ごとに、典型的には
複数存在する特徴点の動きベクトルの中の頻度が最も高
い最頻値ベクトルをその短冊の動きベクトルとして採用
することにより、航空機あるいはヘリコプタ等の振動に
よるブレとは異なる動きのある被写体の存在による補正
の精度低下を避け、高精度の補正を行なうことができ
る。
【００１６】また、本発明の補正画像生成装置におい
て、ブロックごとに補正を行なうか短冊ごとに補正を行
なうかを問わず、動きベクトル演算部は、一旦求めた動
きベクトルに複数フレームに渡るフィルタリング処理を
含む処理を施すことにより、カメラの振動に起因する新
たな動きベクトルを求めるものであり、画像補正部は、
動きベクトル演算部により求められた新たな動きベクト
ルに基づいて補正画像を求めるものであることが好まし
い。
【００１７】航空機あるいはヘリコプタにカメラを搭載
して地上の撮影を行なうことを考えた場合、その航空機
あるいはヘリコプタの飛行に伴って撮影範囲はゆっくり
と移動する。動きベクトルのうち、この移動に伴う成分
はカメラの振動とは無関係な成分である。そこで上記の
ように複数フレームに渡るフィルタリング処理を含む処
理により、撮影範囲がゆっくりと移動することに伴う成
分を除去することができ、カメラの振動に起因する動き
ベクトルを高精度に抽出することができ、一層高精度な
補正を行なうことができる。
【００１８】さらに、上記本発明の補正画像生成装置に
おいて、短冊ごとの補正を行なう方式を採用した場合
に、画像補正部は、１つの短冊内の走査方向に並ぶ画素
を配列方向にずらすことにより隣接する短冊どうしの配
列方向のずれを解消した補正画像を求めるものであるこ
とが好ましい。
【００１９】こうすることにより、短冊どうしの繋ぎ目
で画像の連続性が損なわれるのを防止し連続性のある自
然な補正画像を生成することができる。
【００２０】さらに、上記本発明の補正画像生成装置に
おいて、動きベクトル演算部により求められた動きベク
トルに基づいて、ズーム中であるか否かを判定するズー
ム中判定部を備え、画像補正部は、ズーム中判定部によ
りズーム中であることが判定された場合に補正画像の生
成を中断するものであることが好ましい。
【００２１】ズーム中は、補正画像を生成しても無意味
であり、不正確な補正画像が生成される可能性もあるか
らである。
【００２２】また、上記目的を達成する本発明の補正画
像生成プログラムは、コンピュータ内で実行され、その
コンピュータを、複数の受光センサが一次元的に配列さ
れた一次元撮像素子を用いその一次元撮像素子を構成す
る複数の受光センサの配列方向に交わる走査方向に被写
界を繰り返し走査することにより、複数フレームの原画
像を順次取得するカメラにより得られた原画像の、カメ
ラの振動による乱れを補正して補正画像を生成する補正
画像生成装置として動作させる補正画像生成プログラム
において、原画像を格子状に分割した各ブロックについ
て、隣接するフレームどうしでパターンマッチング処理
を行うパターンマッチング部と、パターンマッチング部
により得られたパターンマッチング処理結果に基づい
て、原画像の、パターンマッチング上の特徴点を抽出す
る特徴点抽出部と、特徴点抽出部により抽出された特徴
点に関する、パターンマッチング部により得られた、パ
ターンマッチング処理結果に基づいて、特徴点の動きベ
クトルを求める動きベクトル演算部と、特徴点抽出部に
より抽出された特徴点の、動きベクトル演算部により求
められた動きベクトルに基づいて、原画像の乱れを補正
した補正画像を求める画像補正部とを有することを特徴
とする。
【００２３】ここで、本発明の補正画像生成プログラム
には、上述の本発明の補正画像生成装置の各種態様に相
当する態様全てが含まれる。
【００２４】
【発明の実施の形態】以下、本発明の実施形態について
説明する。
【００２５】図１は、本発明の補正画像生成装置の一実
施形態を含む撮影システムの模式図である。
【００２６】この撮影システム１０は、航空機１に搭載
されて地上の撮影を行なう撮影システムである。
【００２７】この撮影システム１０は、赤外線カメラ１
１と、本発明の一実施形態としての補正画像生成装置１
２と、画像を表示するモニタ装置１３とから構成されて
いる。
【００２８】赤外線カメラ１１には、多数の赤外線受光
センサが所定の配列方向に一次元的に配列された一次元
撮像素子１１１が備えられており、回転多面鏡１１２が
回転して、その一次元撮像素子１１１上に地上のターゲ
ット２０の像が繰り返し走査され、複数フレームの画像
が撮像されるようになっている。この撮影により得られ
た画像（ここではこれを「原画像」と称する）は、一旦
画像メモリ１１３に格納された後、補正画像生成装置１
２に入力される。この補正画像生成装置１２では、後述
するようにして、航空機１の振動に伴う赤外線カメラ１
１の振動に起因する原画像のブレが補正された補正画像
は生成される。この生成された補正画像は各フレームご
とに順次にモニタ装置１３に送られ、そのモニタ装置１
３の表示画面上に地上の画像が写し出されて監視要員に
よる監視に供される。
【００２９】図２は、図１に１つのブロックで示す補正
画像生成装置１２のハードウェア構成図である。
【００３０】この補正画像生成装置１２は、ハードウェ
ア上は一種のコンピュータの形態を有しており、赤外線
カメラ１１からの原画像の入力を受け付けるデータイン
タフェース１２１、各種プログラムを実行するＣＰＵ１
２２、各種プログラムが記憶されたＲＯＭ１２３、補正
の開始やリセット等を指示するための操作子が配置され
た操作部１２４、ＣＰＵ１２２で実行されるプログラム
の作業領域や各種のデータ格納領域として使用されるＲ
ＡＭ１２５、および補正画像をモニタ装置１３に送るモ
ニタインタフェース１２６から構成され、これらはバス
１２７で相互に接続されている。
【００３１】この図２の補正画像生成装置１２は、この
図２に示すハードウェアとＲＯＭ１２３に記憶されＣＰ
Ｕ１２２によって読み出されて実行される補正画像生成
プログラムとの複合により、補正画像生成装置としての
機能を果たすものである。
【００３２】図３は、ＲＯＭ１２３に記憶された本発明
の一実施形態としての補正画像生成プログラムの模式図
である。
【００３３】このＲＯＭ１２３に記憶された補正画像生
成プログラム１３０は、パターンマッチング部１３１、
特徴点抽出部１３２、動きベクトル演算部１３３、画像
補正部１３４、画像間引部１３５、およびズーム中判定
部１３６から構成されている。これら各部の作用につい
ては後述する。
【００３４】図４は、本発明の補正画像生成装置の機能
ブロック図である。この図４の補正画像生成装置１４０
は、図２に示す補正画像生成装置１２のハードウェア
と、ＲＯＭに記憶された補正画像生成プログラムとの複
合により構成される。
【００３５】この図４の補正画像生成装置１４０は、パ
ターンマッチング１４１、特徴点抽出部１４２、動きベ
クトル演算部１４３、画像補正部１４４、画像間引部１
４５、およびズーム中判定部１４６から構成されてい
る。この図４の補正画像生成装置１４の各部１４１〜１
４６は、図３の補正画像生成プログラム１３０の各部１
３１〜１３６にそれぞれ対応するが、図４の補正画像生
成装置１４０の各部１４１〜１４６は、コンピュータの
ハードウェアとソフトウェアとの組合せで構成されるの
に対し、図３の補正画像生成プログラム１３０の各部１
３１〜１３６はそれらのうちのソフトウェアの部分のみ
で構成されている。
【００３６】図３の補正画像生成プログラム１３０の各
部１３１〜１３６の作用は、その補正画像生成プログラ
ム１３０が、図２のＣＰＵ１２２で実行されたときの、
図４の補正画像生成装置の各部１４１〜１４６の作用と
同一であり、以下、図４の補正画像生成装置１４０の各
部１４１〜１４６の作用の説明を行なうことで、図３の
補正画像生成プログラム１３０の各部１３１〜１３６の
作用の説明を兼ねるものとする。
【００３７】図４の補正画像生成装置１４０は、複数の
受光センサが一次元的に配列された一次元撮像素子を用
いその一次元撮像素子を構成する複数の受光センサの配
列方向に交わる走査方向に被写界を繰り返し走査するこ
とにより複数フレームの原画像を順次取得するカメラに
より得られた原画像の、カメラの振動による乱れを補正
して補正画像を生成する補正画像生成装置である。
【００３８】ここで、この補正画像生成装置１４０のパ
ターンマッチング部１４１では、原画像を格子状に分割
した各ブロックについて、隣接するフレームどうしでパ
ターンマッチング処理が行なわれる。
【００３９】また、特徴抽出部１４２では、パターンマ
ッチング部１４１により得られたパターンマッチング処
理結果に基づいて、原画像の、パターンマッチング上の
特徴点としてのブロックが抽出される。
【００４０】また、動きベクトル演算部１４３では、特
徴点抽出部１４２により抽出された特徴点（ブロック）
に関する、パターンマッチング部１４１により得られた
パターンマッチング処理結果に基づいて、特徴点の動き
ベクトルが求めるられ、さらに画像補正部１４４では、
特徴点抽出部１４２により抽出された特徴点の、動きベ
クトル演算部１４３により求められた動きベクトルに基
づいて、原画像の乱れを補正した補正画像が求められ
る。
【００４１】さらに、この図４の補正画像生成装置１４
０には、画像間引部１４５が備えられており、この画像
間引部１４５では、原画像の画素が間引かれて間引画像
が生成される。
【００４２】この画像間引部１４５を作用させたとき
は、特徴点抽出部１４２では、パターンマッチング部１
４１に、画像間引部１４５により生成された間引画像に
ついてパターンマッチング処理を行なわせ、この間引画
像についてのパターンマッチング処理結果に基づいて特
徴点が抽出される。
【００４３】このとき、動きベクトル演算部１４３で
は、パターンマッチング部１４１に、間引き前の原画像
の、特徴点抽出部１４２で抽出された特徴点のブロック
についてパターンマッチング処理を行なわせ、この原画
像についてのパターンマッチング処理結果に基づいて特
徴点の動きベクトルがを求められる。
【００４４】さらに、本実施形態では、動きベクトル演
算部１４３は、原画像が格子状に分割された複数のブロ
ックのうちの一次元撮像素子の受光センサが配列された
配列方向に並ぶ複数のブロックからなる短冊内の特徴点
の動きベクトルに基づいて短冊ごとの動きベクトルが求
められ、画像補正部１４４では、動きベクトル演算部１
４３により求められた短冊ごとの動きベクトルに基づい
て短冊どうしの位置が補正され、これにより補正画像が
求められる。
【００４５】このとき、動きベクトル演算部１４３で
は、短冊内の特徴点の動きベクトル中の最頻値ベクトル
がその短冊の動きベクトルとして求められる。
【００４６】本実施形態では、さらに、動きベクトル演
算部１４３において、一旦求めた動きベクトルに複数フ
レームに渡るフィルタリング処理を含む処理を施すこと
により、カメラの振動に起因する新たな動きベクトルが
求められ、画像補正部では、動きベクトル演算部１４３
により求められた新たな動きベクトルに基づいて補正画
像が求められる。
【００４７】さらに、本実施形態では、画像補正部１４
４において、１つの短冊内の一次元撮像素子の受光セン
サが並ぶ配列方向に交わる走査方向に並ぶ画素を配列方
向にずらすことにより、隣接する短冊の配列方向のずれ
を解消した補正画像が求められる。
【００４８】さらに、本実施形態では、動きベクトル演
算部１４３により求められた動きベクトルに基づいて、
ズーム中であるか否かを判定するズーム中判定部１４６
が備えられており、画像補正部１４４では、ズーム中判
定部１４６によりズーム中であることが判定された場合
に補正画像の生成が中断される。
【００４９】以下、本発明についてさらに具体的に説明
する。
【００５０】図５は、パターンマッチング処理の説明図
である。
【００５１】ここでは参照画像（図５（Ａ））と探索画
像（図５（Ｂ））とが用意され、参照画像の一部が参照
テンプレートとして切り出される。
【００５２】次に、この切り出した参照テンプレートを
探索画像の任意の位置に重ねて、以下の演算を行なう。
すなわち、参照テンプレートの各画素の画素値をＲ
（ｘ，ｙ）、探索画像の、参照テンプレートが重ねられ
た領域の、参照テンプレートの画素（ｘ，ｙ）と重なっ
た画素の画素値をＴ（ｘ，ｙ）、参照テンプレートの全
域の和を、
【００５３】
【数１】
【００５４】絶対値を｜…｜で表わしたとき、
【００５５】
【数２】
【００５６】が求められる。
【００５７】この（１）式は、探索画像の、参照テンプ
レートが重ね合わされた領域の各画素の画素値Ｔ（ｘ，
ｙ）が、その重ね合わされた領域全域にわたって参照テ
ンプレートの対応する各画素の画素値Ｒ（ｘ，ｙ）と等
しければ、Ｓ＝０となり、探索画像の参照テンプレート
が重ね合わされた領域が参照テンプレートと異なってい
るほど、Ｓは大きな値となる。
【００５８】この（１）式の演算を、参照テンプレート
で、探索画像を走査しながら各走査点について行なう。
【００５９】図６は、上記のようにして行なったパター
ンマッチング処理結果を表わす図である。
【００６０】図１でのパターンマッチング処理では、参
照テンプレートで探索画像上を二次元的に走査しながら
（１）式の演算が行なわれるが、図２では、簡単のた
め、参照テンプレートを一次元的に走査しながら（１）
式の演算を行なったものとして、その結果を示してあ
る。
【００６１】ここでは、走査範囲内での（１）式の演算
結果の下向きの最大のピークの値（最小値）をｍｉｎｄ
ｓｔと称し、下向きの２番目のピークの値を２ｎｄｄｓ
ｔと称する。
【００６２】ここでは、 ２ｎｄｄｓｔ−ｍｉｎｄｓｔ＞閾値 …（２） かつ ｍｉｎｄｓｔ＜閾値 …（３） のときに、有効な動きが検出されたものとする。但し、
（２）式の閾値と（３）式の閾値は同一である必要はな
い。この有効な動きが検出された点をここでは特徴点と
称する。このとき、動きベクトルは、図６に示すよう
に、探索画像上の、参照テンプレートを参照画像から切
り出した位置と同一の位置から、参照テンプレートで探
索画像上を走査していってｍｉｎｄｓｔが求められた走
査点までの参照テンプレートの移動量として求められ
る。この動きベクトルは、参照画像から探索画像に移っ
たときの、参照画像上の参照テンプレートの領域の動き
の方向およびその方向への動き量を示している。
【００６３】尚、（１）式に代えて、数学的な意味での
相関演算を採用してもよく、その他、動きベクトルを求
めることのできる演算であればどのような演算を採用し
てもよい、ここでは、参照テンプレートで探索画像上を
走査しながらこの（１）式に基づく演算を行なうことを
「相関演算」と称する。
【００６４】図７は、図１の赤外線カメラ１１で得られ
た原画像を複数のブロックおよび短冊に区切った状態を
示した構成図である。
【００６５】ここでは、原画像全面が縦ｎ行横ｍ列の
「ブロック」に分割される。各ブロックは縦３２画素×
横３２画素の大きさを有する。
【００６６】ここでは、縦方向に並ぶｎ個のブロックの
集合を「短冊」と称する。
【００６７】ここで、この図７の縦方向は、図１の赤外
線カメラ１１を構成する一次元撮像素子１１１を構成す
る多数の受光センサが配列された配列方向、横方向は、
図１の回転多面鏡１１２の回転によりその一次元撮像素
子１１１上に被写界の像が走査される走査方向である。
以下、配列方向、走査方向をそれぞれ縦方向、横方向と
称することがある。縦方向は、カメラに振動があって
も、一次元撮像素子１１１が一体的に振動し、したがっ
て縦方向の画素の間隔は高精度に保証されたものであ
る。これに対し横方向は、カメラの振動により画素どう
しの間隔が変化したり、上下方向にも動く可能性があ
る。
【００６８】図８は、特徴点の説明図である。
【００６９】本実施形態では、順次に、ある１つのフレ
ームの原画像を図５を参照して説明した参照画像とする
とともに、そのフレームに続く次のフレームの原画像を
探索画像とし、参照画像を図７に示すｎ行×ｍ列のブロ
ックに分割したときの各ブロック１つ１つを図５に示し
た参照テンプレートとし、その参照テンプレートを探索
画像に重ね、図５、図６を参照して説明したパターンマ
ッチング処理が行われる。ある１つのブロックを参照テ
ンプレートとしてそのパターンマッチング処理を行なう
ときは、探索画像上の、その参照テンプレートとしての
１つのブロックと同じ位置にあるブロックとそのブロッ
クに隣接した８個のブロック、合計９個のブロックの領
域が参照テンプレートで走査され、その走査の間、参照
テンプレートを一画素移動するごとに（１）式の演算が
行なわれ、その結果、図６のようなパターンマッチング
処理結果（相関演算結果）が得られる。ただし前述した
ように、パターンマッチング処理（相関演算）では参照
テンプレートは探索画像上を二次元的に走査することに
なるが、図示の簡単のため、図６では一次元的な走査と
して示してある。
【００７０】このようなパターンマッチング処理（相関
演算）を行ない、あるブロック（参照テンプレート）に
関し、前述の（２）式と（３）式を満足する場合に、そ
のブロックを「特徴点」と称し、その特徴点について動
きベクトルが求められる。
【００７１】図８は、このようにして求めた特徴点（斜
線を施したブロック）と各特徴点の動きベクトルを概念
的に示したものである。
【００７２】図９は、本実施形態の補正画像生成装置に
おける処理の第１例を示すフローチャートである。
【００７３】ここでは、原画像の、隣接する２つのフレ
ームどうしで相関演算が行なわれ、（ステップａ１）、
前述の、（２）式と（３）式を満足するか否かが判定さ
れ（ステップａ２）、満足する場合は、そのブロックが
特徴点として有効なブロックとされ（ステップａ３）、
満足しない場合はそのブロックは特徴点としては無効な
ブロックとされる（ステップａ４）。
【００７４】ステップａ５では、全てのブロックについ
て上記の処理（ステップａ１〜ａ４）が終了したか否か
が判定され、未処理のブロックが残っているときは、次
のブロックについて（ステップａ６）、同じ処理が繰り
返される。
【００７５】全てのブロックについて相関演算および特
徴点としての有効／無効の判定が行なわれると（ステッ
プａ５）、もう１度最初のブロックから順に全てのブロ
ックについて（ステップａ７，ａ１３，ａ１４）、以下
の処理が行なわれる。すなわち、そのブロックが特徴点
として有効なブロックであるか否かが判定され（ステッ
プａ８）、有効であるときは、そのブロックについての
演算結果、すなわちそのブロックについて求められた動
きベクトルがそのブロックの「補正値」とされる（ステ
ップａ９）。また、ステップａ８においてそのブロック
が特徴点として有効なブロックではないと判定されたと
き、次に、そのブロックの左右のブロック双方が有効な
ブロックであるか否かが判定される（ステップａ１
０）。左右のいずれか一方でも無効なブロックのとき
は、このブロックについては補正値＝０に設定される
（ステップａ１１）。
【００７６】また、左右双方が有効なブロックであった
ときは、それら左右の補正値（動きベクトル）の平均値
がそのブロックの補正値とされる（ステップａ１２）。
【００７７】以上の処理が全てのブロックについて終了
すると（ステップａ１３）、各ブロックが各ブロックの
補正値（動きベクトル）に基づいた位置に移動され、こ
れにより補正画像が生成される（ステップａ１５）。こ
こで、補正値＝０のブロックは移動しないことを意味す
るのではなく、その周囲の有効ブロックの移動位置から
補間された位置に移動される。
【００７８】図１０、図１１は、本実施形態の補正画像
生成装置１２における処理の第２例を示すフローチャー
トである。
【００７９】ここでは、先ず、原画像の画像を間引いて
間引き画像が生成され、その間引き画像について、前述
の相関演算が行なわれる（ステップｂ１）。ここでは、
一例として、３２画素×３２画素のブロックが８画素×
８画素となるように１／４に間引きされる。ステップｂ
２〜ｂ６は、間引き画像であるか、元の原画像であるか
の相違を除き、図９のステップａ２〜ａ６と同様であ
り、重複説明は省略する。
【００８０】次に、もう１度最初のブロックから順に全
てのブロックについて（ステップｂ７，ｂ１０，ｂ１
１）、そのブロックが特徴点として有効なブロックであ
るか否かが判定され（ステップｂ８）、有効なブロック
であったときは、今度はそのブロックについて間引き前
の元の原画像について相関演算が行なわれて（ステップ
ｂ９）、そのブロックの正確な補正値（動きベクトル）
が求められる。
【００８１】次に図１１のステップｂ１２以降の処理が
行なわれるが、図１１のステップｂ１２以降の各ステッ
プｂ１２〜ｂ２０の処理は、図９のステップａ７〜ａ１
５の処理とそれぞれ同一であり、重複説明は省略する。
【００８２】図１０、図１１に示す第２例では、先ずは
間引き画像について相関演算を行なっているため、演算
量が少なくて済み、演算時間が短縮化される。尚、特徴
点としてのブロックに関しては、元の原画像について再
度相関演算が行なわれるが、特徴点としてのブロックに
ついてのみ行なわれるため、図９の第１例と比べ、やは
り全体として演算量の低減が図られている。
【００８３】以上の第１例（図９）および第２例（図１
０、図１１）は、各ブロック（図７参照）ごとに位置を
移動して補正画像を生成する例であるが、前述したよう
に、縦方向については一体的にのみブレることを利用
し、縦方向に配列されたブロックからなる短冊を移動の
単位としてもよい。
【００８４】図１２は、短冊を補正画像生成のための移
動（補正）の単位として取り扱った場合を示した概念図
である。
【００８５】参照画像（Ａ）に対し、次のフレームの探
索画像（Ｂ）が乱れており、相関演算により短冊ごとに
補正値を取得し、短冊画像を切り取って各短冊ごとに位
置を調整する。原画像の輪部は乱れているため原画像よ
りも少し小さいサイズに切り取って補正画像が生成され
る。
【００８６】各短冊ごとに位置を調整すると、隣接する
短冊どうしの間に隙間が空いたり、短冊どうしが一部重
なったりする。隙間が空いたときは、その隙間に隣接す
る画像部分がコピーされてその隙間が埋められ、一部が
重なったときは重なった部分の一方が削除される。
【００８７】図１３は、本実施形態の補正画像生成装置
１２の処理の第３例を示すフローチャートである。
【００８８】ここでは先ず、図１０、図１１のステップ
ｂ１〜ｂ１９と同じ処理が実行される。すなわち、各ブ
ロックについて間引き画像上で相関演算が行なわれて特
徴点が抽出され、各特徴点について原画像上で相関演算
が行なわれ、各ブロックについて補正値（動きベクト
ル）が求められる。
【００８９】図１３の処理では、次に、各短冊について
（ステップｃ７，ｃ８）以下の処理が行なわれる。すな
わち、ある短冊について着目したとき、その短冊を構成
する複数（ｎ個（図７参照））の各ブロックを順に見て
いき（ステップｃ４，ｃ５）、現在見ているブロックが
特徴点として有効なブロックであるか否かが判定され
（ステップｃ２）、有効なブロックに関する補正値がそ
の短冊内で加算され（ステップｃ３）、その短冊の全て
のブロックについてステップｃ２，ｃ３の処理を行なっ
た後に加算結果の平均値が求められて、その平均値がそ
の短冊の補正値とされる。この平均値を求める処理を全
ての短冊について行なった後（ステップｃ７）、その補
正値に基づいて各短冊の位置が調整され（図１２参
照）、補正画像が生成される（ステップｃ９）。
【００９０】図１４は、移動物体除去の概念図である。
【００９１】ある１つの短冊に着目し、その短冊を構成
する複数のブロックのうちの特徴点（斜線を施したブロ
ック）の補正値（動きベクトル）を見たとき、カメラの
振動のみに起因する補正値（動きベクトル）だけでな
く、例えば地上を走行している自動車など、被写体の動
きにの影響を受けた動きベクトルもある。そこで、ここ
では、１つの短冊を構成する複数のブロックの補正値
（動きベクトル）の平均値を求めることに代わり、最頻
値ベクトルが求められる。こうすることにより、移動物
体の動きベクトルやノイズを排除し、カメラの振動によ
る動きベクトルを求めることができる。
【００９２】図１５は、本実施形態の補正画像生成装置
１２の処理の第４例を示すフローチャートである。
【００９３】ここでは先ず、図１３の第３例の場合と同
様、図１０、図１１のステップｂ１〜ステップｂ１９と
同じ処理が実行され（ステップｄ１）、次いで各短冊に
ついて（ステップｄ７，ｄ８）、以下の処理が行なわれ
る。すなわち、ある短冊について着目したとき、その短
冊を構成する複数の各ブロックを順に見ていき（ステッ
プｄ４，ｄ５）、現在見ているブロックが特徴点として
有効なブロックであるか否かが判定され（ステップｄ
２）、有効なブロックについて補正値（動きベクトル）
が記録され（ステップｄ３）、その短冊の全てのブロッ
クについてステップｄ２，ｄ３の処理を行なった後に、
その短冊の記録された全ての補正値（動きベクトル）の
うちの出現頻度が最も高い最頻値ベクトルが求められ
て、その最頻値ベクトルがその短冊の補正値（動きベク
トル）とされる（ステップｄ６）。
【００９４】各短冊ごとの最頻値ベクトルを求める処理
を全ての短冊について行なった後（ステップｄ７）、各
短冊ごとの補正値（動きベクトル）に基づいて補正画像
が生成される（ステップｄ９）。
【００９５】図１６は、本実施形態の補正画像生成装置
１２の処理の第５例を示すフローチャートである。
【００９６】ここでは、先ず図１５に示す第４例のステ
ップｄ１の処理と同じ処理、すなわち、図１０、図１１
に示す第２例のステップｂ１〜ｂ１９の処理と同じ処理
が行なわれ、特徴点としての各ブロックについて補正値
（動きベクトル）が求められる（ステップｅ１）。
【００９７】次いで、図１６の第５例では、原画像の
左、右、上、下それぞれの補正値が求められ（ステップ
ｃ２）、ズーム中であるか否かが判定される（ステップ
ｅ３）。
【００９８】図１７は、ズームアップ中の左、右、上、
下の補正値（動きベクトル）を示す図である。
【００９９】左、右の補正値を求めるには、原画像を中
央から左右に二分したときの左側にある特徴点としての
ブロックの補正値（動きベクトル）の平均値と左側にあ
る特徴点としてのブロックの補正値（動きベクトル）の
平均値が求められ、これにより、左、右それぞれの平均
値からなる各補正値（動きベクトル）が求められる。
【０１００】また、上、下の補正値についても同様であ
り、原画像を中央から上下に二分したときの、上側にあ
る特徴点としてのブロックの補正値（動きベクトル）の
平均値と下側にある特徴点としてのブロックの補正値
（動きベクトル）の平均値が求められ、これにより、
上、下それぞれの平均値としての補正値（動きベクト
ル）が求められる。
【０１０１】ステップｅ３では、このようにして求めた
左、右、上、下の動きベクトルが図１７に示すように原
画像の外側を向いていたとき（ズームアップ中）、ある
いは原画像の内側を向いていたとき（ズームダウン中）
は、ズーム中であると判定する。
【０１０２】ステップｅ３でズーム中であると判定され
ると、ズーム中に補正画像を求めても無意味であるた
め、原画像がそのまま図１のモニタ装置１３への表示用
として使われる（ステップｅ１５）。
【０１０３】またステップｅ３でズーム中ではないと判
定されると、ステップｅ４に進み、図１５に示す第４例
のステップｄ２〜ｄ８の処理と同一の処理が行なわれ、
各短冊ごとの補正値（動きベクトル）として各短冊ごと
に最頻値ベクトルが求められる。
【０１０４】次に、各短冊毎に、動きベクトルに複数の
フレームにわたってＩＩＲフィルタ処理が施され、背景
ベクトルが求められる。このＩＩＲフィルタ処理は、こ
こでは、 Ｖt ′＝０．３５×Ｖt ＋０．６５×Ｖt-1 …（４） の演算式に基づいて行なわれる。こおで、ｔ，ｔ−１
は、それぞれ時刻ｔのフレーム、１フレーム前の時刻ｔ
−１のフレームを意味し、Ｖt ，Ｖt-1は、着目してい
る短冊の、それぞれ時刻ｔのフレームにおける動きベク
トル、１フレーム前の時刻ｔ−１の動きベクトルを意味
し、Ｖt ′は、着目している短冊の、時刻ｔのフレーム
の、ＩＩＲフィルタ処理後の動きベクトルを意味する。
（４）式は、低域通過フィルタリング処理を意味する。
背景ベクトルは、カメラの振動等に起因する成分を除
き、図１の航空機１が飛行していることに起因し、被写
体が静止していても原画像全体がゆっくりと変化するこ
とに起因する動きベクトルである。
【０１０５】ステップｅ６では、各短冊の動きベクトル
から背景ベクトルを差し引き、この差し引いた値が新た
な補正値（動きベクトル）とされる。この新たな補正値
（動きベクトル）は、原画像全体のゆっくりとした動き
の成分（背景ベクトル）が差し引かれた、カメラの振動
等に起因する補正値（動きベクトル）である。
【０１０６】次に、全ての短冊について順次に（ステッ
プｅ１２，ｅ１３）、着目している短冊とそれに隣接す
る短冊について、それら２つの短冊の中心間距離から横
方向のずれ量が求められる（ステップｅ９）。
【０１０７】図１８は、図１６のステップｅ９〜ｅ１１
の処理の説明図である。
【０１０８】ここには、隣接する２つの短冊の位置をそ
れら２つの短冊の補正値（動きベクトル）に従って補正
したときの２つの短冊の位置関係が示されている。
【０１０９】ここでは、隣接する２つの短冊が上下方向
にずれるとともに左右方向についてもずれて一部が重な
っている。
【０１１０】ステップｅ９では、隣接する２つの短冊の
中心間の距離ｄが求められる。
【０１１１】補正画像生成時には、距離ｄが正しい距離
よりも大きく、２つの短冊の間に隙間が生じているとき
は、それら２つの短冊のうちの左側の短冊の縦方向のラ
インをコピーして隙間を埋め、あるいは、距離ｄが正し
い距離よりも小さく、２つの短冊の一部が重なっている
ときは、縦方向のラインを間引くことにより２つの短冊
の重なりが解消される。
【０１１２】次に、ステップｅ１０において、隣接する
２つの短冊について、左側の短冊の原点（ｃｘ１，ｃｙ
１）と右側の短冊の原点（ｃｘ２，ｃｙ２）を結ぶ直線
上の座標が求められる。
【０１１３】図１８（Ａ）には、２つの短冊の原点の座
標（ｃｘ１，ｃｙ１）、（ｃｘ２，ｃｙ２）が示されて
おり、図１８（Ｂ）には、それら２つの座標を結ぶ直線
が示されている。
【０１１４】ステップｅ１０では、１つの短冊の縦方向
に画素が並ぶ１ラインごとにその直線上の座標（ｘ１，
ｙ１）が求められ、ステップｅ１１では、その座標（ｘ
１，ｙ１）から各ラインごとにｙ方向の補正量が求めら
れる。
【０１１５】図１８（ｃ）は各ラインを各ラインごとに
求めた補正量に従ってｙ方向に移動した状態を示した図
である。補正画像作成時には、ステップｅ９で求められ
た距離ｄに基づいて２つの短冊の重なり部分のラインが
削除され、あるいは２つの短冊の間に隙間があるときは
ラインがコピーされてその隙間が埋められ、これととも
に、各ラインのｙ方向の位置が補正され、図１８（ｃ）
のような部分画像が求められる。
【０１１６】図１６のステップｅ９〜ｅ１１の処理が順
次隣接する２つの短冊について行なわれた後（ステップ
ｅ１２，ｅ１３）、各短冊ごとの補正値（動きベクト
ル）、隣接する２つの短冊の中心間距離ｄ（図１８
（Ａ）参照）、および隣接する２つの短冊の中心どうし
を結ぶ直線上の座標（ｘ１，ｙ１）（図１８（Ｂ）参
照）に従って、補正画像が作成される（ステップｅ１
４）。
【０１１７】このようにして作成された補正画像は、図
１に示すモニタ装置１３に送られ、モニタ装置１３には
その補正画像が表示される。
【０１１８】ここで、上記の補正画像作成は、順次取り
込まれる複数フレームの原画像について順次行なわれ、
モニタ装置１３には、地上の画像が動画像として表示さ
れる。このモニタ装置１３には、図１に示す赤外線カメ
ラ１１の振動の影響が除去され安定した見易い動画像が
表示される。
【０１１９】以下、本発明の各実施態様を付記する。
【０１２０】（付記１） 複数の受光センサが一次元的
に配列された一次元撮像素子を用い該一次元撮像素子を
構成する複数の受光センサの配列方向に交わる走査方向
に被写界を繰り返し走査することにより複数フレームの
原画像を順次取得するカメラにより得られた該原画像
の、該カメラの振動による乱れを補正して補正画像を生
成する補正画像生成装置において、原画像を格子状に分
割した各ブロックについて、隣接するフレームどうしで
パターンマッチング処理を行うパターンマッチング部
と、前記パターンマッチング部により得られたパターン
マッチング処理結果に基づいて、原画像の、パターンマ
ッチング上の特徴点を抽出する特徴点抽出部と、前記特
徴点抽出部により抽出された特徴点に関する、前記パタ
ーンマッチング部により得られたパターンマッチング処
理結果に基づいて、該特徴点の動きベクトルを求める動
きベクトル演算部と、前記特徴点抽出部により抽出され
た特徴点の、前記動きベクトル演算部により求められた
動きベクトルに基づいて、原画像の乱れを補正した補正
画像を求める画像補正部とを備えたことを特徴とする補
正画像生成装置。
【０１２１】（付記２） 原画像の画素を間引いて間引
画像を生成する画像間引部を備え、前記特徴点抽出部
は、前記パターンマッチング部に、前記画像間引部によ
り生成された間引画像についてパターンマッチング処理
を行なわせ、この間引画像についてのパターンマッチン
グ処理結果に基づいて特徴点を抽出するものであって、
前記動きベクトル演算部は、前記パターンマッチング部
に、間引き前の原画像の、前記特徴点抽出部で抽出され
た特徴点のブロックについてパターンマッチング処理を
行なわせ、この原画像についてのパターンマッチング処
理結果に基づいて該特徴点の動きベクトルを求めるもの
であることを特徴とする付記１記載の補正画像生成装
置。
【０１２２】（付記３） 前記動きベクトル演算部は、
原画像が格子状に分割された複数のブロックのうちの前
記配列方向に並ぶ複数のブロックからなる短冊内の特徴
点の動きベクトルに基づいて該短冊ごとの動きベクトル
を求めるものであり、前記画像補正部は、前記動きベク
トル演算部により求められた短冊ごとの動きベクトルに
基づいて短冊どうしの位置を補正することにより補正画
像を求めるものであることを特徴とする付記１記載の補
正画像生成装置。
【０１２３】（付記４） 前記前記動きベクトル演算部
は、前記短冊内の特徴点の動きベクトル中の最頻値ベク
トルを該短冊の動きベクトルとして求めるものであるこ
とを特徴とする付記３記載の補正画像生成装置。
【０１２４】（付記５） 前記動きベクトル演算部は、
一旦求めた動きベクトルに複数フレームに渡るフィルタ
リング処理を含む処理を施すことにより、前記カメラの
振動に起因する新たな動きベクトルを求めるものであ
り、前記画像補正部は、前記動きベクトル演算部により
求められた前記新たな動きベクトルに基づいて前記補正
画像を求めるものであることを特徴とする付記１又は３
記載の補正画像生成装置。
【０１２５】（付記６） 前記画像補正部は、１つの短
冊内の前記走査方向に並ぶ画素を前記配列方向にずらす
ことにより隣接する短冊どうしの前記配列方向のずれを
解消した補正画像を求めるものであることを特徴とする
付記３記載の補正画像生成装置。
【０１２６】（付記７） 前記動きベクトル演算部によ
り求められた動きベクトルに基づいて、ズーム中である
か否かを判定するズーム中判定部を備え、前記画像補正
部は、前記ズーム中判定部によりズーム中であることが
判定された場合に補正画像の生成を中断するものである
ことを特徴とする付記１記載の補正画像生成装置。
【０１２７】（付記８） コンピュータ内で実行され、
該コンピュータを、複数の受光センサが一次元的に配列
された一次元撮像素子を用い該一次元撮像素子を構成す
る複数の受光センサの配列方向に交わる走査方向に被写
界を繰り返し走査することにより、複数フレームの原画
像を順次取得するカメラにより得られた該原画像の、該
カメラの振動による乱れを補正して補正画像を生成する
補正画像生成装置として動作させる補正画像生成プログ
ラムにおいて、原画像を格子状に分割した各ブロックに
ついて、隣接するフレームどうしでパターンマッチング
処理を行うパターンマッチング部と、該パターンマッチ
ング部により得られたパターンマッチング処理結果に基
づいて、原画像の、パターンマッチング上の特徴点を抽
出する特徴点抽出部と、前記特徴点抽出部により抽出さ
れた特徴点に関する、前記パターンマッチング部により
得られたパターンマッチング処理結果に基づいて、該特
徴点の動きベクトルを求める動きベクトル演算部と、前
記特徴点抽出部により抽出された特徴点の、前記動きベ
クトル演算部により求められた動きベクトルに基づい
て、原画像の乱れを補正した補正画像を求める画像補正
部とを有することを特徴とする補正画像生成プログラ
ム。
【０１２８】（付記９） 原画像の画素を間引いて間引
画像を生成する画像間引部を有し、前記特徴点抽出部
は、前記パターンマッチング部に、前記画像間引部によ
り生成された間引画像についてパターンマッチング処理
を行なわせ、この間引画像についてのパターンマッチン
グ処理結果に基づいて特徴点を抽出するものであって、
前記動きベクトル演算部は、前記パターンマッチング部
に、間引き前の原画像の、前記特徴点抽出部で抽出され
た特徴点のブロックについてパターンマッチング処理を
行なわせ、この原画像についてのパターンマッチング処
理結果に基づいて該特徴点の動きベクトルを求めるもの
であることを特徴とする付記８記載の補正画像生成プロ
グラム。
【０１２９】（付記１０） 前記動きベクトル演算部
は、原画像が格子状に分割された複数のブロックのうち
の前記配列方向に並ぶ複数のブロックからなる短冊内の
特徴点の動きベクトルに基づいて該短冊ごとの動きベク
トルを求めるものであり、前記画像補正部は、前記動き
ベクトル演算部により求められた短冊ごとの動きベクト
ルに基づいて短冊どうしの位置を補正することにより補
正画像を求めるものであることを特徴とする付記８記載
の補正画像生成プログラム。
【０１３０】（付記１１） 前記動きベクトル演算部
は、前記短冊内の特徴点の動きベクトル中の最頻値ベク
トルを該短冊の動きベクトルとして求めるものであるこ
とを特徴とする付記１０記載の補正画像生成プログラ
ム。
【０１３１】（付記１２） 前記動きベクトル演算部
は、一旦求めた動きベクトルに複数フレームに渡るフィ
ルタリング処理を含む処理を施すことにより、前記カメ
ラの振動に起因する新たな動きベクトルを求めるもので
あり、前記画像補正部は、前記動きベクトル演算部によ
り求められた前記新たな動きベクトルに基づいて前記補
正画像を求めるものであることを特徴とする付記８又は
１０記載の補正画像生成プログラム。
【０１３２】（付記１３） 前記画像補正部は、１つの
短冊内の前記走査方向に並ぶ画素を前記配列方向にずら
すことにより隣接する短冊どうしの前記配列方向のずれ
を解消した補正画像を求めるものであることを特徴とす
る付記１０記載の補正画像生成プログラム。
【０１３３】（付記１４） 前記動きベクトル演算部に
より求められた動きベクトルに基づいて、ズーム中であ
るか否かを判定するズーム中判定部を有し、前記画像補
正部は、前記ズーム中判定部によりズーム中であること
が判定された場合に補正画像の生成を中断するものであ
ることを特徴とする付記８記載の補正画像生成プログラ
ム。
【０１３４】
【発明の効果】以上説明したように、本発明によれば、
カメラの振動の影響が取り除かれた見易い補正画像が作
成される。
【図面の簡単な説明】
【図１】本発明の補正画像生成装置の一実施形態を含む
撮影システムの模式図である。
【図２】図１に１つのブロックで示す補正画像生成装置
のハードウェア構成図である。
【図３】本発明の一実施形態としての補正画像生成プロ
グラムの模式図である。
【図４】本発明の補正画像生成装置の機能ブロック図で
ある。
【図５】パターンマッチング処理の説明図である。
【図６】パターンマッチング処理結果を表わす図であ
る。
【図７】原画像を複数のブロックおよび短冊に区切った
状態を示した構成図である。
【図８】特徴点の説明図である。
【図９】本実施形態の補正画像生成装置における処理の
第１例を示すフローチャートである。
【図１０】本実施形態の補正画像生成装置における処理
の第２例を示すフローチャートである。
【図１１】本実施形態の補正画像生成装置における処理
の第２例を示すフローチャートである。
【図１２】短冊を補正画像生成のための移動（補正）の
単位として取り扱った場合を示した概念図である。
【図１３】本実施形態の補正画像生成装置の処理の第３
例を示すフローチャートである。
【図１４】移動物体除去の概念図である。
【図１５】本実施形態の補正画像生成装置の処理の第４
例を示すフローチャートである。
【図１６】本実施形態の補正画像生成装置の処理の第５
例を示すフローチャートである。
【図１７】ズームアップ中の左、右、上、下の補正値
（動きベクトル）を示す図である。
【図１８】図１６のステップｅ９〜ｅ１１の処理の説明
図である。
【符号の説明】
１ 航空機 １０ 撮影システム １１ 赤外線カメラ １１１ 一次元撮像素子 １１２ 回転多面鏡 １１３ 画像メモリ １２ 補正画像生成装置 １２１ データインタフェース １２２ ＣＰＵ １２３ ＲＯＭ １２４ 操作部 １２５ ＲＡＭ １２６ モニタインタフェース １２７ バス １３ モニタ装置 ２０ ターゲット １３０ 補正画像生成プログラム １３１ パターンマッチング部 １３２ 特徴点抽出部 １３３ 動きベクトル演算部 １３４ 画像補正部 １３５ 画像間引部 １３６ ズーム中判定部 １４０ 補正画像生成装置 １４１ パターンマッチング １４２ 特徴点抽出部 １４３ 動きベクトル演算部 １４４ 画像補正部 １４５ 画像間引部 １４６ ズーム中判定部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA14 BA02 CA12 CA16 CD12 DC36 5C022 AA13 AB55 AC41 AC69 5L096 CA02 FA69 GA19 HA04 JA03 JA09 MA03

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 複数の受光センサが一次元的に配列され
    た一次元撮像素子を用い該一次元撮像素子を構成する複
    数の受光センサの配列方向に交わる走査方向に被写界を
    繰り返し走査することにより複数フレームの原画像を順
    次取得するカメラにより得られた該原画像の、該カメラ
    の振動による乱れを補正して補正画像を生成する補正画
    像生成装置において、 原画像を格子状に分割した各ブロックについて、隣接す
    るフレームどうしでパターンマッチング処理を行うパタ
    ーンマッチング部と、 前記パターンマッチング部により得られたパターンマッ
    チング処理結果に基づいて、原画像の、パターンマッチ
    ング上の特徴点を抽出する特徴点抽出部と、 前記特徴点抽出部により抽出された特徴点に関する、前
    記パターンマッチング部により得られたパターンマッチ
    ング処理結果に基づいて、該特徴点の動きベクトルを求
    める動きベクトル演算部と、 前記特徴点抽出部により抽出された特徴点の、前記動き
    ベクトル演算部により求められた動きベクトルに基づい
    て、原画像の乱れを補正した補正画像を求める画像補正
    部とを備えたことを特徴とする補正画像生成装置。
  2. 【請求項２】 原画像の画素を間引いて間引画像を生成
    する画像間引部を備え、 前記特徴点抽出部は、前記パターンマッチング部に、前
    記画像間引部により生成された間引画像についてパター
    ンマッチング処理を行なわせ、この間引画像についての
    パターンマッチング処理結果に基づいて特徴点を抽出す
    るものであって、 前記動きベクトル演算部は、前記パターンマッチング部
    に、間引き前の原画像の、前記特徴点抽出部で抽出され
    た特徴点のブロックについてパターンマッチング処理を
    行なわせ、この原画像についてのパターンマッチング処
    理結果に基づいて該特徴点の動きベクトルを求めるもの
    であることを特徴とする請求項１記載の補正画像生成装
    置。
  3. 【請求項３】 前記動きベクトル演算部は、原画像が格
    子状に分割された複数のブロックのうちの前記配列方向
    に並ぶ複数のブロックからなる短冊内の特徴点の動きベ
    クトルに基づいて該短冊ごとの動きベクトルを求めるも
    のであり、 前記画像補正部は、前記動きベクトル演算部により求め
    られた短冊ごとの動きベクトルに基づいて短冊どうしの
    位置を補正することにより補正画像を求めるものである
    ことを特徴とする請求項１記載の補正画像生成装置。
  4. 【請求項４】 前記動きベクトル演算部は、一旦求めた
    動きベクトルに複数フレームに渡るフィルタリング処理
    を含む処理を施すことにより、前記カメラの振動に起因
    する新たな動きベクトルを求めるものであり、 前記画像補正部は、前記動きベクトル演算部により求め
    られた前記新たな動きベクトルに基づいて前記補正画像
    を求めるものであることを特徴とする請求項１又は３記
    載の補正画像生成装置。
  5. 【請求項５】 コンピュータ内で実行され、該コンピュ
    ータを、複数の受光センサが一次元的に配列された一次
    元撮像素子を用い該一次元撮像素子を構成する複数の受
    光センサの配列方向に交わる走査方向に被写界を繰り返
    し走査することにより、複数フレームの原画像を順次取
    得するカメラにより得られた該原画像の、該カメラの振
    動による乱れを補正して補正画像を生成する補正画像生
    成装置として動作させる補正画像生成プログラムにおい
    て、 原画像を格子状に分割した各ブロックについて、隣接す
    るフレームどうしでパターンマッチング処理を行うパタ
    ーンマッチング部と、 該パターンマッチング部により得られたパターンマッチ
    ング処理結果に基づいて、原画像の、パターンマッチン
    グ上の特徴点を抽出する特徴点抽出部と、 前記特徴点抽出部により抽出された特徴点に関する、前
    記パターンマッチング部により得られたパターンマッチ
    ング処理結果に基づいて、該特徴点の動きベクトルを求
    める動きベクトル演算部と、 前記特徴点抽出部により抽出された特徴点の、前記動き
    ベクトル演算部により求められた動きベクトルに基づい
    て、原画像の乱れを補正した補正画像を求める画像補正
    部とを有することを特徴とする補正画像生成プログラ
    ム。
JP2001328905A 2001-10-26 2001-10-26 補正画像生成装置および補正画像生成プログラム Expired - Fee Related JP3886769B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001328905A JP3886769B2 (ja) 2001-10-26 2001-10-26 補正画像生成装置および補正画像生成プログラム
US10/078,433 US7333132B2 (en) 2001-10-26 2002-02-21 Corrected image generating apparatus and corrected image generating program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001328905A JP3886769B2 (ja) 2001-10-26 2001-10-26 補正画像生成装置および補正画像生成プログラム

Publications (2)

Publication Number Publication Date
JP2003134388A true JP2003134388A (ja) 2003-05-09
JP3886769B2 JP3886769B2 (ja) 2007-02-28

Family

ID=19144889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001328905A Expired - Fee Related JP3886769B2 (ja) 2001-10-26 2001-10-26 補正画像生成装置および補正画像生成プログラム

Country Status (2)

Country Link
US (1) US7333132B2 (ja)
JP (1) JP3886769B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166077A (ja) * 2004-12-08 2006-06-22 Nikon Corp 撮像装置
WO2007074774A1 (ja) * 2005-12-26 2007-07-05 Kyocera Corporation ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
JP2007194973A (ja) * 2006-01-20 2007-08-02 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2011076255A (ja) * 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
US7388603B2 (en) * 2003-06-10 2008-06-17 Raytheon Company Method and imaging system with intelligent frame integration
JP4418317B2 (ja) * 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
JP2006033758A (ja) * 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像復元方法
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
US8005831B2 (en) 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US7970171B2 (en) * 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US7917554B2 (en) 2005-08-23 2011-03-29 Ricoh Co. Ltd. Visibly-perceptible hot spots in documents
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8521737B2 (en) * 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US7991778B2 (en) 2005-08-23 2011-08-02 Ricoh Co., Ltd. Triggering actions with captured input in a mixed media environment
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8144921B2 (en) 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US7885955B2 (en) 2005-08-23 2011-02-08 Ricoh Co. Ltd. Shared document annotation
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US7920759B2 (en) 2005-08-23 2011-04-05 Ricoh Co. Ltd. Triggering applications for distributed action execution and use of mixed media recognition as a control input
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
JP4379918B2 (ja) * 2004-11-29 2009-12-09 富士フイルム株式会社 撮影装置及び撮影方法
US7605845B2 (en) * 2005-04-28 2009-10-20 Texas Instruments Incorporated Motion stabilization
US8423292B2 (en) 2008-08-19 2013-04-16 Tomtom International B.V. Navigation device with camera-info
AU2005332711B2 (en) * 2005-06-06 2010-12-02 Tomtom Navigation B.V. Navigation device with camera-info
JP2007122232A (ja) * 2005-10-26 2007-05-17 Casio Comput Co Ltd 画像処理装置及びプログラム
US8736691B2 (en) * 2006-02-20 2014-05-27 Panasonic Corporation Image pickup apparatus to control an exposure time based on motion of a detected optical image
JP4912694B2 (ja) * 2006-02-23 2012-04-11 オリンパスイメージング株式会社 電子的ぶれ補正装置及び電子的ぶれ補正方法
JP4961800B2 (ja) * 2006-03-31 2012-06-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8120661B2 (en) * 2006-07-26 2012-02-21 Human Monitoring Ltd Image stabilizer
US8073263B2 (en) 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
JP4974704B2 (ja) * 2007-02-22 2012-07-11 パナソニック株式会社 撮像装置
JP4976160B2 (ja) 2007-02-22 2012-07-18 パナソニック株式会社 撮像装置
ES2525701T3 (es) * 2007-03-26 2014-12-29 Pelco. Inc. Método de mejora de las imágenes de una videocámara
JP5061188B2 (ja) * 2007-07-09 2012-10-31 パナソニック株式会社 デジタル一眼レフカメラ
US8159605B2 (en) * 2007-07-13 2012-04-17 Fujitsu Limited Frame interpolating apparatus and method
CN102017605A (zh) * 2008-04-22 2011-04-13 韩国科亚电子股份有限公司 活动影像抖动修正装置及方法
EP2289045A1 (en) * 2008-05-16 2011-03-02 Artivision Technologies Ltd. Method and device for analyzing video signals generated by a moving camera
US20100013992A1 (en) * 2008-07-18 2010-01-21 Zhi Zhou Method and system for detecting motion at an intermediate position between image fields
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
DE102010013377B4 (de) * 2010-03-30 2012-02-02 Testo Ag Bildverarbeitungsverfahren und Wärmebildkamera
KR101181199B1 (ko) * 2011-01-03 2012-09-18 한국과학기술원 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
KR20150015680A (ko) * 2013-08-01 2015-02-11 씨제이씨지브이 주식회사 특징점의 생성을 이용한 이미지 보정 방법 및 장치
US9681096B1 (en) 2016-07-18 2017-06-13 Apple Inc. Light field capture
CN113206951B (zh) * 2021-04-13 2022-07-05 武汉科技大学 一种基于扑翼飞行系统的实时电子稳像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
JPH08147473A (ja) * 1994-11-17 1996-06-07 Matsushita Electric Ind Co Ltd 画像動き検出方法
KR0175372B1 (ko) * 1995-08-29 1999-03-20 김광호 캠코더의 움직임 벡터 검출장치 및 그 검출방법
US5886744A (en) * 1995-09-08 1999-03-23 Intel Corporation Method and apparatus for filtering jitter from motion estimation video data
US5798786A (en) * 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
US6473120B2 (en) * 1996-08-13 2002-10-29 Canon Kabushiki Kaisha Image pickup apparatus for applying predetermined signal processing in conjunction with an image shifting mechanism
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
US6215914B1 (en) * 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
JP2001268431A (ja) 2000-01-11 2001-09-28 Fujitsu Ltd 補正画像生成装置，補正画像生成方法，補正画像生成用プログラム記録媒体および補正画像生成用プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166077A (ja) * 2004-12-08 2006-06-22 Nikon Corp 撮像装置
WO2007074774A1 (ja) * 2005-12-26 2007-07-05 Kyocera Corporation ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
US8542278B2 (en) 2005-12-26 2013-09-24 Kyocera Corporation Shaking detection device, shaking correction device, imaging device, and shaking detection method
JP2007194973A (ja) * 2006-01-20 2007-08-02 Victor Co Of Japan Ltd 動きベクトル検出装置
JP4674549B2 (ja) * 2006-01-20 2011-04-20 日本ビクター株式会社 動きベクトル検出装置
JP2011076255A (ja) * 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Also Published As

Publication number Publication date
US20040201706A1 (en) 2004-10-14
US7333132B2 (en) 2008-02-19
JP3886769B2 (ja) 2007-02-28

Similar Documents

Publication Publication Date Title
JP2003134388A (ja) 補正画像生成装置および補正画像生成プログラム
US6211913B1 (en) Apparatus and method for removing blank areas from real-time stabilized images by inserting background information
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
EP2849428B1 (en) Image processing device, image processing method, image processing program, and storage medium
US7742657B2 (en) Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
US20060061658A1 (en) Image stabilisation system and method
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
EP2023596A2 (en) Apparatus and program for producing as panoramic image
JP2007142929A (ja) 画像処理装置及びカメラシステム
JPH1093808A (ja) 画像合成装置および方法
WO2012172817A1 (en) Image stabilization apparatus, image stabilization method, and document
US20170032503A1 (en) System and method for images distortion correction
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
CN108805807A (zh) 环景图像的拼接方法及其系统
US20120287311A1 (en) Digital image processing device and processing method thereof
JP2007104516A (ja) 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
CN108074219A (zh) 一种图像校正方法、装置及医疗设备
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JPH0422280A (ja) 画像の動き検出装置
JP2021149513A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6410062B2 (ja) 撮像装置および撮像画像の表示方法
JP3715091B2 (ja) 画像処理装置
KR20200010247A (ko) 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
JP3523064B2 (ja) ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061122

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091201

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131201

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees