JP2009141630A - 画像処理装置、その制御方法、プログラム - Google Patents

画像処理装置、その制御方法、プログラム Download PDF

Info

Publication number
JP2009141630A
JP2009141630A JP2007315210A JP2007315210A JP2009141630A JP 2009141630 A JP2009141630 A JP 2009141630A JP 2007315210 A JP2007315210 A JP 2007315210A JP 2007315210 A JP2007315210 A JP 2007315210A JP 2009141630 A JP2009141630 A JP 2009141630A
Authority
JP
Japan
Prior art keywords
image
still images
frame
images
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007315210A
Other languages
English (en)
Other versions
JP2009141630A5 (ja
JP5144237B2 (ja
Inventor
Keiichi Fukuzawa
敬一 福澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007315210A priority Critical patent/JP5144237B2/ja
Priority to CN200880119619.7A priority patent/CN101889434B/zh
Priority to US12/739,427 priority patent/US8848034B2/en
Priority to PCT/JP2008/070539 priority patent/WO2009072375A1/en
Publication of JP2009141630A publication Critical patent/JP2009141630A/ja
Publication of JP2009141630A5 publication Critical patent/JP2009141630A5/ja
Application granted granted Critical
Publication of JP5144237B2 publication Critical patent/JP5144237B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/28Locating light-sensitive material within camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にする。
【解決手段】連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置であって、前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成手段と、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段と、前記取得手段が取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成手段と、を備えることを特徴とする画像処理装置を提供する。
【選択図】図5

Description

画像処理装置、その制御方法、及びプログラムに関し、特に、撮像された複数の静止画像を処理する技術に関する。
撮像装置の撮像画角よりも広い画角の画像を取得する方法として、連続して撮像した2枚の画像が共通部分を持つように撮像領域を少しずつシフトさせながら複数の画像を撮像する方法(以下、「分割撮像方法」と呼ぶ)が知られている。
分割撮像方法に関する従来の技術として、ビデオカメラのパンニング画像から画角の広い1枚の画像を生成する技術が、特許文献1の図7に開示されている。特許文献1の技術は、パンニング画像から画像パターンマッチングで動きベクトルを算出し、共通画像エリア(図7のS5のクロスハッチ部分)を検出し、共通画像エリア以降の部分を結合する(図7のS5のメモリ20C)ものである。
また、こうして生成された合成画像データの再生表示に関しては、特許文献1の図20に開示されている。特許文献1の技術によれば、合成画像全体の縮小画像を表示部右下エリア(サブ画面)に表示し、中央から左側に設定されたメイン画面には合成画像全体の一部(サブ画面のクロスハッチ部分)を表示する。即ち、メイン画面には、縮小画像の一部が拡大表示される。また、縮小画像をそのまま拡大したのでは解像度が不足するため、拡大表示する部分に対応する画像データが記録媒体から再度読み出される。
また、関連性のある複数の撮像画像を合成することなく表示する方法が特許文献2の図14に開示されている。特許文献2によれば、関連する複数の撮像画像の再生順序を制御するプレイリストが撮像時に生成される。ユーザは再生時にこのプレイリストを選択すれば、ユーザは煩雑な操作を行わずに撮像範囲全体の撮像画像を、画質を維持したまま連続して閲覧することができる。
特開平6−121226号公報 (図7、図20) 特開2005−197785号公報 (図14)
しかしながら、特許文献1の技術では、合成画像の拡大表示部分を移動する度に対応する画像データを記録媒体から読み出す必要がある。従って、画像データの読み出し処理に時間を要し、拡大表示部分を滑らかに移動させられない場合がある。また、ユーザは拡大表示する部分を選択する必要があるため、合成画像全体を高画質のまま表示させる手順は煩雑である。
また、特許文献2の技術では、撮像画像単位で表示画像が切り替わるので、前後に表示される撮像画像の関連性をユーザが直感的に把握することが容易ではない。
本発明はこのような状況に鑑みてなされたものである。本発明は、連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にする技術を提供することを目的とする。
上記課題を解決するために、第1の本発明は、連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置であって、前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成手段と、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段と、前記取得手段が取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成手段と、を備えることを特徴とする画像処理装置を提供する。
また、第2の本発明は、連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置の制御方法であって、前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成工程と、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得工程と、前記取得工程で取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成工程と、を備えることを特徴とする制御方法を提供する。
また、第3の本発明は、連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置を、前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成手段、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段、前記取得手段が取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成手段、として機能させるためのプログラムを提供する。
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。
以上の構成により、本発明によれば、連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にすることが可能となる。
以下、添付図面を参照して、本発明の実施例を説明する。以下で説明される個別の実施例は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。
なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施例によって限定されるわけではない。また、実施例の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
本発明の画像処理装置をデジタルカメラに適用した実施例について説明する。まず、図13乃至図15を参照して、分割撮像方法における撮像処理(分割撮像処理)、及び分割撮像処理により取得された複数の静止画像から1枚の合成画像を生成する処理(以下、「ステッチ処理」と呼ぶ)について説明する。
図13は、分割撮像処理及びステッチ処理を実行可能なデジタルカメラ100の構成を示すブロック図である。
図13において、140は、撮像された画像データ等を記録する記録媒体であり、例えば、コンパクトフラッシュ(登録商標)やSD(登録商標)メモリカード等のメモリカードを含む。105は、レンズや撮像素子等を用いて被写体像をデジタルデータに変換して画像データを生成する撮像部であり、110は、生成された画像データや記録媒体140から読み出された画像データなどを一時的に記憶する一時記憶部である。
120は、画像データをJPEG符号化等の静止画圧縮符号化処理により圧縮する圧縮部である。130は、圧縮符号化された画像データ(以下、「圧縮画像データ」と呼ぶ)のフォーマットをJPEGファイル形式に変換するなどして記録媒体140の記録形式に適合させる記録制御部である。
160は、撮像部105が取得した画像データ等を表示する表示部であり、170は、2つの画像データ(例えば、撮像部105が取得した画像データ、及び一時記憶部110に記憶されている画像データ)を合成する合成部である。180は、デジタルカメラ100の全体動作(例えば、画像データの記録、再生、表示等の動作)を制御する制御部であり、マイクロコンピュータ等を含む。190は、制御部180に対してユーザが指示を与えるための入力部であり、メニューボタンや決定ボタン等を含む。
210は、記録媒体140からJPEGファイル等を読み出して、圧縮画像データ等を抽出する再生制御部であり、220は、圧縮画像データを復号して非圧縮の画像データを取得する伸張部である。
図14は、デジタルカメラ100の外観を示す概略図である。図14において、190aは、入力部190に含まれるシャッタボタンである。ユーザは、表示部160を見ることにより、撮像した画像や、これから撮像しようとする被写体像を確認することができる。
分割撮像処理を説明する前に、まず、1枚単位で独立した画像を撮像する処理(以下、「通常撮像処理」と呼ぶ)を説明する。
図13において、撮像部105は、被写体像から画像データを生成する。生成された画像データは、合成部170と一時記憶部110とに逐次出力される。
通常撮像処理では、合成部170は、合成処理を行うことなく、入力された画像データを表示部160に出力する。表示部160は、合成部170から入力された画像データを逐次表示する。
ユーザは、表示部160を見て被写体画像を確認し、所望のタイミングでシャッタボタン190aを押下することにより、制御部180に画像データの記録処理の開始を指示する。制御部180は、一時記憶部110と圧縮部120とに対して記録開始動作信号を出力する。
通常撮像処理では、記録開始信号を受けた一時記憶部110は、撮像部105から入力された最新の画像データを圧縮部120に出力する。圧縮部120は、制御部180の記録開始信号を受けて、一時記憶部110から入力された一画面分の画像データを圧縮し、記録制御部130に出力する。記録制御部130は、圧縮部120から入力された圧縮画像データのフォーマットを変換し、記録媒体140に記録する。
以上が、デジタルカメラによって実行される通常撮像処理である。
次に、分割撮像処理及びステッチ処理について説明する。ここでは、説明を簡略化するために、2枚の撮像画像を用いる分割撮像処理及びステッチ処理を例にとって説明する。
ユーザは、デジタルカメラ100の入力部190を介して、分割撮像処理の開始を制御部180に指示する。すると、制御部180は、分割撮像処理を行うことを示す信号を、一時記憶部110や圧縮部120へ出力する。この信号を受信すると、一時記憶部110は、撮像部105から入力された画像データを一時的に蓄積するように動作する。また、圧縮部120は、分割撮像処理において取得された旨を示す識別データを画像データに付加するように動作する。なお、識別データのデータ形式としては、任意の知られているデータ形式を使用することができるため、詳細な説明を省略する。
まず、分割撮像処理の開始点となる1枚目の画像データの撮像処理を説明する。但し、通常撮像処理と同様の処理については説明を省略する。
撮像部105で生成された画像データは、表示部160に逐次表示される。ユーザが所望のタイミングでシャッタボタン190aを押下すると、1枚目の画像データの記録開始信号が制御部180に入力される。
制御部180は、入力された記録開始信号のタイミングで、一時記憶部110に対して分割撮像の実行を指示する。一時記憶部110は、制御部180からの指示を受けて、一枚目の画像データを記憶すると共に、記憶した画像データを圧縮部120に出力する。圧縮部120は、制御部180からの分割撮像指示を受けて、入力された画像データを圧縮し、更に、分割撮像の識別データを付加して、記録制御部130に出力する。記録制御部130は、圧縮部120から入力された圧縮画像データのフォーマットを変換し、記録媒体140に記録する。
次に、分割撮像処理における2枚目の画像データの撮像処理を説明する。
1枚目の画像データの撮像時と異なり、一時記憶部110には、1枚目の画像データが記憶されている。合成部170は、この1枚目の画像データを読み出すと共に、撮像部105に入力される被写体像のデジタルデータを、撮像部105から逐次読み出して1枚目の画像データと合成し、表示部160に表示する。
図15は、分割撮像処理において2枚目の画像データを撮像する際の、合成処理の概要を示す図である。一時記憶部110には、1枚目の画像データ310が記憶されている。画像データ320は、撮像部105に逐次入力されている被写体像のデータである。画像データ310は、図14に示すように、表示部160の左側に表示され、画像データ320は、表示部160の右側に、一部が画像データ310と重複した状態で表示される(重複部330参照)。
ユーザは、重複部330において画像データ310と画像データ320とが略同一となるようにデジタルカメラ100の方向を操作し、シャッタボタン190aを押下する。これにより、1枚目の画像データ310と同様に、画像データ320が2枚目の画像データとして記録媒体140に記録される。画像データ310と画像データ320とは、共通部分(重複部330に対応する部分)を有する。また、画像データ320には、圧縮部120によって識別データが付加される。
このようにして撮像された2枚の画像データは、ユーザの指示に応じて合成処理(ステッチ処理)されて表示部160に表示される。また、ユーザの指示に応じて、ステッチ処理により生成された合成画像の画像データ(合成画像データ)も、記録媒体140に記録される。以下、詳細に説明する。
ユーザは、入力部190を介して制御部180にステッチ処理の実行を指示する。制御部180はこの指示を受けて、再生制御部210に対して、分割撮像した複数の画像データの再生を指示する。再生制御部210は、記録媒体140のファイル管理情報を参照して、識別データが付加されたステッチ処理の対象の圧縮画像データを検索して読み出す。読み出された圧縮画像データは伸張部220で復号され、一時記憶部110に入力される。ここでは、説明の簡略化のため、上述した2枚の画像データが読み出されて一時記憶部110に記憶されたものとする。
合成部170は、一時記憶部110に記憶された2枚の画像データの共通部分を合成することにより、1枚の合成画像を生成する。このようにして生成された合成結果は、表示部160に表示される(図15参照)。或いは、テレビモニタ出力端子(不図示)から外部へ出力されてもよい。
通常、表示部160のアスペクト比と合成画像のアスペクト比とは異なるので、図14に示すように、合成画像は全体が表示部160に表示されるように縮小されて表示され、合成画像以外の部分には何も表示されない。
この縮小された合成画像は、更に、圧縮部120で圧縮され、記録制御部130によって記録媒体140に記録される。以後、同一の画像データに対してステッチ処理の実行が指示された場合、制御部180は、実際にステッチ処理を実行する代わりに、記録媒体140に記録された合成画像を再生制御部210に取得させる。これにより、合成画像の表示に要する時間が短縮される。
なお、以上の説明においては、撮像領域を左から右へシフトさせる分割撮像方法について説明したが、撮像領域を右から左へシフトさせてもよい。また、撮像領域を左から右、下、左へとシフトさせることにより、上下左右に画角の広い合成画像を生成することもできる。
また、デジタルカメラ100ではなく、例えばパーソナルコンピュータ(PC)がステッチ処理を行ってもよい。特に、ステッチ処理の対象の画像データ数が多い場合は、豊富なリソース(メモリ容量など)が必要なため、PCなどによってステッチ処理が行われる場合が多い。
以上説明したように、合成画像全体を表示部160に表示すると、合成画像が縮小されるため、視認性が低下する(図14参照)。そこで、実施例1では、合成画像を表現する動画像を生成することにより、合成画像の全体像をユーザが容易に把握できるようにする。
図4は、本発明に係る画像処理装置を適用したデジタルカメラ200の構成を示すブロック図である。図4において、デジタルカメラ100(図13参照)と同一の構成要素には同一の符号を付し、説明を省略する。なお、デジタルカメラの代わりに、PCなど、撮像機能を備えないデバイスを利用してもよい。また、表示部160は必ずしも必要ではない。
図4において、10は、動画像を生成するためのフレーム画像を合成画像の所定の領域から切出す切出し部であり、20は、切出されたフレーム画像にMPEG等の動画像符号化処理を適用して動画像を生成する、圧縮部である。
次に、図4を参照して、動画像生成処理の概要を説明する。ユーザは、入力部190を介して制御部180に動画像の生成を指示し、制御部180は、動画像を生成するための各種指示をデジタルカメラ200の各構成要素に与える。
まず、再生制御部210が、分割撮像された複数の圧縮画像データを記録媒体140から読み出し、伸張部220に出力する。伸張部220は、入力された圧縮画像データを伸張し、一時記憶部110に記憶させる。図5において、画像データ510は時刻tに撮像された画像データであり、画像データ520は時刻tに撮像された画像データであり、それぞれが共通部分を有する。以下、合成対象の画像データ510及び画像データ520を、元画像とも呼ぶ。
合成部170は、一時記憶部110から元画像を取得し、共通部分を合成することにより1枚の合成画像600を生成する。切出し部10は、合成画像600の複数の領域から画像を切出すことにより、フレーム画像を取得する。ここで、切出し部10は、動画像を再生表示する表示装置のアスペクト比と同じ(或いは、少なくとも近い)アスペクト比で画像を切出すことが好ましい。
図5に示すように、本実施例では、切出し部10は、切出し位置610、611、612、613、‥‥‥、620から画像を切出し、圧縮部20へ出力する。表示部160は、切出された画像を逐次表示する。一方、圧縮部20は、切出された画像をMPEG符号化して動画像を生成し、記録制御部130を介して記録媒体140に記録する。
次に、図1及び図2を参照して、画像の切出し処理の詳細を説明する。但し、以下の説明は一例に過ぎず、種々の変形例も本発明の範囲に含まれる。本発明において重要なことは、合成画像が細かな移動間隔で表示されるように、元画像である複数の静止画像の数よりも多数のフレーム画像が取得されることである。また、複数の静止画像において、連続して撮像された2つの静止画像の全ての組合せそれぞれについて、共通部分を挟んで両方に跨る少なくとも1つの領域からフレーム画像が取得されることも重要である。ここで、「共通部分を挟んで両方に跨る少なくとも1つの領域」は、図5の例では、切出し位置610乃至620のうち、切出し位置610及び620を除いたものによって規定される領域に対応する。
図1のS110で、制御部180は、画像の切出し方法を設定する。S110における処理の詳細は、図2に示される。
図2のS117で、制御部180は、合成対象の元画像の撮像時刻を取得する。撮像時刻は、例えば、元画像のExif情報から取得可能である。本実施例では、画像データ510の撮像時間はtであり、画像データ520の撮像時間はtである。
S119で、制御部180は、元画像の合成基準位置情報を取得する。合成基準位置情報とは、元画像を合成した場合に生成される合成画像において、元画像の基準となる位置を示す情報である。本実施例では、画像データ510の基準位置はxであり、画像データ520の基準位置はxである。
S121で、制御部180は撮像時間tとtとを比較する。t<tの場合、S123で、制御部180は、切出し方向をxからxの方向に移動させるように設定すると共に、切出し位置xをxに設定する。そうでなければ、S125で、制御部180は、切出し方向をxからxの方向に移動させるように設定すると共に、切出し位置xをxに設定する。つまり、切出し方向は、先に撮像された静止画像から後に撮像された静止画像へ向かうように設定される。
次に、S127で、制御部180は、次式に従い、切出し位置変更量dを設定する。

=α×|x−x|/|t−t−tset|/fs‥‥‥‥‥式(1)

fs:フレームサンプリング周期(Hz)
set:分割撮像調整時間(sec)

上式(1)において、tsetは、2枚の元画像の撮像時刻の間隔を補正する。また、αは固定値(通常は1)でもよいが、基準位置の間隔|x−x|に相関をもつようにしてもよい。
α=1の場合は、分割撮像時の撮像間隔にしたがって、切出し位置変更量dが設定されることになる。
αに基準位置間隔の相関を持たせる場合とは、次式に従い、基準位置間隔が大きければ細かく設定し(α>1)、基準位置間隔が小さければ荒く設定する(1<α)ことである。

α=|x−x|/Δxα1‥‥‥‥‥‥‥‥‥‥式(2)

Δxα1:ユーザが標準(α=1)と設定する基準位置の間隔

上式(2)によれば、分割撮像時の撮像間隔が大きい(連続して撮像された2枚の静止画像の共通部分が小さい)ほど、切出し位置変更量dが大きく設定される。
最後に、S129で、制御部180は、元画像の繰り返し表示回数Nedを設定する。後述する切出し処理において、元画像の切出しを複数回(Ned)繰り返し行うことで、元画像が長い時間表示される。なお、Ned=1でもよい。
以上の処理により、切出し方法の設定が完了する。
図1に戻り、S150で、制御部180は、切出し位置xが元画像の位置に一致するか否かを判定する。一致すればS152に進み、そうでなければS154に進む。最初の処理の切出し処理では、切出し位置xは、元画像と一致した位置(x又はx)であるので、S152に進む。
S152で、制御部180は、切出される元画像が開始画像(最初に撮像された画像)であるか否かを判定する。開始画像であればS156に進み、そうでなければS162に進む。最初の処理では、開始画像であると判定されるので、S156に進む。
S156で、切出し部10は、合成画像の切出し位置xに対応する領域から、フレーム更新間隔(fs)でNed回繰り返しフレーム画像を切出す。なお、ここでの切出し回数を1回としてもよい。この場合、圧縮部20が動画像を生成する際に元画像に対応する領域から取得されたフレーム画像を複数連続(Ned個連続)して並べて動画像を生成すればよい。また、S156では、元画像のいずれかに対応する領域からフレーム画像が取得されるので、切出し部10は、合成画像から画像を切出す代わりに、元画像そのものをフレーム画像として取得してもよい。元画像は、共通部分の合成に伴う画質劣化の影響を受けていないので、元画像そのものをフレーム画像として取得すれば、フレーム画像の画質が向上する(S162においても同様)。
図5に示すように、切出し位置610が開始位置であり、元画像は、フレーム画像710a、710b、‥‥‥‥として切出され、フレーム更新間隔(fs)で時系列に並べられる。このように、切出し開始画像は、複数回切出されるので、時間的にも長い時間表示されることになる。
次に、S164で、制御部180は、切出し位置xを変更する(x=x+d)。図5の例では、変更後の切出し位置xは切出し位置611に対応する。
再びS150における判定が行われ、今回は切出し位置xが元画像の位置に一致しないので、S154に進む。S154で、切出し部10は、合成画像の切出し位置xから画像を1回切出す。これにより、図5のフレーム画像711が取得される。これ以降、再び切出し位置が元画像の位置に一致するまで、S164及びS154における処理が繰り返し実行される。これにより、図5の示すフレーム画像712、713、‥‥‥が取得される。
切出し位置xが切出し位置620と一致すると、S150からS152へと進み、更に、切出し位置620の画像は開始画像ではない(終了画像である)ので、S162に進む。S162で、切出し部10は、Ned回の切出し処理を行う(詳細はS156における処理と同様であるため省略する)。
以上で、切出し処理が完了する。
以上の処理の間、図5に示すように、切出されて時系列に並べられた画像群は、先に説明したように図4の表示部160で逐次表示されることになる。
このように、合成画像から一部を切出して表示することにより、撮像時の高品位な画質を確保したまま合成画像全体を表示することができることになる。
また、最初と最後のフレーム画像は、他のフレーム画像よりも長く表示される。最初と最後のフレーム画像は元画像であり、合成によるひずみ等の画質劣化が少ないので、長く鑑賞するのに適しているからである。更に、ユーザにとっても、撮像時のイメージを再現する上で、実際に撮像した画像を長く表示することは好ましい。
また、分割撮像処理における撮像時刻に基づいて、切出し方向や切出し位置変更量を制御しているので、生成された動画像は、撮像順を反映したものとなる。
更に、切出し位置変更量を、元画像の切出し基準位置の間隔と相関をもたせることもできるので、分割撮像時に撮像位置を大きくずらした場合(間隔が大きい場合)は、位置変更量を大きめにすることが可能である。従って、注目度の高い元画像への移動が早くなり、注視画像の視認性が向上する。
次に、図3を参照して、圧縮部20における動画像生成処理を説明する。説明を簡単にするために、本実施例では、圧縮部20は、切出し部10が切出した順にフレーム画像を並べて動画像を生成する。しかしながら、切出し部10が合成画像のスクロール方向と無関係な順番でフレーム画像を取得した場合は、圧縮部20は、切出し部10から入力されたフレーム画像を適宜並び替える必要がある。いずれにしても、圧縮部20は、合成画像がスクロール表示されるように、即ち、連続するフレーム画像が共通部分を持つように、動画像を生成する。また、圧縮部20は、連続して撮像された2つの静止画像について、先に撮像された静止画像に対応する領域から後に撮像された静止画像に対応する領域へ一方向にスクロール表示されるように動画像を生成することが好ましい。
まず、S182で、圧縮部20は、符号化対象のフレーム画像が元画像に対応する領域から取得されたものであるか否かを判定する。元画像に対応する領域から取得されたものである場合、S184に進み、そうでない場合、S186に進む。
S184で、圧縮部20は、元画像に対応する領域から取得されたフレーム画像が、Ned回のうちの1回目のものであるか否かを判定する。1回目であればS188に進み、そうでなければS186に進む。
S188で、圧縮部20は、フレーム画像を画面内符号化する。図5に示すように、フレーム画像710aは、画面内符号化されたIピクチャである。元画像そのものを元画像に対応する領域のフレーム画像として取得した場合、このフレーム画像は合成処理による画質劣化の影響を受けていないので、画質が維持されている。従って、その画質を維持するために最初のフレーム画像に対して、符号量を多く割り当てる画面内符号化方式を適用する。
一方、S186では、圧縮部20は、画面間予測符号化又は双方向予測符号化によりフレーム画像を符号化する。例えば、図5に示すように、フレーム画像710b、‥‥‥、が画面間予測符号化(双方向予測符号化でもよい)される。同一の切出し位置から取得されたフレーム画像については、2枚目以降にフレーム間圧縮を用いることで、符号量が削減される。
S194で、圧縮部20は、全てのフレーム画像を処理したか否かを判定する。全てのフレーム画像を処理した場合は本フローチャートの処理を終了する。そうでない場合、S182に戻り、次のフレーム画像を処理する。
元画像でないフレーム画像に対しては、合成処理により多少画像がひずむ部分(即ち、共通部分)が画面の画面中央付近に位置することが多いので、特別に高い画質を求めてもそれほど効果が得られない。そこで、図5に示すように、フレーム画像711、712、713、‥‥‥、には、画面間予測符号化を適用する。
以上により、動画像の生成処理が完了する。なお、図3のフローチャートに従えば、2枚目の撮像画像に対応するフレーム画像720aも画面内符号化されるが、圧縮率の向上を優先する場合、フレーム画像720aを画面間予測符号化又は双方向予測符号化してもよい。反対に、動画像の特殊再生(例えば、逆方向の再生)を可能にするために、所定の間隔で画面内符号化されたフレーム画像を持つように動画像を生成してもよい。
以上、本実施例では、切出し部10が切出した順にフレーム画像を並べて動画像を生成し、前記動画像群をまとめて圧縮する処理を述べた。しかし、動画像の開始と最後のフレーム画像は所定時間同じ画像が表示されるので、開始と最後のフレームを通常の静止画表示し、最初から最後のフレームに切出し位置が移動する部分だけ上述の動画像として生成し、圧縮の処理してもよい。この場合、再生時は、静止画を所定時間(繰り返し表示回数Nedから算出)表示したあと、動画再生し、最後にまた静止画を所定時間表示する再生制御を実現するプレイリストを生成しておくことになる。この場合も、本実施例のひとつとなる。
以上説明したように、本実施例によれば、切出し部10が合成画像の複数の領域からフレーム画像を取得する。このとき、切出し部10は、合成画像を構成する静止画像の数よりも多数のフレーム画像を取得する。また、連続して撮像された2つの静止画像の全ての組合せそれぞれについて、共通部分を挟んで両方に跨る少なくとも1つの領域からフレーム画像を取得する。圧縮部20は、取得されたフレーム画像から、合成画像がスクロール表示される動画像を生成する。
これにより、連続して撮像された2つの静止画像が共通部分を有するように撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にすることができる。
また、圧縮部20は、フレーム画像の大部分が予測符号化されるので、動画像のデータ量が削減され、動画像の再生装置のリソースが限られていても滑らかな再生表示が可能になる。
実施例1は、3枚以上の元画像が存在する場合を排除するものではないが、説明を分かり易くするために、実施例2では、3枚以上の元画像が存在する場合の処理を具体的に説明する。また、3枚以上の元画像が存在する場合でも、2枚単位で元画像を合成して部分合成画像を生成することにより、動画像の生成に必要なメモリ容量を削減する技術についても説明する。
なお、画像処理装置としてのデジタルカメラ200の構成は実施例1と同様であるので、その説明を省略する(図4参照)。
本実施例では、図8に示すように、それぞれ時刻t、t、t、tに撮像された4枚の画像データ1510、1520、1530、1540を使用する。
図6及び図7を参照して、画像の切出し処理の詳細を説明する。図6において、実施例1と同様の処理が行われるステップには同一の符号を付し、説明を省略する(図1参照)。
図6のS1110で、制御部180は、画像の切出し方法を設定する。S1110における処理の詳細は、図7に示される。
図7のS1113で、制御部180は、合成対象の元画像の枚数n(図8の例では、n=4)を取得すると共に、カウンタiを1に初期化する。
次に、S1115で、制御部180は、カウンタiが元画像の枚数nに達したか否かを判断する。達していなければ、S1117に進み、達していれば、S1133に進む。
実施例1では、n=2であり、i=1についてのみ、S1117乃至S1127における処理が実行された。即ち、S1117乃至S1127における処理は、iの値が1以外の場合についても実行されるという点を除き、図2のS117乃至S127における処理と同様であるため、詳細な説明は省略する。
S1129において、制御部180は、i≧2の場合にのみ、次式に従って元画像の繰り返し表示回数Nを設定する。

=β×(Δxi−1+Δx) ‥‥‥‥‥式(3)
Δx=|xi+1−x

繰り返し回数Nは、隣接する元画像の切出し基準位置間隔Δxi−1及びΔxの大きさに比例している。つまり、隣接する切出し基準位置間隔が大きいほど、繰り返し回数が大きく設定される。βは比例定数である。
S1131で、制御部180は、iに1を加算し、S1115に戻る。
S1115において、カウンタiがnに達すると、S1133に進み、制御部180は、S1133で、次式に従って元画像の繰り返し表示回数Nedを設定する。

ed=γ×ΣΔx ‥‥‥‥‥‥‥‥‥‥式(4)

式4から明らかなように、繰り返し回数Nedは、途中の元画像の繰り返し回数Nより十分に大きくなるように設定される。γは比例定数である。
なお、本実施例では、Nedは、最初と最後に撮像された元画像(i=1及びn)に対してのみ適用される。
以上の処理により、切出し方法の設定処理が完了する。
図6に戻り、実施例1(図1参照)と異なる部分を説明する。本実施例では、S152において、切出される元画像が開始画像ではないと判定された場合、S1158に進む。
S1158で、制御部180は、切出される元画像が終了画像(最後に撮像された画像)であるか否かを判定する。終了画像である場合はS162に進み、そうでない場合はS1160に進む。
S1160で、切出し部10は、i番目の元画像を、N回繰り返し切出す。図8の例では、1回目にS1160の処理が実行される際に画像データ1520が切出され、2回目にS1160の処理が実行される際に画像データ1530が切出される。
なお、図8において、符号1710、1720、1730、及び1740は、元画像に対応するフレーム画像を示し、符号1715、1725、及び1735は、それぞれの元画像に跨る領域のフレーム画像を示す。
以上の処理により、フレーム画像の切出しが完了する。
圧縮部20は、以上の処理により得られたフレーム画像を実施例1(図3参照)と同様に符号化して動画像を生成する。
本実施例においては、中間の元画像(図8の符号1720、1730)に関しては、撮像状況を反映した数のフレーム画像が切出されるので、注目度に応じた動画像の表示を実現することができる。また、中間の元画像と最初および最後の元画像(図8の符号1710、1740)の切出し枚数に差を付けているので、分割撮像で印象が残る最初および最後の画像については、注目度を更に高めて表示することが可能となっている。
図8の例では、撮像領域を一方向(左から右)へシフトさせながら撮像された4枚の静止画像を使用した。しかし、撮像領域のシフト方向は、一方向である必要はない。以下、図9及び図10を参照して説明する。
図9は、4分割撮像であるのは図8の場合と同じだが、シフト方向が途中で反転する場合における動画像の生成の様子を示している。
具体的には、図9の元画像2610乃至2640の中で、元画像2620と2630の切出し基準位置が逆転している点が、図8と異なっている。このような場合でも、本発明によれば、元画像2620から元画像2630までの表示のための切出し方向はxからxへ向かって設定される。そのため、図9に示すように、元画像2610〜2640の順番に、切出し位置の方向を変更しながら、動画像を生成することが可能となる。
また、撮像順序に則したフレーム画像の切出しが行われるので、撮像順序を再現する形で再生表示される動画像を生成することができる。
図10は、4分割撮像であるのは図8の場合と同じだが、シフト方向を二次元的に変化する場合における動画像の生成の様子を示している。
具体的には、図10の元画像3610から元画像3640へ分割撮像したときに、途中の元画像で切出し基準位置を90度ずつ変更して、2次元的な大きなエリアを分割撮像している。この場合でも、2つの元画像間の切出し処理は、上述のワークフロー(図6及び図7参照)と同じ手順で実現することができる。
また、合成部170は、最初のフレーム画像が切出される前に全ての撮像画像を合成して1枚の合成画像を生成してもよいし、切出し対象の領域に対応する2枚の撮像画像のみを必要なタイミングで合成して部分合成画像を生成してもよい。
後者の場合、切出し部10は、合成画像の代わりに、部分合成画像からフレーム画像を取得する。一時記憶部110は、合成画像を保持する必要はなく、合成画像よりも小さな部分合成画像を保持すればよい。従って、一時記憶部110は、元画像を2枚合成するのに必要な容量を持てばよいので、一時記憶部110の容量が比較的限られているデジタルカメラなどの小型デバイスでも本実施例の処理を実行することができる。
以上説明したように、本実施例によれば、3枚以上の元画像が存在する場合にも実施例1と同様、本発明の技術を利用できることが明らかである。
実施例3では、合成部170が2枚の静止画像の共通部分を合成する際に、切出し部10による画像の切出し位置に応じて、合成比率を変化させる。即ち、合成部170は、所謂αブレンドを行い、切出し部10による画像の切出し位置に応じて、αの値を変化させる。以下、図11及び図12を参照して説明する。
図11は、実施例3に係る画像の切出し処理の詳細な流れを示すフローチャートである。図11において、実施例1(図1参照)と同様の処理が行われるステップには同一の符号を付し,説明を省略する。
実施例3では、実施例1と異なり、S150の前にS148が存在する。S148で、合成部170は、切出し位置xに対応する2枚の静止画像の共通部分を、切出し位置xに基づく重み付けにより合成して、部分合成画像を生成する。
ここで、図12に示す、画像データ4510及び画像データ4520から部分合成画像4600を生成する場合を考える。画像データ4510及び画像データ4520はそれぞれ、共通部分4610b及び4620bを含む。合成部170は、共通部分4610b及び4620bを合成する際に、(1−α):αの比率で合成を行う(0≦α≦1)。このとき、合成部170は、切出し位置が一方の静止画像(例えば、画像データ4510)に近いほどその静止画像に高い重みを付けて(即ち、αの値を小さくして)合成を行う。
また、切出し位置が元画像の領域に対応する場合、この元画像のみが使用されるように、αの値を0又は1に設定する。例えば、切出し位置4610から画像が切出される場合、αの値は0である。これにより、元画像の領域に対応する位置から切出されたフレーム画像は、合成時の画像ひずみ等による画質劣化の影響を受けない。
切出し位置が、切出し位置4620に近づくにつれて、合成部170は、αの値を大きくする。例えば、切出し基準位置の間隔Δx=|x−x|に対する現在の切出し位置移動量|x−x|の割合で決定してもよい。切出し位置xがxと一致するときはα=0、xと一致するときはα=1となり、その間を線形補間してα値を求めることになる。このように、α値を切出し位置に応じて決定していく。
本実施例では、連続するフレーム画像間でα値が変化していくので、圧縮部20が双方向予測符号化方式によりフレーム画像を符号化した場合、予測効率が向上し、符号量が削減される。また、図12に示すように、元画像とは異なる領域から取得されたフレーム画像の一部を画面内符号化すれば、動画像を逆から再生したり、コマ飛ばしで再生したりする、所謂特殊再生モードの実現が可能になる。
上述の画像合成方法は、画素加算によるαブレンド方式を例にして述べた。しかし、本発明における画像合成方法は、αブレンド方式に限定されるものではない。例えば、似ている2つの画像を、座標変換してつなぐモーフィングという技術がある。このような画像変換技術で、元画像の合成共有エリアの画像を時系列につなぐ方法も、本発明の他の実施例となり得る。
更に、別の画像合成方法として、元画像の合成共有エリアの画像を所定の位置で切り替え、前記切り替え位置を時系列的に変化させる方法も、本発明の他の実施例となり得る。
以上の、αブレンド方式、モーフィング方式、切り替え方式による画像合成方法であれば、元画像に対応するのフレーム画像は、元画像と完全に一致している。つまり、表示時間が長い画像では、歪みのない元画像を表示することができる。
更に、別の画像合成方法として、合成共有エリア部分に発生する歪を軽減し、不自然な不連続画像を発生させないように、画像合成する手法もある。この場合、時系列的に合成処理を変化させる必要がないので、処理負荷が軽減される。但し、表示時間が長い画像でも、元画像とは完全に一致しないが、画像が滑らかに合成されているので、分割撮像の表示方法として不自然さを軽減することが可能となる。
なお、本実施例では、切出し部10が、所定の2枚の静止画像間の少なくとも1つの領域から画像を切出す際にも、合成部170は、各領域のために別個の部分合成画像を生成するということに注意されたい。
以上説明したように、本実施例によれば、2枚の静止画像の共通部分の合成比率が段階的に変化しながらフレーム画像が取得される。
これにより、合成に伴うフレーム画像の画質劣化を低減し、また、符号化効率を向上させることができる。
[その他の実施例]
上述した各実施例の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施例の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることもできる。
また、上述した各実施例の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含まれている。
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含むものである。
実施例1に係る画像の切出し処理の詳細な流れを示すフローチャートである。 実施例1に係る画像の切出し処理の詳細な流れを示すフローチャートである。 実施例1に係るデジタルカメラの圧縮部における動画像生成処理の流れを示すフローチャートである。 本発明に係る画像処理装置を適用したデジタルカメラの構成を示すブロック図である。 実施例1に係る動画像生成処理の概要を示す図である。 実施例2に係る画像の切出し処理の詳細な流れを示すフローチャートである。 実施例2に係る画像の切出し処理の詳細な流れを示すフローチャートである。 実施例2に係る動画像生成処理の概要を示す図である。 実施例2に係る動画像生成処理の他の例を示す図である。 実施例2に係る動画像生成処理の更に他の例を示す図である。 実施例3に係る画像の切出し処理の詳細な流れを示すフローチャートである。 実施例3に係る動画像生成処理の概要を示す図である。 分割撮像処理及びステッチ処理を実行可能なデジタルカメラの構成を示すブロック図である。 分割撮像処理及びステッチ処理を実行可能なデジタルカメラの概観を示す概略図である。 分割撮像処理において2枚目の画像データを撮像する際の、合成処理の概要を示す図である。

Claims (12)

  1. 連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置であって、
    前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成手段と、
    前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段と、
    前記取得手段が取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記合成手段は、前記合成画像を生成する代わりに、前記2つの静止画像の組合せのそれぞれについて、前記共通部分を合成することにより前記2つの静止画像から部分合成画像を生成し、
    前記取得手段は、前記合成画像の代わりに、前記部分合成画像から前記フレーム画像を取得する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記合成手段は、前記少なくとも1つの領域それぞれについて、前記2つの静止画像のうちの一方の静止画像に近いほど当該一方の静止画像に高い重みを付けて前記2つの静止画像の前記共通部分を合成することにより前記部分合成画像を生成し、
    前記取得手段は、前記少なくとも1つの領域それぞれについて、対応する部分合成画像から前記フレーム画像を取得する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記取得手段は、前記複数の静止画像それぞれに対応する全ての領域から前記フレーム画像を取得し、
    前記生成手段は、
    前記複数の静止画像それぞれに対応する全ての領域から取得された前記フレーム画像が、対応する前記複数の静止画像の撮像順に並び、且つ、
    前記2つの静止画像の組合せのそれぞれについて、前記少なくとも1つの領域から取得された前記フレーム画像が、先に撮像された静止画像に対応する領域から後に撮像された静止画像に対応する領域へ一方向にスクロール表示されるように並ぶ
    ように前記動画像を生成する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記生成手段は、前記複数の静止画像それぞれのExif情報に含まれる撮像時刻を利用して、前記複数の静止画像それぞれに対応する全ての領域から取得された前記フレーム画像が、対応する前記複数の静止画像の撮像順に並ぶように前記動画像を生成することを特徴とする請求項4に記載の画像処理装置。
  6. 前記取得手段は、前記2つの静止画像の組合せのそれぞれについて、撮像時刻の間隔が長いほど、前記共通部分を挟んで前記2つの静止画像の両方に跨る多数の領域から前記フレーム画像を取得することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記生成手段は、最初のフレーム画像を画面内符号化し、残りのフレーム画像を画面間予測符号化又は双方向予測符号化して、前記動画像を生成することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記取得手段は、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を当該フレーム画像として取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  9. 前記生成手段は、前記フレーム画像として取得した静止画像を画面内符号化し、残りのフレーム画像を画面間予測符号化又は双方向予測符号化して、前記動画像を生成することを特徴とする請求項8に記載の画像処理装置。
  10. 前記生成手段は、前記フレーム画像として取得した静止画像それぞれを複数連続して並べて前記動画像を生成することを特徴とする請求項8に記載の画像処理装置。
  11. 連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置の制御方法であって、
    前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成工程と、
    前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得工程と、
    前記取得工程で取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成工程と、
    を備えることを特徴とする制御方法。
  12. 連続して撮像される2つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置を、
    前記共通部分を合成することにより前記複数の静止画像から1つの合成画像を生成する合成手段、
    前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記2つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記2つの静止画像の両方に跨る少なくとも1つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段、
    前記取得手段が取得したフレーム画像から、前記合成画像がスクロール表示される動画像を生成する生成手段、
    として機能させるためのプログラム。
JP2007315210A 2007-12-05 2007-12-05 画像処理装置、その制御方法、プログラム Expired - Fee Related JP5144237B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007315210A JP5144237B2 (ja) 2007-12-05 2007-12-05 画像処理装置、その制御方法、プログラム
CN200880119619.7A CN101889434B (zh) 2007-12-05 2008-11-05 图像处理设备及其控制方法
US12/739,427 US8848034B2 (en) 2007-12-05 2008-11-05 Image processing apparatus, control method thereof, and program
PCT/JP2008/070539 WO2009072375A1 (en) 2007-12-05 2008-11-05 Image processing apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007315210A JP5144237B2 (ja) 2007-12-05 2007-12-05 画像処理装置、その制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2009141630A true JP2009141630A (ja) 2009-06-25
JP2009141630A5 JP2009141630A5 (ja) 2011-01-20
JP5144237B2 JP5144237B2 (ja) 2013-02-13

Family

ID=40717556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007315210A Expired - Fee Related JP5144237B2 (ja) 2007-12-05 2007-12-05 画像処理装置、その制御方法、プログラム

Country Status (4)

Country Link
US (1) US8848034B2 (ja)
JP (1) JP5144237B2 (ja)
CN (1) CN101889434B (ja)
WO (1) WO2009072375A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100028A1 (ja) * 2011-12-27 2013-07-04 キヤノン株式会社 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2015011049A (ja) * 2013-06-26 2015-01-19 富士通セミコンダクター株式会社 撮像装置、選択方法、および選択プログラム
KR101923788B1 (ko) 2013-09-06 2018-11-29 퀄컴 인코포레이티드 인터랙티브 이미지 합성

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP2011024003A (ja) * 2009-07-16 2011-02-03 Fujifilm Corp 立体動画記録方法および装置、動画ファイル変換方法および装置
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
JP2012242821A (ja) * 2011-05-16 2012-12-10 Sony Mobile Communications Inc 表示画像生成方法
JP5806007B2 (ja) * 2011-06-15 2015-11-10 オリンパス株式会社 撮像装置
KR101814604B1 (ko) * 2011-08-30 2018-01-04 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
CN107256532B (zh) * 2012-10-24 2020-09-18 株式会社摩如富 图像处理装置、图像处理方法以及记录介质
US9311310B2 (en) * 2012-10-26 2016-04-12 Google Inc. System and method for grouping related photographs
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
KR20170073068A (ko) * 2015-12-18 2017-06-28 엘지전자 주식회사 이동단말기 및 그 제어방법
US9940695B2 (en) * 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
JP7163057B2 (ja) * 2018-04-26 2022-10-31 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
CN109474787B (zh) * 2018-12-28 2021-05-14 维沃移动通信有限公司 一种拍照方法、终端设备及存储介质
CN112995536A (zh) * 2021-02-04 2021-06-18 上海哔哩哔哩科技有限公司 视频合成方法及系统
CN114584747B (zh) * 2022-03-04 2023-10-31 大连海事大学 一种360°环幕无缝投影软矫正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121226A (ja) * 1992-10-08 1994-04-28 Canon Inc 撮像装置、画像処理装置及び画像再生装置
JPH11308618A (ja) * 1998-04-17 1999-11-05 Sony Corp 画像信号処理装置及び方法並びに画像信号再生装置
JP2005217902A (ja) * 2004-01-30 2005-08-11 Seiko Epson Corp 画像処理装置および画像処理方法

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5129563A (ja) * 1974-08-30 1976-03-12 Mitsubishi Rayon Co
JPS5938791A (ja) * 1982-08-30 1984-03-02 株式会社東芝 画像表示装置
US4920504A (en) * 1985-09-17 1990-04-24 Nec Corporation Display managing arrangement with a display memory divided into a matrix of memory blocks, each serving as a unit for display management
JPH0279172A (ja) * 1988-09-16 1990-03-19 Fuji Photo Film Co Ltd 画像入力方法
US5153716A (en) * 1988-12-14 1992-10-06 Horizonscan Inc. Panoramic interactive system
GB2235856B (en) * 1989-09-01 1993-11-17 Quantel Ltd Improvements in or relating to electronic graphic systems
JPH053968A (ja) * 1991-06-25 1993-01-14 Pioneer Electron Corp 映像表示、及びその表示に連動する運動装置
EP0878963A1 (en) * 1992-10-09 1998-11-18 Sony Corporation Producing and recording images
JP3227478B2 (ja) * 1995-05-17 2001-11-12 シャープ株式会社 静止画撮像装置
EP1274253A3 (en) * 1995-08-29 2005-10-12 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
US5601353A (en) * 1995-12-20 1997-02-11 Interval Research Corporation Panoramic display with stationary display device and rotating support structure
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US6542642B2 (en) * 1996-02-29 2003-04-01 Canon Kabushiki Kaisha Image coding process and motion detecting process using bidirectional prediction
US5841473A (en) * 1996-07-26 1998-11-24 Software For Image Compression, N.V. Image sequence compression and decompression
JPH10155109A (ja) 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
WO1999012341A1 (en) * 1997-09-03 1999-03-11 Casio Computer Co., Ltd. Electronic still camera having photographed image reproducing function
JP3055537B2 (ja) * 1997-09-03 2000-06-26 カシオ計算機株式会社 電子スチルカメラ及び画像再生方法
US5867208A (en) * 1997-10-28 1999-02-02 Sun Microsystems, Inc. Encoding system and method for scrolling encoded MPEG stills in an interactive television application
JPH11289515A (ja) 1998-04-01 1999-10-19 Sony Corp 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
JP2000101916A (ja) 1998-09-22 2000-04-07 Casio Comput Co Ltd 電子スチルカメラ及びその制御方法
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
JP3794529B2 (ja) 1998-12-24 2006-07-05 カシオ計算機株式会社 動画像記録装置、及び、動画像符号化方法
US6891561B1 (en) * 1999-03-31 2005-05-10 Vulcan Patents Llc Providing visual context for a mobile active visual display of a panoramic region
JP4256028B2 (ja) 1999-07-02 2009-04-22 富士フイルム株式会社 圧縮符号化装置および方法
US7194032B1 (en) * 1999-09-03 2007-03-20 Equator Technologies, Inc. Circuit and method for modifying a region of an encoded image
JP2001128051A (ja) * 1999-10-27 2001-05-11 Ricoh Co Ltd 撮像装置
US20020115477A1 (en) * 2001-02-13 2002-08-22 Raja Singh Portable high speed internet access device with scrolling
JP2001231029A (ja) * 2000-02-18 2001-08-24 Minolta Co Ltd 遠隔カメラシステム
WO2002015162A2 (en) * 2000-08-17 2002-02-21 Innotive Corporation System and method for displaying large images with reduced capacity buffer, file format conversion, user interface with zooming and panning, and broadcast of different images
US6416477B1 (en) * 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
JP3925057B2 (ja) 2000-09-12 2007-06-06 カシオ計算機株式会社 カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法
JP4618576B2 (ja) * 2000-09-25 2011-01-26 株式会社竹中工務店 日射遮蔽装置
US20050084175A1 (en) * 2003-10-16 2005-04-21 Olszak Artur G. Large-area imaging by stitching with array microscope
JP2002342753A (ja) * 2001-05-15 2002-11-29 Dragon Furai:Kk 分割画像データの連続的表現方法およびその連続的表現を行うための記憶媒体
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US20050058330A1 (en) * 2003-09-16 2005-03-17 Sysmex Corporation Method of displaying smear image and retrieving method employing the same, surveillance method, system of displaying smear image, program for displaying smear image and recording medium recording the program
US7409105B2 (en) * 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
CN1879114B (zh) * 2003-11-03 2012-07-25 赛康Ip有限责任公司 数字曝光装置及方法
GB2408867B (en) * 2003-11-04 2006-07-26 Zoo Digital Group Plc Data processing system and method
JP2005175620A (ja) 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置
JP2005197785A (ja) 2003-12-26 2005-07-21 Canon Inc 撮像装置及び撮像方法
JP2005303991A (ja) 2004-03-15 2005-10-27 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP4356621B2 (ja) * 2004-04-16 2009-11-04 ソニー株式会社 撮像装置及び撮像方法
US7602993B2 (en) * 2004-06-17 2009-10-13 Olympus Corporation Image processing and display using a plurality of user movable viewer areas
JP2006011862A (ja) * 2004-06-25 2006-01-12 Alps Electric Co Ltd 画像表示装置
JP2006033353A (ja) * 2004-07-15 2006-02-02 Seiko Epson Corp 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
JP2006166208A (ja) * 2004-12-09 2006-06-22 Fuji Photo Film Co Ltd コマ分類情報付与装置及びプログラム
JP2006174178A (ja) 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd フォトムービーのインデックス画像作成装置及びインデックス画像作成プログラム
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
JP2006270676A (ja) 2005-03-25 2006-10-05 Fujitsu Ltd パノラマ画像生成プログラム、パノラマ画像生成装置、パノラマ画像生成方法
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
JP2006345400A (ja) 2005-06-10 2006-12-21 Matsushita Electric Ind Co Ltd ビデオカメラ装置
JP2006346022A (ja) * 2005-06-14 2006-12-28 Ziosoft Inc 画像表示方法及び画像表示プログラム
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
JP4727329B2 (ja) * 2005-07-15 2011-07-20 パナソニック株式会社 画像合成装置及び画像合成方法
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP2007079644A (ja) * 2005-09-09 2007-03-29 Sharp Corp 表示装置、表示装置の制御方法、表示装置の制御プログラム、および表示装置の制御プログラムを記録した記録媒体
JP4306671B2 (ja) * 2005-11-04 2009-08-05 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US7577314B2 (en) * 2006-04-06 2009-08-18 Seiko Epson Corporation Method and apparatus for generating a panorama background from a set of images
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US8350892B2 (en) * 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
KR101620067B1 (ko) * 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121226A (ja) * 1992-10-08 1994-04-28 Canon Inc 撮像装置、画像処理装置及び画像再生装置
JPH11308618A (ja) * 1998-04-17 1999-11-05 Sony Corp 画像信号処理装置及び方法並びに画像信号再生装置
JP2005217902A (ja) * 2004-01-30 2005-08-11 Seiko Epson Corp 画像処理装置および画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100028A1 (ja) * 2011-12-27 2013-07-04 キヤノン株式会社 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2013152452A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
US8854448B2 (en) 2011-12-27 2014-10-07 Canon Kabushiki Kaisha Image processing apparatus, image display system, and image processing method and program
JP2015011049A (ja) * 2013-06-26 2015-01-19 富士通セミコンダクター株式会社 撮像装置、選択方法、および選択プログラム
KR101923788B1 (ko) 2013-09-06 2018-11-29 퀄컴 인코포레이티드 인터랙티브 이미지 합성

Also Published As

Publication number Publication date
US20100245540A1 (en) 2010-09-30
WO2009072375A1 (en) 2009-06-11
US8848034B2 (en) 2014-09-30
JP5144237B2 (ja) 2013-02-13
CN101889434B (zh) 2014-05-07
CN101889434A (zh) 2010-11-17

Similar Documents

Publication Publication Date Title
JP5144237B2 (ja) 画像処理装置、その制御方法、プログラム
US7659934B2 (en) Recording/reproduction apparatus, and recording/reproduction method as well as stereoscopic images visual effects confirmation apparatus and stereoscopic image visual effects confirmation method
TWI305703B (en) Image processing device for producing a still image from moving and outputting the still image
JP5092983B2 (ja) 動画再生装置、撮像装置及びプログラム
JP2004304642A (ja) 電子カメラ、及び画像再生装置
JP2014096757A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP4938615B2 (ja) 動画像記録再生装置
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4742324B2 (ja) 動画像を記録する記録装置、記録方法及びプログラム
US7428008B2 (en) Video imaging device, video conversion device, and video edition device
JP5604916B2 (ja) 画像処理装置及びプログラム
JP2007184869A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2004222175A (ja) 画像再生装置、再生方法、再生プログラム、およびその記録媒体
JP5125294B2 (ja) プログラム、画像処理装置、撮像装置および画像処理方法
JP4189575B2 (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2013118518A (ja) 撮像装置
JP3086676B2 (ja) 画像再生装置
JP5181453B2 (ja) 画像表示装置、及び画像表示方法、プログラム
JP2018074523A (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP2005072964A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4275629B2 (ja) データ送受信装置、画像処理装置、及び、画像処理方法
JP2009004993A (ja) 動画撮影方法および装置
JP5464231B2 (ja) 画像表示装置、及び画像表示方法、プログラム
JP2009088686A (ja) シーン切り替え点検出装置及びシーン切り替え点検出方法
JP2009010714A (ja) 動画像符号化データ変換装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5144237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees