JP2013512620A - 複数の検出器アレイを備えた多重解像度デジタル大判カメラ - Google Patents

複数の検出器アレイを備えた多重解像度デジタル大判カメラ Download PDF

Info

Publication number
JP2013512620A
JP2013512620A JP2012541147A JP2012541147A JP2013512620A JP 2013512620 A JP2013512620 A JP 2013512620A JP 2012541147 A JP2012541147 A JP 2012541147A JP 2012541147 A JP2012541147 A JP 2012541147A JP 2013512620 A JP2013512620 A JP 2013512620A
Authority
JP
Japan
Prior art keywords
camera
camera system
primary
footprint
large format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012541147A
Other languages
English (en)
Other versions
JP5731529B2 (ja
JP2013512620A5 (ja
Inventor
グルーバー,マイケル
ポンティセリ,マーティン・ジョゼフ
シックラー,ウォルフガング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013512620A publication Critical patent/JP2013512620A/ja
Publication of JP2013512620A5 publication Critical patent/JP2013512620A5/ja
Application granted granted Critical
Publication of JP5731529B2 publication Critical patent/JP5731529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

大判デジタルカメラは、パンクロマティック画像データを収集するように構成された一次的なカメラシステム及びカラー画像データを収集するように構成された2つ以上の二次的なカメラシステムを有する。二次的なカメラシステムの各々は一次的なカメラシステムの光学系よりも長い焦点距離を有する光学系を有する。二次的なカメラシステムの各々の解像度は一次的なカメラシステムの解像度よりも高い。一次的なカメラシステムによって生成される画像のフットプリントは二次的なカメラシステムによって生成される画像のフットプリントよりもサイズが大きい。一次的なカメラシステムによって生成された画像は、写真測量、三角測量によって画像ベースのジオリファレンスを実行するための情報を提供する。二次的なカメラシステムによって生成された画像はオルソ画像の生成における使用に適した高解像度の狭角カラー画像を提供する。

Description

本発明は、複数の検出器アレイを備えた多重解像度デジタル大判カメラに関する。
[0001]国全体、大陸、又は世界全体などの非常に大きな領域の光学的な空中登録(airborne registration)(写真測量マッピング)は、一般的に非常にコストと時間がかかる。
これは、主として非常に大きな領域全体をマッピングするために必要なフライトの数の関数である。
[0002]本明細書においてなされる開示はこれら及び他の考慮事項に関して提示される。
[0003]複数の検出器アレイを有する多重解像度デジタル大判(large format)カメラのための概念及び技術が本明細書に記載される。本明細書に示される概念及び技術の実施を通じて、国全体、大陸、又は世界全体などの大きな領域の空中光学登録(airborne optical registration)での使用に適した、複数の光学系及び検出器アレイを有する多重解像度デジタルカメラが提供される。
[0004]実施例によれば、異なる写真のスケールで画像を生成することが可能である多重解像度大判デジタルカメラが本明細書に開示される。本明細書において提示される大判デジタルカメラは、画像ベースのジオリファレンス及びデジタルサーフェイスモデリングを含む写真測量ワークフローでの使用に適する広角ジオメトリーを有する、パンクロマティック画像(panchromatic images)を生成することができる。本明細書に開示される大判デジタルカメラはまた、オルソ画像の生成を含む写真測量ワークフローでの使用に適した狭角ジオメトリーを有する、複数のカラー画像を生成することができる。オルソ画像は正射投影で地上の物体を示す画像である。本明細書に示されるデジタル大判カメラを利用して、単一の飛行によって、広角画像及び狭角画像の両方を生成することができるので、従来のソリューションに比べて、大きな領域のマッピングのコストを低減することができる。
[0005]本明細書に示される1つの態様によれば、一次的なカメラシステム及び2つ以上の二次的なカメラシステムを含む大判カメラが提供される。一次的なカメラ・システムはパンクロマティック画像データを収集するように構成され、二次的なカメラシステムはカラー画像データを収集するように構成される。二次的なカメラシステムの各々は、一次的なカメラシステムの光学系よりも長い焦点距離を有する光学系を有する。一次的なカメラシステム及び二次的なカメラシステムは、航空機内での設置及び使用に適した共通のハウジング内に搭載されてもよい。
[0006]他の態様によれば、一次的なカメラシステムはパンクロマティック画像データを取り込むことのできる電気光学検出器アレイを有する。二次的なカメラシステムの各々は、カラー画像データを取り込むことのできる電気光学検出器アレイを有する。二次的なカメラシステムの各々における電気光学検出器の解像度は、一次的なカメラシステムにおける電気光学検出器の解像度よりも高い(大きい、great)。他の態様によれば、二次的なカメラシステムの放射解像度は一次的なカメラシステムの放射解像度よりも大きくてもよい。
[0007]他の態様によれば、一次的なカメラシステム及び二次的なカメラシステムは、大判デジタルカメラが2つの異なるフットプリントを提供する2つの異なる画像スケールで画像を生成できるように構成される。一次的なカメラシステムによって生成された画像は、二次的なカメラシステムによって生成されるものよりもより大きなフットプリントを持っており、サイズが大きく、写真測量三角測量(photogrammetric triangulation)によって画像ベースのジオリファレンスを実行するための情報を提供する。二次的カメラシステムによって生成された画像は、一次的なカメラシステムによって生成されるものよりも小さなフットプリントを持っており、サイズが小さく、高解像度の狭角カラー画像を提供する。二次的カメラシステムによって生成されたカラー画像は、高解像度のオルソ画像生成のためにソースデータセットとして利用することができる。二次的なカメラシステムによって生成される画像のフットプリントは、飛行経路に垂直な方向の一次的なカメラシステムのフットプリントと重なるように構成することができる。
[0008]他の態様によれば、大判デジタルカメラは飛行経路に沿って一連の連続した画像を生成するように構成することができる。大判カメラは、さらに、一次的なカメラシステムが互いに重なる一連の連続したパンクロマティック画像を生成するように構成することができる。二次的なカメラシステムは、互いに及び一次的なカメラシステムによって生成された画像と重なる一連の連続したカラー画像を生成するように構成することができる。連続したパンクロマティック画像間の重なりは連続したカラー画像間の重なりよりも大きくなり得る。
[0009]この概要は、詳細な説明において以下にさらに説明される概念の選択を簡単な形で紹介するために提供される。この概要は、特許請求の主題の重要な特徴又は不可欠な特徴を特定するようには意図されず、この概要は、特許請求の主題の範囲を限定するために使用されるようにも意図されない。さらに、特許請求の主題は、本開示の任意の部分に記載されるいずれか又はすべての欠点を解決するための実施に限定されない。
[0010]本明細書に示される1つの実施例において提供される、複数の検出器アレイを有する多重解像度デジタル大判カメラの態様を示す概略図である。 [0011]本明細書に開示される1つの実施例において提示される大判デジタルカメラにおいて二次的なカメラシステムのフットプリントと重なる一次的なカメラシステムのフットプリントを示す概略図である。 [0012]本明細書に開示される1つの実施例で提示される大判デジタルカメラにおける一次的なカメラシステムのフットプリントと4つの二次的なカメラシステムのフットプリントの斜視図である。 [0013]本明細書に開示される1つの実施例において提示される大判デジタルカメラにおける、一次的なカメラシステムで撮影した一連の連続した画像のフットプリントと4つの二次的なカメラシステムで撮影した一連の連続した画像のフットプリントとの間の重なりを示す概略図である。 [0014]本明細書に開示される1つの実施例において提示される大判デジタルカメラにおける、一次的なカメラシステムによって飛行経路に沿って撮影した一連の連続した画像のフットプリントと4つの二次的なカメラシステムによって撮影した一連の連続した画像のフットプリントとの間の重なりを示す斜視図である。 [0015]本明細書に示される1つの実施例において提供される複数の検出器アレイを有する多重解像度デジタル大判カメラを使用する、大きな領域の空中光登録のための、本明細書に示される1つの例示的な処理を示すフロー図である。
[0016]以下の詳細な説明は、複数の検出器アレイを備えた多重解像度デジタル大判カメラを対象とする。以下の詳細な説明において、本明細書の一部を形成し特定の実施例又は例によって示される添付の図面が参照される。図面を参照すると、同様の数字はいくつかの図面にわたって同様の要素を表し、複数の検出器アレイを有する多重解像度デジタル大判カメラの態様が提示される。
[0017]図1は、本明細書に示される1つの実施例において提供される複数の光学系106A−106B及び検出器アレイ110A−110Bを有する大判デジタルカメラ100の態様を示す概略図である。図1に示すように、大判デジタルカメラ100は、一次的なカメラシステム104A及び2つ以上の二次的なカメラシステム104B−104Nを含む。図1は2つの二次的なカメラシステム104B−104Nを示しているが、他の実施例においてはさらなる二次的なカメラシステム104B−104Nが含まれてもよいことを理解すべきである。例えば、以下の実施例においては、大判デジタルカメラ100は4つの二次的なカメラシステム104B−104Nを含む。
[0018]1つの実施例によれば、一次的なカメラシステム104Aは焦点距離108Aを有する光学系106Aを含む。二次的なカメラシステム104B−104Nの各々は、光学系106Aの焦点距離108Aよりも長い焦点距離108Bを有する光学系106Bを含む。このように、二次的なカメラシステム104B−104Nは、一次的なカメラシステム104Aによって生成される画像よりも狭い視野を有する画像を生成するように構成される。一次的なカメラシステム104Aによって生成された画像は、二次的なカメラシステム104B−104Nによって生成された画像よりも広い視野を有する。光学系106A−106Bは、所望の焦点距離において適切な画像を生成するために他の従来の光学要素を含んでもよい。
[0019]1つの実施例によれば、一次的なカメラシステム104Aは、パンクロマティック画像データ112を捕捉することのできる電気光学検出器アレイ110Aを用いて構成される。当該分野で知られるように、電気光学検出器アレイ110Aなどのパンクロマティック画像センサーは、可視スペクトル全体のうちのすべて又は大部分を感知できる。実施例によれば、二次的なカメラシステム104B−104Nの各々は、カラー画像データ116を取り込むことができる電気光学検出器アレイ110Bを用いて構成される。例えば、二次的なカメラシステム104B−104Nは、カラー画像データ116A−116Nをそれぞれ取得するために構成される適切な電荷結合素子(「CCD」)アレイを備えていてもよい。実施例によれば、本明細書に示されるカメラシステムは、プッシュブルーム(push-broom)センシングを利用したカメラとは対照的に、フレームカメラ(フレーミングカメラとも呼ばれる)である。
[0020]検出器アレイ110A−110Bは、例えば、電気光学検出器に入射する光エネルギーの強度に依存する大きさの電気信号を出力する、半導体デバイスなどの個々の電気光学検出器のアレイを備えることを理解すべきである。したがって、アレイ110A−110B内の各電気光学検出器からの信号は、撮影される物体や地形の一部についての画素領域からの光エネルギー強度を示し、アレイ110A−110B内の個々の電気光学検出器のすべてからの信号は、撮影される物体や地形の部分の画素領域のすべてからの光エネルギー強度を示す。したがって、検出器アレイ110A−110Bの各々における電気光学検出器からの信号は、一緒に、撮影される物体の一部からの光エネルギーのパターンを示し、そのため、物体の一部のサブ画像(sub-mage)はそのような信号から生成することができる。しかし、当業者にとって周知であるように、第一に、信号は、増幅され、デジタル化され、処理され、及び格納される。
[0021]電気光学検出器アレイ110A−110Bは、電気光学検出器アレイ110A−110Bを駆動し、当該アレイ110A−110Bから画像データを取り出し、当該画像データを格納するための、少なくともマイクロプロセッサー、入出力回路、メモリー及び電源を含む制御回路(図示せず)に適した導体によって、電気的に接続される。例えば画像を組み合わせる、及び/又は画像表示機能を実行する他のデータ処理機能は、大判デジタルカメラ100内で又は他の外部のデータ処理装置によって、達成することができる。
[0022]実施例によると、二次的なカメラシステム104B−104Nの電気光学検出器アレイ104Bの解像度は、一次的なカメラシステム104Aの電気光学検出器アレイ104Aの解像度よりも高い(大きい、greater)。このように、大判デジタルカメラ110は、画像ベースのジオリファレンス及びデジタルサーフェイスモデリングを含む写真測量ワークフローでの使用に適した広角ジオメトリーを使用して、一次的なカメラシステム104Aからパンクロマティック画像ファイル114を生成することができる。大判デジタルカメラ110はまた、オルソ画像の生成を含む写真測量ワークフローでの使用に適した狭角ジオメトリーを使用して、二次的なカメラシステム104B−104Nから複数の高解像度のカラー画像ファイルを同時に生成することができる。
[0023]上で簡単に説明したように、一次的なカメラシステム104A及び二次的なカメラシステム104B−104Nは共通のハウジング102内に取り付けられてもよい。この実施例では、前面ガラス板120は、光学系106A−106Bを保護するために、ハウジング102内に取り付けられてもよい。代替的な実施例では、一次的なカメラシステム104A及び二次的なカメラシステム104B−104Nは、別個のハウジング(図示せず)に搭載される。両方の場合において、一次的なカメラシステム104A、二次的なカメラシステム104B−104N、及びハウジング102は、航空機内での搭載及び使用のために構成される。
[0024]図2は、本明細書に開示される1つの実施例による、大判デジタルカメラ100における二次的なカメラシステム104B−104Nのフットプリント204A−204Bと重ねられる一次的なカメラシステム104Aのフットプリント202を示す概略図である。この実施例では、大判デジタルカメラ100は、それぞれ図2に示されるフットプリント204A−204Dを備えるように構成される4つの二次的なカメラシステム104B−104Nを含む。図2に示すように、一次的なカメラシステム104A及び二次的なカメラシステム104B−104Nは、1つの実施例において、大判デジタルカメラ100が2つの異なるフットプリント202及び204A−204Dを提供する2つの異なる画像スケールで重なる画像を生成することができるように、構成される。他の実施例によれば、2つの一次的なカメラシステム104A及び4つの二次的なカメラシステム104B−104Nが利用される。
[0025]1つの実施例によれば、一次的なカメラシステム104Aによって生成される画像は、二次的なカメラシステム104B−104Nによって生成されるものよりも、大きなフットプリント202を有し、サイズが大きくなる。二次的なカメラシステム104B−104Nによって生成された画像は、一次的なカメラシステム104Aによって生成されるものよりも小さいフットプリント204A−204Dを有し、サイズが小さく、より高解像度の狭角カラー画像を提供する。
[0026]図2にも示されるように、二次的なカメラシステム104B−104Nのフットプリント204A−204Dが飛行経路400に対して垂直な方向で一次的なカメラシステム104Aのフットプリント202の中心をカバーするように、4つの二次的なカメラシステム104B−104Nを構成することができる。このように、4つの二次的なカメラシステム104B−104Nのフットプリント204A−204Dは、飛行経路400に垂直な方向で一次的なカメラシステム104Aのフットプリント202の「ストライプ」をカバーする。図2に示すようにしてフットプリント202及び204A−204Dを重ね合わせることにより、一次的なカメラシステム104Aによって生成された画像の一部は二次的なカメラシステム104B−104Nによって生成される画像によって(解像度を)向上させることができる。図3は、画像が一次的なカメラシステム104A及び4つの二次的なカメラシステム104B−104Nによって共通点302から取得される場合の、一次的なカメラシステム104Aのフットプリント200及び4つの二次的なカメラシステム104B−104Nのフットプリント204A−204Nの斜視図を提供する。
[0027]図4Aは、本明細書に開示される1つの実施例の大判デジタルカメラ100における、一次的なカメラシステム104Aで撮影した一連の連続した画像のフットプリント202A−202Dと4つの二次的なカメラシステム104B−104Nで撮影された一連の連続した画像のフットプリント204A−204Dとの間の重なりを示す上からの眺めを示す。上で簡単に説明したように、大判デジタルカメラ100は、航空機(図示せず)内に搭載され、航空機内での使用のために構成することができる。航空機が明確に定義された飛行経路400に従って飛行している場合、大判デジタルカメラ100は、飛行経路400に沿って一連の画像を取り込むように構成することができる。図4Aは、飛行経路400に沿った、一次的なカメラシステム104Aを使用して撮影した一連の画像のフットプリント202A−202D及び4つの二次的なカメラシステム104B−104Nを使用して撮影した一連の画像のフットプリント204A−204Dを示す。
[0028]図4Aに示すように、大判カメラ100は、さらに、フットプリント202A−202Dを有する、互いに重なる一連の連続したパンクロマティック画像を一次的なカメラシステム104Aが生成するように、構成することができる。二次的なカメラシステム104B−104Nは、同様に、フットプリント204A−204Dを有する、互いに重なり且つ一次的なカメラシステム104Aによって生成される画像とも重なる一連の連続したカラー画像を生成するように、構成することができる。連続したパンクロマティック画像のフットプリント間の重なりは、連続したカラー画像のフットプリント間の重なりよりも大きくなり得る。
[0029]図4Bは、本明細書に開示される1つの実施例の大判デジタルカメラにおける、一次的なカメラシステム104Aによっていくつかの飛行経路400において撮影した一連の連続した画像のフットプリント202A−202Dと4つの二次的なカメラシステム104B−104Nによって撮影された一連の連続した画像のフットプリント204A−204Dとの間の重なりを示す斜視図である。図4Bに示すように画像が空中写真測量画像取得によって明確に定義された複数の飛行経路に沿って一次的なカメラシステム104A及び二次的なカメラシステム104B−104Nによって生成される場合、一次的なカメラシステム104Aのフットプリント202は、飛行経路に沿って、一連のコマ(exposures)において互いに重なる。二次的なカメラシステム104B−104Nのフットプリント204A−204Dはまた、一次的なカメラシステム104のフットプリント202A−202D及び4つの二次的なカメラシステム104B−104Nのフットプリント204A−204Dと重なる。
[0030]したがって、飛行経路400に沿って、画像は、一次的なカメラシステム104Aによって生成される一連の画像及び二次的なカメラシステム104B−104Nによって生成される画像が重複した画像の連続的な画像ストリップを作成するように、生成される。飛行経路は、大判デジタルカメラ100が投影領域全体をカバーする画像を取り込むように、定義することができる。
[0031]種々の実施例によれば、二次的なカメラシステム104B−104Nによる画像取得は一次的なカメラシステム104Aによる画像取得と実質的に同時に引き起こすことができ、従って、二次的なカメラシステム104B−104Nからの画像は、一次的なカメラシステム104Aからの画像と同じ位置において、同じカメラ姿勢(camera attitude)で取得することができる。代替的に、二次的なカメラシステム104B−104Nについてのトリガーは一次的なカメラシステム104Aから独立していてもよく、例えば、一次的なカメラシステムによって撮影した画像よりも高い割合で(at a higher rate)あってもよい。いずれかの実施例のほか、それらの任意の組み合わせは、本明細書に示される実施例の範囲内にあるものと考えられる。
[0032]一次的なカメラシステム104及び二次的なカメラシステム104B−104Nが同時にトリガーされる場合、二次的なカメラシステム104B−104Nによって生成された画像は、同じトリガーイベントを使用して、一次的なカメラシステム104Aによって生成された画像に登録することができる。さらに、二次的なカメラシステム104B−104Nによって生成された画像は、正確に調査され、よく構成された物体(「較正物体」として知られる)を使用して、一次的なカメラシステム104Aの画像に対して較正することができる。
[0033]二次的なカメラシステム104B−104Nの画像は、従来の方法を使用して、一次的なカメラシステム104Bの画像にステッチすることができる。さらに、一次的なカメラシステム104Aによって生成された画像は、三次元の形式の物体(例えば、デジタルサーフェイスモデルによる都市の建物)を再構築するために使用することができ、より高い幾何学的な解像度をもつ二次的なカメラシステム104Bの画像は、オルソ画像マップの生成のために使用できる高解像度の写真テクスチャーを抽出するために使用することができる。
[0033]ここで図5を参照すると、複数の光学系及び検出器アレイを有する大判デジタルカメラ100についての本明細書に示される実施例に関して、追加の詳細が提供される。特に、図5は、上述の大判デジタルカメラ100を使用した大きな領域の空中光登録のために本明細書に示される1つの処理を示すルーチン500を示すフロー図である。
[0035]ルーチン500は、大判デジタルカメラ100が較正される、動作502において開始する。上述したように、大判デジタルカメラ100は、二次的なカメラシステム104B−104Nによって生成される画像のフットプリントが一次的なカメラシステム104Aによって生成される画像のフットプリントに上述のようにして重なるように、較正物体(calibration object)を使用して較正することができる。また、上述したように、大判デジタルカメラ100は、航空機内に搭載され、航空機が明確に定義された飛行経路に沿って飛行するときに地上の画像を取り込むために利用することができる。このような画像は、取り込まれて、大判デジタルカメラ100と統合された又は大判デジタルカメラ100の外部にある、適切なデジタル記憶装置に格納することができる。
[0036]動作502から、ルーチン500は、パンクロマティック画像ファイル114が一次的なカメラシステム104Aから受信される動作504に進む。次いで、ルーチンは、カラー画像ファイル118A−118Nが二次的なカメラシステム104B−104Nから受信される動作506に進む。画像ファイルがカメラシステム104A−104Nのすべてから一旦受信されると、ルーチン500は、一次的なカメラシステム104からの画像ファイル114が二次的なカメラシステム104B−104Nからの画像ファイル118A−118Nとともに登録される動作508に進む。
[0037]動作508から、ルーチン500は、一次的なカメラシステム104からの画像ファイル114が画像ベースのジオリファレンス及びデジタルサーフェイスモデリングを含む写真測量ワークフローで利用される動作510へ進む。動作510から、ルーチン500は、二次的なカメラシステム104B−104Nからの画像ファイル118A−118Nがオルソ画像の生成に利用される動作512に進む。ルーチン500は動作512から動作514へ進んで終了する。
[0038]上記に基づいて、複数の検出器アレイを有する、大きな領域の空中光登録における使用に適した、多重解像度デジタル大判カメラ100が本明細書において開示されたことが理解されるべきである。上述の主題が例のみとして提供されており、限定的なものとして解釈されるべきではないこともまた理解されるべきである。図示され記載された例示的な実施例及び応用に従うことなく、及び次の特許請求の範囲に記載される本発明の真の趣旨及び範囲から逸脱することなく、様々な修正及び変更を本明細書に記載された主題に対してなすことができる。

Claims (15)

  1. パンクロマティック画像データを収集するように構成された一次的なカメラシステムであって、第1の焦点距離を有する光学系を含む、一次的なカメラシステムと、
    カラー画像データを収集するように構成された2つ以上の二次的なカメラシステムであって、各々が、第2の焦点距離を有する光学系を含み、前記第2の焦点距離は前記第1の焦点距離よりも長い、2つ以上の二次的なカメラシステムと
    を備える大判フレーミングカメラ。
  2. 前記一次的なカメラシステムは前記パンクロマティック画像データを収集するための第1の解像度を有する電気光学検出器アレイをさらに含み、前記二次的なカメラシステムの各々は前記カラー画像データを収集するための第2の解像度を有する電気光学検出器アレイをさらに含み、前記第2の解像度は前記第1の解像度よりも高い請求項1に記載の大判カメラ。
  3. 前記一次的なカメラシステムはフットプリントを有し、前記二次的なカメラシステムの各々はフットプリントを有し、前記二次的なカメラシステムの各々のフットプリントは前記一次的なカメラシステムのフットプリントよりも小さい請求項2に記載の大判カメラ。
  4. 前記二次的なカメラシステムのフットプリントは、前記二次的なカメラシステムのフットプリントが飛行経路に垂直な方向で前記一次的なカメラシステムのフットプリントをカバーするように重なる請求項3に記載の大判カメラ。
  5. 前記大判カメラは、前記パンクロマティック画像データを含む1つの画像及び前記カラー画像データを含む2つ以上の画像を出力するように構成される請求項4に記載の大判カメラ。
  6. 前記二次的なカメラシステムの各々の放射解像度は前記一次的なカメラシステムの放射解像度よりも高い請求項5に記載の装置。
  7. 前記一次的なカメラシステム及び前記2つ以上の二次的なカメラシステムは単一のハウジング内に搭載される請求項6に記載の大判カメラ。
  8. 前記一次的なカメラシステムは連続した一連の第1の画像を生成するように構成され、前記二次的なカメラシステムの各々は一連の連続した第2の画像を生成するように構成され、連続した第1の画像は互いに重なり、連続した第2の画像は互いに重なり、前記第1の画像の重なりは前記第2の画像の重なりよりも大きい請求項7に記載の大判カメラ。
  9. 前記一次的なカメラシステムによって生成される画像は、画像ベースのジオリファレンス及びデジタルサーフェイスモデリングを含む写真測量ワークフローにおける使用に適する請求項8に記載の大判カメラ。
  10. 前記二次的なカメラシステムによって生成される画像は、オルソ画像の生成を含む写真測量ワークフローにおける使用に適する請求項9に記載の大判カメラ。
  11. パンクロマティック画像データを収集するように構成された単一の一次的なカメラシステムであって、第1の焦点距離を有し且つ前記パンクロマティック画像データを含む第1の画像を出力するように構成される光学系を含み、前記第1の画像は第1のフットプリントを有する、単一の一次的なカメラシステムと、
    カラー画像データを収集するように構成された2つ以上の二次的なカメラシステムであって、各々が、第2の焦点距離を有し且つ前記カラー画像データを含む第2の画像を出力するように構成される光学系を含み、前記第2の画像は第2のフットプリントを有し、前記第2の焦点距離は前記第1の焦点距離よりも長く、前記第2のフットプリントは前記第1のフットプリントよりも小さい、2つ以上の二次的なカメラシステムと
    を備える大判フレーミングカメラ。
  12. 前記二次的なカメラシステムの各々のフットプリントは、前記二次的なカメラシステムのフットプリントが飛行経路に垂直な方向で前記第1のフットプリントをカバーするように重なる請求項11に記載の大判カメラ。
  13. 前記一次的なカメラシステム及び前記二次的なカメラシステムは単一のハウジング内に搭載される請求項12に記載の大判カメラ。
  14. 前記一次的なカメラシステムは前記パンクロマティック画像データを収集するための第1の解像度を有する電気光学検出器アレイをさらに含み、前記二次的なカメラシステムの各々は前記カラー画像データを収集するための第2の解像度を有する電気光学検出器アレイをさらに含み、前記第2の解像度は前記第1の解像度よりも高い請求項13に記載の大判カメラ。
  15. 前記一次的なカメラシステムは一連の連続した第1の画像を生成するように構成され、前記二次的なカメラシステムの各々は一連の連続した第2の画像を生成するように構成され、連続した第1の画像は互いに重なり、連続した第2の画像は互いに重なり、前記第1の画像の重なりは前記第2の画像の重なりよりも大きい請求項14に記載の大判カメラ。
JP2012541147A 2009-11-24 2010-11-23 複数の検出器アレイを備えた多重解像度デジタル大判カメラ Active JP5731529B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/624,412 US8665316B2 (en) 2009-11-24 2009-11-24 Multi-resolution digital large format camera with multiple detector arrays
US12/624,412 2009-11-24
PCT/US2010/057692 WO2011066239A2 (en) 2009-11-24 2010-11-23 Multi-resolution digital large format camera with multiple detector arrays

Publications (3)

Publication Number Publication Date
JP2013512620A true JP2013512620A (ja) 2013-04-11
JP2013512620A5 JP2013512620A5 (ja) 2013-11-28
JP5731529B2 JP5731529B2 (ja) 2015-06-10

Family

ID=44061794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541147A Active JP5731529B2 (ja) 2009-11-24 2010-11-23 複数の検出器アレイを備えた多重解像度デジタル大判カメラ

Country Status (8)

Country Link
US (1) US8665316B2 (ja)
EP (1) EP2504735B1 (ja)
JP (1) JP5731529B2 (ja)
KR (1) KR101800905B1 (ja)
CN (1) CN102640052B (ja)
DK (1) DK2504735T3 (ja)
TW (1) TWI520599B (ja)
WO (1) WO2011066239A2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
IL218046B (en) 2012-02-12 2018-11-29 Elta Systems Ltd An architecture for a multi-directional relay and the devices and methods of operation useful by the way
WO2013003485A1 (en) * 2011-06-28 2013-01-03 Inview Technology Corporation Image sequence reconstruction based on overlapping measurement subsets
IL216515A (en) * 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
CN104204941B (zh) * 2012-03-21 2016-01-06 富士胶片株式会社 摄像装置
RU2498378C1 (ru) 2012-06-21 2013-11-10 Александр Николаевич Барышников Способ получения изображения земной поверхности с движущегося носителя и устройство для его осуществления
RU2518365C1 (ru) 2012-11-22 2014-06-10 Александр Николаевич Барышников Оптико-электронный фотоприемник (варианты)
CN103148839B (zh) * 2013-02-06 2014-12-17 北京空间机电研究所 一种镜间分光焦平面拼接超大面阵航测相机
US9224362B2 (en) 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance
CN104076407B (zh) * 2014-06-26 2017-05-31 西北工业大学 宽基线多阵列光学探测系统及其设置方法
RU2571452C1 (ru) * 2014-10-15 2015-12-20 Федеральное государственное бюджетное учреждение науки Институт физики полупроводников им. А.В. Ржанова Сибирского отделения Российской академии наук (ИФП СО РАН) Способ сборки мозаичного фотоприемного модуля большого формата из фотоприемных модулей меньшей площади
US10365480B2 (en) * 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
CN111885295A (zh) * 2018-03-26 2020-11-03 华为技术有限公司 一种拍摄方法、装置与设备
RU2686513C1 (ru) * 2018-05-31 2019-04-29 Сергей Петрович Максимяк Способ получения непрерывного стереоизображения земной поверхности с движущегося носителя
US11399129B2 (en) * 2019-07-30 2022-07-26 Gopro, Inc. Image capture device with extended depth of field
DE112021006662A5 (de) * 2020-12-22 2023-11-23 SAM-Dimension GmbH Vorrichtung und verfahren zur flächenkartierung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62284214A (ja) * 1986-03-17 1987-12-10 ジオスペクトラ・コ−ポレ−シヨン 移動イメ−ジセンサ−プラツトホ−ム等の姿勢決定システム
JPH03503311A (ja) * 1988-01-28 1991-07-25 シュミット ファウ.ブラウン,ハイコ 自然界の多次元構造パラメータの拡大作図
JP2004504631A (ja) * 2000-07-14 2004-02-12 ツェット/イー イメージング ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも2つの第1カメラと第2カメラを有するカメラシステム
JP2006507483A (ja) * 2002-09-20 2006-03-02 エム7 ビジュアル インテリジェンス,エルピー 移動体によるデータの収集及び処理システム
JP2009032063A (ja) * 2007-07-27 2009-02-12 Pasuko:Kk 空間情報データベース生成装置及び空間情報データベース生成プログラム
JP2009177251A (ja) * 2008-01-21 2009-08-06 Pasuko:Kk オルソフォト画像の生成方法、および撮影装置
WO2009125304A2 (en) * 2008-04-11 2009-10-15 Nearmap Pty Ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE461619B (sv) 1988-07-06 1990-03-05 Hasselblad Ab Victor Anordning vid kameror utgoerande en sammansaettning av en fotokemisk och en elektronisk kamera
US5382342A (en) * 1993-01-14 1995-01-17 The United States Of America As Represented By The Department Of Energy Fabrication process for a gradient index x-ray lens
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US6112031A (en) * 1995-07-27 2000-08-29 Eastman Kodak Company Generating digitized images on silver halide
US6104840A (en) 1996-11-08 2000-08-15 Ricoh Company, Ltd. Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes
WO1998036318A1 (en) 1997-02-18 1998-08-20 Mobi Corporation Dual focal length camera
US6172349B1 (en) * 1997-03-31 2001-01-09 Kla-Tencor Corporation Autofocusing apparatus and method for high resolution microscope system
US6512857B1 (en) 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
US7071971B2 (en) 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
US6535650B1 (en) 1998-07-21 2003-03-18 Intel Corporation Creating high resolution images
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
JP3466512B2 (ja) 1999-07-07 2003-11-10 三菱電機株式会社 遠隔撮影システム、撮影装置及び遠隔撮影方法
US7006111B1 (en) 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
US6694064B1 (en) 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
US6757445B1 (en) 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
EP3388784B1 (en) * 2001-05-04 2019-07-17 Vexcel Imaging GmbH Method and large format camera for acquiring a large format image of a large area object
US6515857B2 (en) * 2001-05-15 2003-02-04 International Business Machines Corporation Visual heat sink for computers and method of use
EP1308888A1 (en) * 2001-11-06 2003-05-07 STMicroelectronics S.r.l. A method of processing digital images
US7215364B2 (en) 2002-04-10 2007-05-08 Panx Imaging, Inc. Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
WO2004068862A1 (ja) * 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
JP2005225250A (ja) 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
US7768571B2 (en) 2004-03-22 2010-08-03 Angstrom, Inc. Optical tracking system using variable focal length lens
DE102004024885B4 (de) * 2004-05-19 2007-09-06 Infineon Technologies Ag Halbleiterbauelement und Verfahren zu dessen Herstellung
US7365918B1 (en) * 2004-08-10 2008-04-29 Xradia, Inc. Fast x-ray lenses and fabrication method therefor
US7363157B1 (en) 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP4339289B2 (ja) 2005-07-28 2009-10-07 Necシステムテクノロジー株式会社 変化判定装置、変化判定方法および変化判定プログラム
US20070030396A1 (en) 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
US7796174B1 (en) * 2006-04-25 2010-09-14 Ball Aerospace & Technologies Corp. Hybrid imager
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7855752B2 (en) 2006-07-31 2010-12-21 Hewlett-Packard Development Company, L.P. Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US8593518B2 (en) * 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US8520079B2 (en) * 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8049797B2 (en) * 2007-05-08 2011-11-01 Canon Kabushiki Kaisha Image sensor and color imaging apparatus
US8154578B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US8063941B2 (en) 2007-08-06 2011-11-22 Microsoft Corporation Enhancing digital images using secondary optical systems
US20090041368A1 (en) 2007-08-06 2009-02-12 Microsoft Corporation Enhancing digital images using secondary optical systems
US7859572B2 (en) * 2007-08-06 2010-12-28 Microsoft Corporation Enhancing digital images using secondary optical systems
KR100912715B1 (ko) 2007-12-17 2009-08-19 한국전자통신연구원 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
EP3496379B1 (de) * 2008-02-11 2020-12-02 Texmag GmbH Vertriebsgesellschaft Vorrichtung zum erfassen eines bildes in einer bildebene, die sich auf einer materialbahn befindet
US20090202148A1 (en) * 2008-02-11 2009-08-13 Texmag Gmbh Vertriebsgesellschaft Image Capturing System and Method for the Analysis of Image Data
KR101490689B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US20100110209A1 (en) 2008-10-31 2010-05-06 Border John N Fast motion measurement device for gaming
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8542286B2 (en) 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62284214A (ja) * 1986-03-17 1987-12-10 ジオスペクトラ・コ−ポレ−シヨン 移動イメ−ジセンサ−プラツトホ−ム等の姿勢決定システム
JPH03503311A (ja) * 1988-01-28 1991-07-25 シュミット ファウ.ブラウン,ハイコ 自然界の多次元構造パラメータの拡大作図
JP2004504631A (ja) * 2000-07-14 2004-02-12 ツェット/イー イメージング ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも2つの第1カメラと第2カメラを有するカメラシステム
JP2006507483A (ja) * 2002-09-20 2006-03-02 エム7 ビジュアル インテリジェンス,エルピー 移動体によるデータの収集及び処理システム
JP2009032063A (ja) * 2007-07-27 2009-02-12 Pasuko:Kk 空間情報データベース生成装置及び空間情報データベース生成プログラム
JP2009177251A (ja) * 2008-01-21 2009-08-06 Pasuko:Kk オルソフォト画像の生成方法、および撮影装置
WO2009125304A2 (en) * 2008-04-11 2009-10-15 Nearmap Pty Ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features

Also Published As

Publication number Publication date
KR101800905B1 (ko) 2017-11-23
DK2504735T3 (da) 2021-08-16
CN102640052A (zh) 2012-08-15
US20110122223A1 (en) 2011-05-26
CN102640052B (zh) 2015-09-09
EP2504735A4 (en) 2016-04-13
US8665316B2 (en) 2014-03-04
EP2504735B1 (en) 2021-07-07
WO2011066239A2 (en) 2011-06-03
KR20120105452A (ko) 2012-09-25
JP5731529B2 (ja) 2015-06-10
TW201138435A (en) 2011-11-01
TWI520599B (zh) 2016-02-01
WO2011066239A3 (en) 2011-10-13
EP2504735A2 (en) 2012-10-03

Similar Documents

Publication Publication Date Title
JP5731529B2 (ja) 複数の検出器アレイを備えた多重解像度デジタル大判カメラ
JP5806225B2 (ja) 複数の光学系及び検出器アレイを備えた大判デジタルカメラ
US11017503B2 (en) Techniques for atmospheric and solar correction of aerial images
US9407851B2 (en) CMOS image sensors for hardwired image processing
EP2619987B1 (en) Wide angle field of view active illumination imaging system
US7126630B1 (en) Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
CN110537365B (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
US10887576B2 (en) Light field data representation
EP2212858A1 (en) Method and apparatus of taking aerial surveys
KR20160117143A (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
CN114544006A (zh) 一种基于环境光照条件的低空遥感影像校正系统及方法
Savoy et al. Geo-referencing and stereo calibration of ground-based whole sky imagers using the sun trajectory
US20110076004A1 (en) Anamorphic focal array
KR100591167B1 (ko) 획득된 이미지의 번짐자국 제거방법
Zainuddin et al. Lightweight Multispectral Camera Calibration for Photogrammetric Applications
Klette et al. Modeling 3D scenes: Paradigm shifts in photogrammetry, remote sensing and computer vision
Linders et al. Large scale mapping-The multispectral airborne solution
Zhang et al. The FIFEDOM (Frequent Image Frames Enhanced Digital Orthorectified Mapping) Camera for Automatic Mapping of Tree Species and Structures

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131008

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150409

R150 Certificate of patent or registration of utility model

Ref document number: 5731529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250