JP2012238046A - Image display processing device - Google Patents
Image display processing device Download PDFInfo
- Publication number
- JP2012238046A JP2012238046A JP2011104848A JP2011104848A JP2012238046A JP 2012238046 A JP2012238046 A JP 2012238046A JP 2011104848 A JP2011104848 A JP 2011104848A JP 2011104848 A JP2011104848 A JP 2011104848A JP 2012238046 A JP2012238046 A JP 2012238046A
- Authority
- JP
- Japan
- Prior art keywords
- data
- display processing
- image
- image display
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、PDAやノート型のPC等の小型携帯情報端末機器(情報処理端末)のビューア機能を利用して、デジタル空間データに基づき航空写真画像や地図画像を表示させる画像表示処理装置に関する。 The present invention relates to an image display processing apparatus that displays an aerial photograph image or a map image based on digital spatial data using a viewer function of a small portable information terminal device (information processing terminal) such as a PDA or a notebook PC.
例えば、表示装置に地図画像を描画し表示するための処理を実行する画像表示処理装置が知られている。このような画像表示処理装置においては、地図画像のスクロール機能を有するのが一般的である。スクロールとは、画面表示を上下左右に2次元的に地図画像を動かして、見たい場所を表示することをいう。このような画像表示処理装置の例としては、例えば特許文献1に開示されている。
For example, an image display processing device that executes processing for drawing and displaying a map image on a display device is known. Such an image display processing device generally has a map image scrolling function. Scrolling refers to displaying a desired place by moving a map image two-dimensionally up and down and left and right on the screen display. An example of such an image display processing device is disclosed in
特許文献1の従来技術によれば、基本構成要素(矩形画像データ、矩形索引データ)の単純性と独立性により、情報構造の実体が低コストで大量生産でき、さまざまな種類の情報にも柔軟に対応できる。また、本発明の画像表示処理装置によれば、膨大な位置や形状の情報から、注目する位置と範囲に応じた適切な情報(適切な層の矩形画像データ)が選び出されて表示されるため、利用者には常に必要にして充分な情報が提供される。
According to the prior art of
一方、同一の地域については、時間をおいた航空写真や衛星写真の撮影、或いは地図データやGPSデータの作成などが行われ、種々のラスタデータやベクトルデータが作成されている。特に、画像データだけでもTiffの他、JPEG、JPEG2000,PNGなど数多くの画像フォーマットが存在し、非可逆圧縮が許されるものや内部的に複数の解像度を有するピラミッド構造が許容されたものがある。可逆圧縮・ピラミッド画像技術については、ウェーブレット変換を活用したMr.SID(リザードテック社)や、ECW(ライカジオシステム社)などの各種フォーマットが存在する。これらはWindowsOSの上限量である2.1GB(windows 32ビットマシン)をはるかに超えて、データを保持することができるよう設計されている。このMr.SIDやECWは、拡大・縮小やパンなど基本的な表示をピクセルオンデマンド機能により最適な解像度が瞬時に表示される他、通常のJPEGなどの画像フォーマットと比較してウェーブレットによる恩恵により1/2〜1/6程度にファイルサイズを小さく保つことができ、データの通信にも転用されている。このように種々のラスタデータやベクトルデータが存在するので、或る地域について画像をディスプレイに表示させようとする場合、いかにしてユーザーが必要とする画像を迅速に表示できるかが問題となる。ここで、全てのラスタデータやベクトルデータを大容量のメモリに記憶した上で、高速処理が可能なCPUを用いれば、地球上の全ての場所の画像を迅速に表示することは可能であるが、小型携帯情報端末機器では困難である。 On the other hand, in the same region, taking time-lapse aerial photographs and satellite photographs, or creating map data and GPS data, various raster data and vector data are created. In particular, there are a number of image formats such as JPEG, JPEG2000, and PNG other than Tiff alone, and there are those that allow lossy compression and those that allow a pyramid structure having a plurality of resolutions internally. For lossless compression and pyramid image technology, Mr. There are various formats such as SID (Lizard Tech) and ECW (Leica Geosystem). These are designed to hold data far exceeding the upper limit of Windows OS, 2.1 GB (windows 32-bit machine). This Mr. SID and ECW can display the basic resolution such as enlargement / reduction and panning instantly with the pixel on-demand function and the benefits of the wavelet compared to the image format such as ordinary JPEG. The file size can be kept small to about 1/2 to 1/6, and it is also used for data communication. Since there are various types of raster data and vector data in this way, when an image is to be displayed on a display for a certain area, the problem is how to quickly display an image required by the user. Here, if all the raster data and vector data are stored in a large-capacity memory and a CPU capable of high-speed processing is used, it is possible to quickly display images of all locations on the earth. It is difficult for a small portable information terminal device.
本発明は、かかる問題点に鑑みてなされたものであり、比較的低容量のメモリや低性能のCPUを用いたビューアでも、迅速に所望の情報を表示できる画像表示処理装置を提供することを目的とする。又、本発明は、実データから表示範囲や性質を示す少なくとも1つ以上のヘッダ情報が毎回自動生成されるため自由に実データの入れ替えができる画像フォーマットおよび表示処理技術を提供し、同一範囲で少なくとも2時期以上の画像やベクトルデータが重なり合った際であっても最適な表示を行うことができる画像フォーマットを提供し、ベクトルデータやラスタデータを自動的に認識して表示できるフォーマットおよび表示処理技術を提供し、集積されたデジタル空間データから必要データを最短でアクセスして抽出・表示する機構を持つ表示処理技術を提供し、更には非力なマシンにおいても、主メモリ(RAM)の上限に非依存の索引機構を持つ表示処理技術を提供することを目的とする。 The present invention has been made in view of such problems, and provides an image display processing apparatus that can quickly display desired information even with a viewer using a relatively low-capacity memory or a low-performance CPU. Objective. In addition, the present invention provides an image format and display processing technology that can freely replace actual data because at least one or more header information indicating the display range and properties is automatically generated from actual data every time. Provide an image format that can perform optimal display even when images and vector data of at least two periods overlap, and a format and display processing technology that can automatically recognize and display vector data and raster data Provides a display processing technology that has a mechanism for accessing, extracting, and displaying necessary data from the integrated digital spatial data in the shortest time. Further, even in a powerless machine, the upper limit of the main memory (RAM) is not exceeded. An object of the present invention is to provide a display processing technique having a dependency index mechanism.
請求項1に記載の画像表示処理装置は、同一の領域に対応する複数のデジタル空間データの少なくとも1つに基づいて画像を表示するために用いる画像表示処理装置において、
各デジタル空間データには、画像の解像度に関する空間順位と、データ作成時期に関する時間順位と、画像の質に関する質順位が付与され、
前記画像表示処理装置は、前記空間順位と前記時間順位と前記質順位とに基づいて、同一の領域に対応する複数のデジタル空間データについて、表示順を決定する統合索引手段を有し、
決定された前記表示順に応じて選出された前記デジタル空間データに基づき、画像が表示されるようになっていることを特徴とする。
The image display processing device according to
Each digital spatial data is given a spatial order related to the resolution of the image, a time order related to the data creation time, and a quality order related to the quality of the image,
The image display processing device has an integrated index means for determining a display order for a plurality of digital spatial data corresponding to the same region based on the spatial ranking, the temporal ranking, and the quality ranking,
An image is displayed based on the digital space data selected according to the determined display order.
本発明によれば、前記画像表示処理装置が、前記空間順位と前記時間順位と前記質順位とに基づいて、同一の領域に対応する複数のデジタル空間データについて、表示順を決定する統合索引手段を有するので、比較的低容量のメモリや低性能のCPUを用いたビューアでも、表示順に選出された前記デジタル空間データに基づき適切な画像が迅速に表示されることとなる。 According to the present invention, the image display processing device determines a display order for a plurality of digital space data corresponding to the same region based on the space order, the time order, and the quality order. Therefore, even in a viewer using a relatively low-capacity memory and a low-performance CPU, an appropriate image is quickly displayed based on the digital space data selected in the display order.
請求項2に記載の画像表示処理装置は、請求項1に記載の発明において、前記統合索引手段は、各順位に対応して得点をデジタル空間データに付与し、各順位に対応して付与された得点の合計に応じてデジタル空間データを表示順にリスト付けすることを特徴とする。これにより、ユーザーが所望するデジタル空間データを統合的に選出することができる。 According to a second aspect of the present invention, in the invention according to the first aspect, the integrated index means assigns a score to the digital space data corresponding to each rank, and is assigned corresponding to each rank. The digital spatial data is listed in the display order according to the total score obtained. Thereby, digital space data desired by the user can be selected in an integrated manner.
請求項3に記載の画像表示処理装置は、請求項2に記載の発明において、前記得点の合計の際に各順位により重み付けがなされ、前記空間順位の重み付けが最も高く、前記質順位の重み付けが最も低いことを特徴とする。これにより、ユーザーが所望するデジタル空間データを選出しやすくなる。 According to a third aspect of the present invention, in the image display processing device according to the second aspect of the present invention, weighting is performed according to each rank in the summation of the scores, the weight of the spatial rank is the highest, and the weight of the quality rank is Characterized by the lowest. This facilitates selection of digital space data desired by the user.
請求項4に記載の画像表示処理装置は、請求項2に記載の発明において、前記重み付けを任意に変更できることを特徴とする。例えば、ユーザーの要求に応じて、重み付けを任意に変更することもできる。具体的には、前記時間順位の重み付けを最も高くして、ユーザーの所望する時期のデータを最初に表示するようにしても良い。 According to a fourth aspect of the present invention, in the invention according to the second aspect, the weighting can be arbitrarily changed. For example, the weighting can be arbitrarily changed according to the user's request. Specifically, the weight of the time order may be set highest, and data at a time desired by the user may be displayed first.
請求項5に記載の画像表示処理装置は、請求項2〜4のいずれかに記載の発明において、前記空間順位において、前記デジタル空間データの空間解像度が、それに基づき画像が表示される表示解像度に近いほど前記得点が高くなり、前記空間解像度が前記表示解像度から遠ざかるに連れて前記得点が低くなることを特徴とする。これにより、ユーザーが所望するデジタル空間データを選出しやすくなる。 According to a fifth aspect of the present invention, in the invention according to any one of the second to fourth aspects, the spatial resolution of the digital spatial data in the spatial order is a display resolution at which an image is displayed based on the spatial resolution. The score is higher as the distance is closer, and the score is lower as the spatial resolution is farther from the display resolution. This facilitates selection of digital space data desired by the user.
請求項6に記載の画像表示処理装置は、請求項5に記載の発明において、前記デジタル空間データの空間解像度は、0.001mm以上、40000km以下の範囲で振り分けられていることを特徴とする。これにより、マイクロチップから全地球に及ぶ範囲のデジタル画像データに対応できる。
The image display processing device according to
請求項7に記載の画像表示処理装置は、請求項2〜6のいずれかに記載の発明において、前記時間順位において、前記画像表示処理装置が使用される時点に近いデータ作成時期のデジタル空間データは、前記得点が高くなり、前記画像表示処理装置が使用される時点から離れるに連れて、前記得点が低くなることを特徴とする。これにより、ユーザーが所望するデジタル空間データを選出しやすくなる。 According to a seventh aspect of the present invention, in the image display processing device according to any one of the second to sixth aspects, the digital spatial data at a data creation time close to a time when the image display processing device is used in the time order. Is characterized in that the score increases and the score decreases as the image display processing device is moved away from the point of use. This facilitates selection of digital space data desired by the user.
請求項8に記載の画像表示処理装置は、請求項2〜7のいずれかに記載の発明において、前記質順位において、画像の種類に従い前記得点が増減することを特徴とする。例えばユーザーの使用頻度や嗜好に応じて、所望するデジタル空間データを変更できる。 An image display processing device according to an eighth aspect is characterized in that, in the invention according to any one of the second to seventh aspects, the score increases or decreases according to the type of image in the quality ranking. For example, the desired digital space data can be changed according to the user's usage frequency and preferences.
デジタル空間データとは、ラスタデータとベクトルデータを含むと好ましい。「ラスタデータ」とは、航空写真画像や衛星写真画像等のデータを含み、「ベクトルデータ」とは地図データやGPS(Global Positioning System)データ、DEM(Digital Elevation Model)、全方位カメラのデータ、台帳DBなどを含む。又、単に「情報」というときは、航空写真画像や衛星写真画像、地図画像やGPSの画像等を含む。 The digital spatial data preferably includes raster data and vector data. “Raster data” includes data such as aerial photographs and satellite photographs. “Vector data” refers to map data, GPS (Global Positioning System) data, DEM (Digital Elevation Model), omnidirectional camera data, Includes a ledger DB. The term “information” includes an aerial photograph image, a satellite photograph image, a map image, a GPS image, and the like.
本発明によれば、比較的低容量のメモリや低性能のCPUを用いたビューアでも、迅速に所望の情報を表示できる画像表示処理装置を提供することができる。又、実データの索引範囲(Extent)が実データ解像度の32倍〜4096倍になるように分割された画像データセットを提供し、3層構造(空間解像度一時間・品質)で構成されて、三重の順位付けができ、空間・時間・品質のそれぞれに順位付けを行うとともに、空間が最優位で質が劣位となるように設計された画像データセットを提供し、メモリを最小限に抑えた索引機構を提供し、どのレイヤであっても基本的に検索時間が一定となる索引機構を保有する画像表示処理装置を提供し、ヘッダに直接アクセスするために統合索引情報を毎回自動生成すると共に、実データの入れ替えに対しても耐久度が高い画像表示処理装置を提供し、表示領域を少なくとも2×2程度以上に分割して実データの索引情報の重なりを判定する機能を有するため、実データが凹鍵型状やL字型状である場合でも、分割範囲に対して計算を実施し、常に最適なデジタル空間データを選択できる画像表示処理装置を提供し、実データにダイレクトにアクセスできるよう工夫された索引機構であって、最小の索引データから段階的に表示領域のヘッダを走査(スキャン)し、最適な空間解像度・年代・品質のデジタル空間データを探索できる、スキャナ機構の構築を行うものであり、データ量の制限がないため、基本的に世界中のデータを扱える効果が期待され、16TB/1ファイルまでの1ファイル辺りのファイルサイズを構築可能であり、空間索引が毎回自動生成されるためファイルが無数に存在することも許容し、緯度経度画像フォーマットであっても倍精度(double)の精度を確保したまま表示が可能であり、低スペックのマシンでも表示領域内で必要なデータを高速に描画できる効果があり、上記三層構造(データの解像度・年・品質)からなる得点計算により、ユーザーが要求した範囲で最適なデジタル空間データを高速に表示できる効果がある。本発明は、特にPDAやスマートフォンなどモバイル端末で利用でき、また非力なラップトップ・デスクトップPCで利用でき、地理情報の分野でクラスターサーバ・大規模サーバを用いたサーバ・クライアント方式での利用も可能であり、クライアントから指定された検索範囲をサーバ上で統合索引から合成してクライアントに送信することも出来、転送時間短縮のためにJPG2000やWebPフォーマットも使用することも可能である。 According to the present invention, it is possible to provide an image display processing device capable of quickly displaying desired information even with a viewer using a relatively low-capacity memory or a low-performance CPU. In addition, the image data set is divided so that the index range (Extent) of the actual data is 32 times to 4096 times the actual data resolution, and is composed of a three-layer structure (spatial resolution one hour and quality), Triple ranking, ranking in space, time and quality, and providing an image data set designed to have the highest space and inferior quality, minimizing memory Provide an index display mechanism, and provide an image display processing apparatus having an index mechanism that basically has a constant search time in any layer, and automatically generates integrated index information every time to directly access the header, An image display processing device with high durability against real data replacement is provided, and the display area is divided into at least about 2 × 2 or more to determine the overlap of index information of actual data. Even if the data is in the shape of a concave key or L, we provide an image display processing device that can calculate the division range and always select the optimal digital space data, and directly access the actual data An indexing mechanism designed to allow the scanning of the display area header from the smallest index data step by step, and search for digital spatial data with the optimum spatial resolution, age, and quality. Since there is no limit on the amount of data, it is expected to be able to handle data from all over the world, and it is possible to build a file size of one file up to 16TB / 1 file. Since it is automatically generated, it is possible to have an infinite number of files. Even in the latitude / longitude image format, it is possible to display while maintaining double precision (low). Spec machines have the effect of drawing required data in the display area at high speed, and the optimal digital spatial data within the range requested by the user is based on the above three-layer structure (data resolution, year, and quality). Can be displayed at high speed. The present invention can be used especially for mobile terminals such as PDAs and smart phones, can also be used for powerless laptops and desktop PCs, and can also be used in the server / client system using cluster servers and large-scale servers in the field of geographic information. The search range designated by the client can be synthesized from the integrated index on the server and transmitted to the client, and the JPG2000 or WebP format can also be used to shorten the transfer time.
以下、本発明にかかる実施の形態について、図面を参照して説明する。本実施の形態に係る画像表示処理装置は、地図、図形などのデジタル画像情報(単に情報ともいう)を情報処理装置の仮想平面領域(ウィンドウまたはビュー)に効率よく表示する処理に関連するものである。図1は、本実施の形態に係る画像表示処理装置のシステム全体の概略的構成図である。本発明による画像表示処理装置のシステムの主体は、PDA(Personal Digital Assistant)、ノート型のPC(Personal Computer)等の小型携帯情報端末機器により構築されるものを想定しており、これらの小型携帯情報端末機器に本発明が適用されるとき最良の結果をもたらすものであるが、必ずしも本発明は小型携帯情報端末機器等への適用にとどまるものではなく、設置型のパーソナルコンピュータ、或いはその他の情報機器にも適用し得るものである。 Embodiments according to the present invention will be described below with reference to the drawings. The image display processing device according to the present embodiment relates to processing for efficiently displaying digital image information (also simply referred to as information) such as a map and a graphic in a virtual plane area (window or view) of the information processing device. is there. FIG. 1 is a schematic configuration diagram of the entire system of the image display processing apparatus according to the present embodiment. The main body of the image display processing apparatus system according to the present invention is assumed to be constructed by a small portable information terminal device such as a PDA (Personal Digital Assistant) or a notebook PC (Personal Computer). Although the best results are obtained when the present invention is applied to information terminal devices, the present invention is not necessarily applied to small portable information terminal devices and the like, and is not limited to small personal information terminals or other information. It can also be applied to equipment.
図1において、10はシステムバス、11はCPU(Central Processing Unit)、12はRAM(Random Access Memory)、13はROM(Read Only Memory)、14は外部情報機器との通信を司る通信制御部、15はキーボードコントローラなどの入力制御部、16はディスプレイコントローラなどの出力制御部、17は外部記憶装置制御部、18はキーボード、ポインティングデバイス、マウスなどの入力機器からなる入力部、19はLCDディスプレイなどの表示装置(ビューア)や印刷装置からなる出力部、20はHDD(Hard Disk Drive)等の外部記憶装置である。
In FIG. 1, 10 is a system bus, 11 is a CPU (Central Processing Unit), 12 is a RAM (Random Access Memory), 13 is a ROM (Read Only Memory), 14 is a communication control unit that controls communication with an external information device, 15 is an input control unit such as a keyboard controller, 16 is an output control unit such as a display controller, 17 is an external storage device control unit, 18 is an input unit including input devices such as a keyboard, pointing device, and mouse, 19 is an LCD display, etc. The
図1において、CPU11は、ROM13内のプログラム用ROM、或いは、大容量の外部記憶装置20に記憶されたプログラム等に応じて、外部機器と通信することでデータを検索・取得したり、また、図形、イメージ、文字、表等が混在した出力データの処理を実行したり、更に、外部記憶装置20に格納されているデータベースの管理を実行したり、などといった演算処理を行うものである。
In FIG. 1, the
また、CPU11は、システムバス10に接続される各デバイスを統括的に制御するものであり、特にソフトウェアを読み込むことで統合索引手段として機能する。ROM13内のプログラム用ROMあるいは外部記憶装置20には、CPU11の制御用の基本プログラムであるオペレーティングシステムプログラム(以下OS)等が記憶されている。また、ROM13あるいは外部記憶装置20には出力データ処理等を行う際に使用される各種データが記憶されている。RAM12は、CPU11の主メモリ、ワークエリア等として機能する。
The
入力制御部15は、キーボードや不図示のポインティングデバイスからの入力部18を制御する。また、出力制御部16は、LCDディスプレイ等の表示装置やプリンタなどの印刷装置の出力制御を行う。
The
外部記憶装置制御部17は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、プリンタドライバ等を記憶するHHD(ハードディスクドライブ)や、或いは場合によってはフレキシブルディスク(FD)等の外部記憶装置20へのアクセスを制御する。また、通信制御部14は、ネットワークを介して、外部機器と通信を制御するものであり、これによりシステムが必要とするデータを、インターネットやイントラネット上の外部機器が保有するデータベースから取得したり、外部機器に情報を送信したりすることができるように構成される。
The external storage
外部記憶装置20には、CPU11の制御プログラムであるオペレーティングシステムプログラム(以下OS)以外に、本発明の画像表示処理装置のシステムプログラム(例えば統合索引)、及びこのプログラムで用いるデータベースなどがインストールされ保存・記憶されている。
In addition to an operating system program (hereinafter referred to as OS) that is a control program of the
次に、本実施の形態に係る画像表示処理装置で用いるデジタル空間データにおける層構造、及びそれぞれの層を構成する矩形画像データ(及び、そのインデックスである矩形索引データ)の考え方について説明する。 Next, the layer structure in the digital space data used in the image display processing apparatus according to the present embodiment and the concept of the rectangular image data (and the rectangular index data that is the index) constituting each layer will be described.
本発明は、PDAや携帯電話、スマートフォン、タブレット型PC、モバイルノートPC等の小型携帯情報端末機器(情報処理端末)における地図ビューアなどへの使用が想定されるものである。このような小型携帯情報端末機器におけるビューアにおいては、ユーザーが参照したい所望の地図上の箇所を拡大・縮小したり、あるいはスクロールで移動したり、といった表示処理を行わなくてはならない。このような表示処理は、ユーザーにストレスを感じさせないように瞬時に行わなくてはならないが、小型携帯情報端末機器においては、消費電力の問題や機器筐体内スペースの制約などの関係から搭載されるCPUのパワーなども制限されており、従って画像処理などの複雑な処理には処理時間を要するというのが通例である。本発明は、統合索引手段が、ユーザーが所望すると予想される情報を予めリスト付けして、その識別IDを記憶することで、最適な情報を選択することによって、小型携帯情報端末機器でもユーザーにストレスを感じさせることがない高速スクロールや高速拡大縮小を行うようにするものである。 The present invention is assumed to be used for a map viewer or the like in a small portable information terminal device (information processing terminal) such as a PDA, a mobile phone, a smartphone, a tablet PC, or a mobile notebook PC. In a viewer in such a small portable information terminal device, display processing such as enlarging / reducing a desired location on a map that the user wants to refer to or moving by scrolling must be performed. Such display processing must be performed instantaneously so as not to cause the user to feel stress, but is mounted on small portable information terminal devices due to power consumption problems and restrictions on space in the device housing. The power of the CPU is also limited, and therefore it is usual that complicated processing such as image processing requires processing time. According to the present invention, the integrated index means lists information that is expected to be desired by the user in advance and stores the identification ID so that the optimum information is selected. It is intended to perform high-speed scrolling and high-speed enlargement / reduction without causing stress.
図2は、本実施の形態にかかるシステムフローを示す図である。まず、事前処理として、航空写真画像や衛星写真画像、地図データやGPS(Global Positioning System)データ、DEM、全方位カメラのデータ、台帳DBなどのデジタル空間データは、平面小単位に分割され、後述するように層構成にされ、更に識別IDを個々に付与されて、所定の記憶領域(空間202〜空間205)に記憶される。 FIG. 2 is a diagram showing a system flow according to the present embodiment. First, as pre-processing, aerial photograph image, satellite photograph image, map data, GPS (Global Positioning System) data, DEM, omnidirectional camera data, digital space data such as ledger DB are divided into small plane units, which will be described later. In this way, the layers are configured, and identification IDs are individually assigned and stored in predetermined storage areas (space 202 to space 205).
一方、本実施の形態に係る画像表示処理装置のCPU11は、ソフトウェアとして統合索引を読み込んで実行する。CPU11は、検索エンジンを活用し、所定の記憶領域(空間202〜空間205)に記憶された個々の情報を得点化し、その得点の高い順に識別IDをリスト付けして記憶している。統合索引は、画像表示処理装置の起動時毎にCPU11に読み込まれるようになっている。
On the other hand, the
尚、本実施の形態では、ベクトルデータとラスタデータとを対応づけるため、四辺形(Quadra)と範囲(Extent)という概念を用いる。例えば、図3において、航空写真画像AG上に地図画像MGを重ねる場合もあるが、このとき、地図画像MGを複数の黒点とそれを結ぶ線分で表し、更にこれに平面座標で対応する(例えば内接する)航空写真画像AGを点線で表している。これらは、図4に示すように層(Stratum)の一部として、重ね合うようにして(対応するようにして)記憶される。 In the present embodiment, the concept of quadrilateral and extent is used to associate vector data with raster data. For example, in FIG. 3, there is a case where the map image MG is superimposed on the aerial photograph image AG. At this time, the map image MG is represented by a plurality of black dots and line segments connecting them, and further corresponds to this by plane coordinates ( The aerial photograph image AG (for example, inscribed) is represented by a dotted line. These are stored so as to overlap (correspond to) as part of the stratum as shown in FIG.
更に、本実施の形態で用いるデジタル空間データの層(Stratum)を説明する。図5に示すように、同一の領域における個々のデジタル空間データは、空間層と時間層と質層の3層構造である。ここでは、解像度を空間順位として複数のデータを空間層内で順位付けし、データ作成時期を時間順位として複数のデータを時間層内で順位付けし、画像の質を質順位として複数のデータを質層内で順位付けする。 Further, the digital spatial data layer (stratum) used in the present embodiment will be described. As shown in FIG. 5, each digital spatial data in the same region has a three-layer structure of a spatial layer, a time layer, and a quality layer. Here, a plurality of data are ranked in the spatial layer with the resolution as the spatial order, a plurality of data are ranked within the time layer with the data creation time as the time order, and a plurality of data with the quality of the image as the quality order. Rank within the quality layer.
より具体的には、空間層においては、図6に示すように空間順位を例えば0番から229番まで設定した上で、基準解像度(空間順位)を40000kmから0.001mmまで振り分けて、入力したデジタル空間データが、いずれの解像度に相当するかによって、対応する空間順位を付与する。 More specifically, in the spatial layer, as shown in FIG. 6, the spatial order is set from 0 to 229, for example, and the reference resolution (spatial order) is distributed from 40000 km to 0.001 mm and input. Depending on which resolution the digital spatial data corresponds to, a corresponding spatial order is given.
又、時間層においては、図7に示すように、時間順位を例えば0番から255番まで設定した上で、年代(時間順位)を5億年前から50万年後まで振り分けて、入力したデジタル空間データが、いずれの年代に相当するかによって、対応する時間順位を付与する。 In the time group, as shown in FIG. 7, the time rank is set from 0 to 255, for example, and the age (time rank) is distributed and input from 500 million years ago to 500,000 years later. Corresponding time ranks are assigned according to which age the digital spatial data corresponds to.
又、質層においては、入力したデジタル空間データが、モノクロ画像、カラー写真、オルソ写真、イラスト地図画像、グリッド標高データ、オルソ写真地図、3角形網、ベクトル地図データ、GPS軌跡データ、テキストデータ、データベース、音声データ、GPS測位データ、動画データ、全方位カメラ動画のいずれかに分類し、図8の下表左欄に示すように、それぞれ順位を付与する。又、各データについては、図8の上表に示すように、合成(Composition)、調整(Rectify)、分類(Classify)、しかけ(Gadget)、構造化(Organized)、抽出(Abstract)、記号化(Symbolized)、連続(Stream)の項目にて、図8の下表右欄に示すようにビットパターンで分類できる。尚、空間順位の優先順位が最も高く、質順位の優先順位が最も低くなるように、つまり質順位が同じ順位なら、空間順位の優先順位が高い方を選出するなど、各順位間で優先度を与えても良い。 In the quality layer, the input digital space data is a monochrome image, color photograph, orthophoto, illustration map image, grid elevation data, orthophoto map, triangle network, vector map data, GPS trajectory data, text data, The data is classified into one of database, audio data, GPS positioning data, moving image data, and omnidirectional camera moving image, and each rank is assigned as shown in the left column of the lower table of FIG. For each data, as shown in the upper table of FIG. 8, composition (Composition), adjustment (Rectify), classification (Classify), overhang (Gadget), structured (Organized), extraction (Abstract), symbolization (Symbolized) and continuous (Stream) items can be classified by bit pattern as shown in the right column of the lower table of FIG. It should be noted that the priority among the ranks is selected such that the highest priority of the spatial rank is selected so that the priority of the spatial rank is the highest and the priority of the quality rank is the lowest, that is, if the rank of the quality rank is the same. May be given.
このようにして、順位を付されたデジタル空間データを分類した空間層と時間層と質層を三重順位(3つの順位(x、y、z)からなる3次元構造である)とし、四辺形(Quadra)と範囲(Extent)と合体させて、デジタル空間データ毎に、図9に示す層(Stratum)を形成する。つまり、任意のデジタル空間データは、三重順位(例えば133,146,3)により表すことができる。但し、以上に限らず、複数の座標系を管理しておき、必要に応じて相互に跳躍することも可能である。 In this way, the spatial layer, the time layer, and the quality layer that classify the digital spatial data with the rankings are set to a triple ranking (a three-dimensional structure composed of three rankings (x, y, z)), and a quadrilateral. (Quadra) and range (Extent) are combined to form a layer (Stratum) shown in FIG. 9 for each digital space data. That is, arbitrary digital space data can be represented by a triple rank (for example, 133, 146, 3). However, not limited to the above, it is also possible to manage a plurality of coordinate systems and jump to each other as necessary.
更に、図10は、複数の層を含む層構成(Strata)の概略図である。ここで、制御情報とは、個々のデジタル空間データ(Datum)にアクセスするための識別IDを含む。 Further, FIG. 10 is a schematic view of a layer structure (Strata) including a plurality of layers. Here, the control information includes an identification ID for accessing individual digital space data (Datum).
図11は、層構成を分散して記憶する状態を示す図である。つまり、層構成はRAM12(図1)内に分割して記憶されてよい。層構成は画像データを含まず、識別ID等の数値データしか含まないため、携帯端末の小容量メモリにも記憶でき、アクセスも早い。又、領域A〜Dは別々でも良いし、重なっていても良い。 FIG. 11 is a diagram illustrating a state in which the layer configuration is distributed and stored. That is, the layer configuration may be divided and stored in the RAM 12 (FIG. 1). Since the layer structure does not include image data and includes only numerical data such as an identification ID, it can be stored in a small-capacity memory of a portable terminal and can be accessed quickly. The areas A to D may be separate or overlapped.
図12は、デジタル空間データの走査を示すフロー図である。ユーザーが不図示のビューアに画像表示をさせようとするとき、図12において、CPU11は各層構成にアクセスし、ユーザーが所望する範囲における四辺形(Quadra)と範囲(Extent)の重なり具合を、後述するようにして判定する(図12のA)。
FIG. 12 is a flow diagram illustrating scanning of digital spatial data. When the user tries to display an image on a viewer (not shown), in FIG. 12, the
次いで、四辺形ポインタ(QP)により四辺形を選択する(図12のB)。これについては、特開2008−41028に開示されている。更に、ビューグリッドで、データにふるいをかける(図12のC)。これにより表示領域を細かく分けて得点化することで、少しでも最適な画像を上に重ねて表示できるようにすることができる。その後、桝目に応じて優先順位が決まるので、その優先順位に基づいて、選出されたデジタル空間データを表示即応記憶領域(図1のRAM12)へと出力し、選出されたデジタル空間データに基づき、出力部(ビューア)19にて情報を表示するようになっている。尚、表示された情報をユーザーが選出しなかった場合(拡大等した場合)、次候補のデータに置換されて表示が行われるようになっている。
Next, a quadrilateral is selected by the quadrilateral pointer (QP) (B in FIG. 12). This is disclosed in Japanese Patent Application Laid-Open No. 2008-41028. Further, the data is sieved in the view grid (C in FIG. 12). As a result, the display area can be divided and scored, so that an optimum image can be displayed superimposed on the display area. After that, since the priority order is determined according to the cell size, the selected digital space data is output to the display ready storage area (
次に、表示順に関わる得点の付け方について述べる。図13(a)において、表示範囲をカバーする領域を適切な数で分割して桝目RCを設ける。この場合、分割の程度としては、表示解像度の16倍から32倍程度が望ましい。例えばPDAでは4×4,PCでは16×16が推奨される。 Next, how to score points related to the display order will be described. In FIG. 13A, an area covering the display range is divided by an appropriate number to provide a grid RC. In this case, the degree of division is preferably about 16 to 32 times the display resolution. For example, 4 × 4 for PDA and 16 × 16 for PC are recommended.
次いで、分割された1つの桝目RCを、図13(b)に示すように、更に8×8の小区画PTに分ける。各小区画PTの属性の初期値を0とする。更に、図13(c)に示すように、四辺形(Quadra)と小区画PTの重なりの判定を行う(図12のAに相当)。四辺形(Quadra)と重なった小区画PT(ハッチングで示す)の属性を1にする。このようにして、全ての桝目RCの内の小区画PTについて、属性が1となった数を計算して表にする(図13(d)参照)。但し、以上に関わらず、全ての属性を1にしても良い。
Next, one divided grid RC is further divided into 8 × 8 small sections PT as shown in FIG. The initial value of the attribute of each small section PT is set to 0. Further, as shown in FIG. 13C, the overlapping of the quadrilateral and the small section PT is determined (corresponding to A in FIG. 12). The attribute of the small section PT (indicated by hatching) that overlaps the quadrilateral is set to 1. In this way, the number of
次に、充足率αを以下の式で計算する。充足率(重なり率ともいう)αは、1つの桝目における四辺形(Quadra)と小区画PTの重なり度合いを示し、充足率αが高いほど、そのデジタル空間データが使用される可能性が高くなる傾向がある。
充足率α=小区画PTの属性1の数/64 (1)
Next, the fullness rate α is calculated by the following formula. Satisfaction rate (also referred to as overlap rate) α indicates the degree of overlap between a quadrilateral and a small section PT in one cell, and the higher the satisfaction rate α, the higher the possibility that the digital space data will be used. Tend.
Satisfaction rate α = number of
更に、桝目毎に得点計算を行う。まず、空間解像度の得点を示す空間得点εを求める。具体的には、画像を表示するビューアの表示解像度に近い空間解像度を持つデジタル空間データの得点を高くする。ここで、空間解像度β<表示解像度γのとき
最適度δ=空間解像度β/表示解像度γ (2)
それ以外のとき
最適度δ=表示解像度γ/空間解像度β (2’)
とする。これにより空間得点εは、
空間得点ε=最適度δ×充足率α (3)
で表せる。
Furthermore, score calculation is performed for each square. First, a spatial score ε indicating a spatial resolution score is obtained. Specifically, the score of digital spatial data having a spatial resolution close to the display resolution of a viewer that displays an image is increased. Here, when spatial resolution β <display resolution γ, optimality δ = spatial resolution β / display resolution γ (2)
Otherwise, optimality δ = display resolution γ / spatial resolution β (2 ′)
And This gives the spatial score ε
Space score ε = Optimum δ × Satisfaction rate α (3)
It can be expressed as
更に、年代に関する時間得点κを求める。具体的には、現在時刻(ユーザーの設定で指定時刻を入力しても良い)により、基準時間順位を決め、それに近い作成時期をもつデジタル空間データの得点を高くする。但し、時間順位ζ<基準時間順位ηのとき、
同時率θ=時間順位ζ/基準時間順位η (4)
それ以外のとき
同時率θ=基準時間順位η/時間順位ζ (4’)
とする。これにより時間得点κは、
時間得点κ=同時率θ×充足率α×0.5 (5)
で表せる。(5)式の0.5は重み付け係数であるが、これに限らない。
Furthermore, the time score κ regarding the age is obtained. Specifically, the reference time order is determined based on the current time (the designated time may be input by the user's setting), and the score of digital space data having a creation time close to that is increased. However, when time rank ζ <reference time rank η,
Simultaneous rate θ = time rank ζ / reference time rank η (4)
In other cases, the simultaneous rate θ = reference time rank η / time rank ζ (4 ′)
And As a result, the time score κ is
Time score κ = Simultaneous rate θ × Satisfaction rate α × 0.5 (5)
It can be expressed as Although 0.5 in equation (5) is a weighting coefficient, it is not limited to this.
更に、質得点λは以下の式で表せる。ユーザーの使用目的や嗜好を反映することができる。(6)式の0.25は重み付け係数であるが、これに限らない。
質得点λ=(1/質順位)×充足率α×0.25 (6)
Furthermore, the quality score λ can be expressed by the following equation. It can reflect the purpose and preference of the user. Although 0.25 of (6) Formula is a weighting coefficient, it is not restricted to this.
Quality score λ = (1 / quality rank) × satisfaction rate α × 0.25 (6)
以上より、総合得点μは以下の式で表せる。但し、重み付けについては、ユーザーの希望により、任意に(例えば時間順位が最も高く重み付けされるように)変更できるようにしてもよい。
総合得点μ=空間得点ε+時間得点κ+質得点λ (7)
From the above, the total score μ can be expressed by the following formula. However, the weighting may be arbitrarily changed (for example, so that the time ranking is weighted highest) according to the user's request.
Total score μ = space score ε + time score κ + quality score λ (7)
CPU11は、桝目毎に各デジタル空間データについて、総合得点を求め、得点の高い順に優先順位を決定する。図14は各桝目における各得点を計算したデジタル空間データの例であり、図15はその優先順位を示している。図14、15中の表によれば、桝目番号01における最も得点の高いデジタル空間データの三重順位は、(140,146,3)となる。優先順位は、8位まで求めても良いし、3位までに留めても良い。
CPU11 calculates | requires a total score about each digital space data for every square, and determines a priority in order with a high score. FIG. 14 is an example of digital space data obtained by calculating each score in each cell, and FIG. 15 shows the priority order. According to the tables in FIGS. 14 and 15, the triple rank of the digital space data with the highest score at the
その後、CPU11は、図16に示すように、1つの桝目における優先順位を統計選出し、優先順位が1位のデジタル空間データの数を求め、最も多い数のデジタル空間データ(図16ではデータ(140,146,3))を、この桝目の最上位の情報として決定する。このように、1つの桝目内で最も多い数のデジタル空間データを選出し、これを桝目のデータとすることで、小区画毎に画像等が変わる恐れを回避できる。
Thereafter, as shown in FIG. 16, the
CPU11は、図17に示すように、1位の数が少ない層から多い層の順で、デジタル空間データをRAM12内に形成した必須表示リストLTに送る。1位の数が0の層はこの時点では送らない。
As shown in FIG. 17, the
尚、図18に示すように、桝目ごとに2位以下の層で1位と空間順位が同じで質順位が違うデジタル空間データを、次候補として選出することもできる。この場合、図19において、優先順位が2位のデジタル空間データの数を求め、最も多い数のデジタル空間データを次候補として選出する。質順位が違うものを選出する理由は、同じ時間で同じ解像度のデジタル空間データがあった場合、例えば写真画像に地図画像を重ねて使用するような例が考えられるので、次候補として選出するのが好ましいからである。但し、これはユーザーがオプションとして選出した場合に限って行うようにしても良い。 As shown in FIG. 18, it is possible to select digital spatial data having the same spatial ranking and a different quality ranking as the next candidate in the second and lower layers for each cell. In this case, in FIG. 19, the number of digital space data with the second highest priority is obtained, and the largest number of digital space data is selected as the next candidate. The reason for selecting different quality ranks is that if there is digital spatial data with the same resolution at the same time, for example, a map image may be used by overlaying it on a photo image. Is preferable. However, this may be performed only when the user selects as an option.
更に、図20に示すように、CPU11は、選出回数が1回以上の層のデジタル空間データを、空間順位、時間順位、質順位の順で必須表示リストLTに送る。時間順位と質順位は、ユーザーがオプションとして変える(順位を逆転したり、回避する)ことができる。
Further, as shown in FIG. 20, the
以上をまとめたのが図21である。CPU11は、得点表に基づいて、桝目毎に必須表示リストLTを作成し、表示即応記憶領域に、最上位のデジタル空間データの識別IDを記憶する。或いは、ラスタデータとベクトルデータの合成画像を表示する場合、表示合成記憶領域に、合成すべきデジタル空間データの識別IDを記憶する。ビューワ19は、表示即応記憶領域又は表示合成記憶領域に記憶されたデジタル空間データの識別IDから、対応するラスタデータやベクトルデータを読み出して表示するので、ユーザーが所望する画像の迅速な表示が可能である。尚、選出されたデジタル空間データにリンクを設けて、全く異なるデータへとジャンプすることも可能である。
FIG. 21 summarizes the above. The
尚、ビューアの表示の範囲と解像度(空間順位)が変わる場合、表示即応記憶領域の必須表示リストLTは必ず刷新される。又、表示の解像度が同じで範囲が重なりつつ移動する場合は再利用が期待できる。但し、再利用を促すための記憶領域の差し替え候補の順序は、以下とするのが好ましい。
(1)空き(未使用)のデジタル空間データ
(2)表示範囲の外側のデジタル空間データ
(3)1位獲得数が少ない層に属するデジタル空間データ
(4)再利用回数が多いデジタル空間データ
但し、表示即応記憶領域の受け入れ数が少ない場合は、再利用の効果は期待できない。
When the display range and resolution (space order) of the viewer change, the essential display list LT in the display ready storage area is always renewed. Further, when the display resolution is the same and the range moves while overlapping, reuse can be expected. However, the order of storage area replacement candidates for prompting reuse is preferably as follows.
(1) Empty (unused) digital space data (2) Digital space data outside the display range (3) Digital space data belonging to the layer with the least number of first place acquisitions (4) Digital space data with many reuses When the number of display ready storage areas is small, the reuse effect cannot be expected.
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。例えば、統合索引手段に学習機能を持たせても良い。 The present invention has been described above with reference to the embodiments. However, the present invention should not be construed as being limited to the above-described embodiments, and can be modified or improved as appropriate. For example, the integrated index means may have a learning function.
10・・・システムバス、
11・・・CPU(Central Processing Unit)、
12・・・RAM(Random Access Memory)、
13・・・ROM(Read Only Memory)、
14・・・通信制御部、
15・・・入力制御部、
16・・・出力制御部、
17・・・外部記憶装置制御部、
18・・・入力部、
19・・・出力部、
20・・・外部記憶装置
10: System bus,
11 ... CPU (Central Processing Unit),
12 ... RAM (Random Access Memory),
13: ROM (Read Only Memory),
14: Communication control unit,
15 ... Input control unit,
16 ... Output control unit,
17 ... External storage device control unit,
18 ... input part,
19 ... output part,
20 ... External storage device
Claims (8)
各デジタル空間データには、画像の解像度に関する空間順位と、データ作成時期に関する時間順位と、画像の質に関する質順位が付与され、
前記画像表示処理装置は、前記空間順位と前記時間順位と前記質順位とに基づいて、同一の領域に対応する複数のデジタル空間データについて、表示順を決定する統合索引手段を有し、
決定された前記表示順に応じて選出された前記デジタル空間データに基づき、画像が表示されるようになっていることを特徴とする画像表示処理装置。 In an image display processing device used for displaying an image based on at least one of a plurality of digital space data corresponding to the same region,
Each digital spatial data is given a spatial order related to the resolution of the image, a time order related to the data creation time, and a quality order related to the quality of the image,
The image display processing device has an integrated index means for determining a display order for a plurality of digital spatial data corresponding to the same region based on the spatial ranking, the temporal ranking, and the quality ranking,
An image display processing apparatus, wherein an image is displayed based on the digital space data selected according to the determined display order.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104848A JP5761561B2 (en) | 2011-05-10 | 2011-05-10 | Image display processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011104848A JP5761561B2 (en) | 2011-05-10 | 2011-05-10 | Image display processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012238046A true JP2012238046A (en) | 2012-12-06 |
JP5761561B2 JP5761561B2 (en) | 2015-08-12 |
Family
ID=47460917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011104848A Active JP5761561B2 (en) | 2011-05-10 | 2011-05-10 | Image display processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5761561B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100001A (en) * | 2014-11-19 | 2016-05-30 | エヌ3エヌ、カンパニー、リミテッドN3N Co.,Ltd. | Visualization method and system, and integrated data file generating method and apparatus for 4d data |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001059734A (en) * | 1999-08-23 | 2001-03-06 | Equos Research Co Ltd | Navigation device |
JP2006023712A (en) * | 2004-06-10 | 2006-01-26 | Victor Co Of Japan Ltd | Navigation apparatus and its map-indication control program |
JP2008041028A (en) * | 2006-08-10 | 2008-02-21 | Kokusai Kogyo Co Ltd | Image display processor |
-
2011
- 2011-05-10 JP JP2011104848A patent/JP5761561B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001059734A (en) * | 1999-08-23 | 2001-03-06 | Equos Research Co Ltd | Navigation device |
JP2006023712A (en) * | 2004-06-10 | 2006-01-26 | Victor Co Of Japan Ltd | Navigation apparatus and its map-indication control program |
JP2008041028A (en) * | 2006-08-10 | 2008-02-21 | Kokusai Kogyo Co Ltd | Image display processor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100001A (en) * | 2014-11-19 | 2016-05-30 | エヌ3エヌ、カンパニー、リミテッドN3N Co.,Ltd. | Visualization method and system, and integrated data file generating method and apparatus for 4d data |
Also Published As
Publication number | Publication date |
---|---|
JP5761561B2 (en) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445914B2 (en) | Method and apparatus for contextually varying imagery on a map | |
US10990638B2 (en) | Processing ambiguous search requests in a geographic information system | |
US10170084B2 (en) | Graphical representation generation for multiple points of interest | |
US9552129B2 (en) | Interactive visual representation of points of interest data | |
US8402394B2 (en) | Three-dimensional website visualization | |
US9110573B2 (en) | Personalized viewports for interactive digital maps | |
US8943049B2 (en) | Augmentation of place ranking using 3D model activity in an area | |
US9460160B1 (en) | System and method for selecting user generated content related to a point of interest | |
US9990750B1 (en) | Interactive geo-referenced source imagery viewing system and method | |
US20130332890A1 (en) | System and method for providing content for a point of interest | |
US20150032771A1 (en) | System and method for sharing geo-localized information in a social network environment | |
US11409412B1 (en) | Interactive digital map including context-based photographic imagery | |
JP2017505923A (en) | System and method for geolocation of images | |
JP5761561B2 (en) | Image display processing device | |
US8983138B2 (en) | Image processing device, information storage device, and image processing method | |
KR20180026998A (en) | Method for creating a post for place-based sns, terminal, server and system for performing the same | |
US20170054831A1 (en) | Cloud-based storage and interchange mechanism for design elements | |
US20150242992A1 (en) | Blending map data with additional imagery | |
KR20180026999A (en) | Method for browsing a post for place-based sns, terminal, server and system for performing the same | |
JP2024010826A (en) | Information processing apparatus, information processing method, and information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130205 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140501 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5761561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |