JP2008090764A - データ処理方法 - Google Patents
データ処理方法 Download PDFInfo
- Publication number
- JP2008090764A JP2008090764A JP2006273521A JP2006273521A JP2008090764A JP 2008090764 A JP2008090764 A JP 2008090764A JP 2006273521 A JP2006273521 A JP 2006273521A JP 2006273521 A JP2006273521 A JP 2006273521A JP 2008090764 A JP2008090764 A JP 2008090764A
- Authority
- JP
- Japan
- Prior art keywords
- data
- file
- database
- output
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】データベースに格納したバイナリ形式のデータ検索から文字列に変換したファイル出力までの処理時間を短縮する。
【解決手段】一定区間にひとまとめにしたフィールド構成のバイナリ形式のディジタルデータに対して、そのデータ数と区切りバイト数と加工に必要なデータを保持（Ｓ１１，Ｓ１２）、および各フィールドのバイナリ形式データをそのまま配列データとしてメモリ上に保持しておく（Ｓ１３）。
ファイル出力する各フィールドの区切りバイト数から取り出すデータの位置を特定し、該区切りバイト数のサイズで加工（数値変換）し（Ｓ１４，Ｓ１５）、加工したデータを文字列に変換してファイル出力データとしてファイルに書き込む（Ｓ１６）。
【選択図】図１
【解決手段】一定区間にひとまとめにしたフィールド構成のバイナリ形式のディジタルデータに対して、そのデータ数と区切りバイト数と加工に必要なデータを保持（Ｓ１１，Ｓ１２）、および各フィールドのバイナリ形式データをそのまま配列データとしてメモリ上に保持しておく（Ｓ１３）。
ファイル出力する各フィールドの区切りバイト数から取り出すデータの位置を特定し、該区切りバイト数のサイズで加工（数値変換）し（Ｓ１４，Ｓ１５）、加工したデータを文字列に変換してファイル出力データとしてファイルに書き込む（Ｓ１６）。
【選択図】図１
Description
本発明は、外部入力されるディジタルデータをデータベースに蓄積し、蓄積したデータを検索してその加工／解析などを行なうデータ処理システムに係り、特にデータベースに格納されるバイナリ形式データを検索し、このデータから文字列データに変換したファイル出力を得るデータ処理方法に関する。
この種のデータ処理システムは、例えば、電力系統や電力設備の各部位の電圧、電流の波形をサンプリングしてディジタル信号に変換し、このディジタル信号の解析によって系統の運用状態や設備の動作状態を求める解析システム、車両等の試験運転における各種計測信号から試験データを取得する試験システム、監視カメラで撮影した映像から侵入者等が写っている映像部分を抽出する映像解析システム、指紋データを取得して個人を認証する指紋認証システムなどで実施されている。
上記のようなデータ処理システムは、大量のディジタルデータまたはアナログ信号をディジタルデータに変換して収集するデータ収集部と、このディジタルデータをデータベースのデータ蓄積方式に適合させたデータ形式に変換して蓄積するデータ変換部と、データベースに蓄積したデータを検索して目的とする加工を行うデータ加工部と、加工結果を画像データやファイルデータとして出力する出力部により構成され、各部はコンピュータ資源とそれを利用したソフトウェア構成で実現される（例えば特許文献１参照）。
ここで、データベースに対するデータ格納からファイル出力までの処理は、以下のようにしている。
（１）データ格納処理
収集したデータをデータベース内に蓄積する際に、取得したデータをバイナリ形式として保存する。また、データベースに蓄積するレコード数を減らすため、ある一定区間のデータをひとまとめにして、１レコードに格納している（例：信号ＡのＯＮ出力〜信号ＡのＯＦＦ出力まで）。このため、データベースの各フィールドには、信号ＡのＯＮ出力時の時間から信号ＡのＯＦＦ出力の時間までに取得したデータが一列のバイナリデータ列として格納される。
収集したデータをデータベース内に蓄積する際に、取得したデータをバイナリ形式として保存する。また、データベースに蓄積するレコード数を減らすため、ある一定区間のデータをひとまとめにして、１レコードに格納している（例：信号ＡのＯＮ出力〜信号ＡのＯＦＦ出力まで）。このため、データベースの各フィールドには、信号ＡのＯＮ出力時の時間から信号ＡのＯＦＦ出力の時間までに取得したデータが一列のバイナリデータ列として格納される。
（２）ファイル出力時のデータ保持処理
データベースに蓄積されたバイナリデータをファイル出力する際に、データベースより取得したデータをバイナリ変換前のデータのバイト数ごとに区切った後、数値変換を行なう。数値変換後のデータを加工し、さらに文字列変換したデータ別に配列としてメモリ上に保持する。
データベースに蓄積されたバイナリデータをファイル出力する際に、データベースより取得したデータをバイナリ変換前のデータのバイト数ごとに区切った後、数値変換を行なう。数値変換後のデータを加工し、さらに文字列変換したデータ別に配列としてメモリ上に保持する。
図２はデータ保持の処理態様の例を示し、データベースから取得したサンプリングデータ（バイナリ形式）を指定バイト（例：２バイト）で区切って数値変換し（Ｓ１）、数値変換した値に対して変換係数ａ，ｂをもつ一次変換式ｙ＝ａｘ＋ｂを使用して物理量（実際の電圧値、電流値など）変換を行い（Ｓ２）、変換した値を文字列データに変換してフィールドデータとしてメモリ上に保持する（Ｓ３）。
（３）ファイル出力処理
データベースより取得したフィールドデータが全て文字列データに変換されてメモリ上に保持された後、同一時刻に取得したデータを取り出し、全フィールドのデータを取得してファイルに出力する。
データベースより取得したフィールドデータが全て文字列データに変換されてメモリ上に保持された後、同一時刻に取得したデータを取り出し、全フィールドのデータを取得してファイルに出力する。
図３はファイル出力処理態様の例を示し、出力する各フィールドのサンプリングデータを格納した配列から、同一時刻の文字列データを取り出し（Ｓ４）、全フィールドのデータを取得した後に１行分のデータをファイルに書き出し（Ｓ５）、これら処理を繰り返す。
特開２００３−１２２７６７号公報
データベースに対するデータ検索からファイル出力までの従来のデータ処理方法では、データベースより取得するデータ数が大きいと、変換した文字列データの保持処理に際してメモリ領域が随時拡大されて大容量のメモリ領域が使用され、そのメモリ領域の確保、解放に時間がかかり、結果的にファイル出力までに時間を要してしまい、高速処理が難しくなる。
本発明の目的は、データベースに格納したバイナリ形式のデータ検索から文字列に変換したファイル出力までの処理時間を短縮できるデータ処理方法を提供することにある。
本発明は、前記の課題を解決するため、データ保持処理ではデータベースより取得した各フィールドのバイナリ形式データを文字列に変換することなくそのまま保持し、ファイル出力処理においてバイナリ形式データを文字列データに変換するようにしたもので、以下の方法を特徴とする。
（１）外部入力されるディジタルデータをバイナリ形式でデータベースに蓄積し、このデータを区切りバイト数単位に加工し、この加工したデータを文字列データに変換してファイル出力を得るデータ処理方法であって、
外部入力されるバイナリ形式のディジタルデータを一定区間にひとまとめにしたフィールド構成でデータベースに格納するデータ格納処理手順と、
ファイル出力時に、前記データベースより取得した各フィールドのバイナリ形式データのデータ数と区切りバイト数と加工に必要なデータを保持、および各フィールドのバイナリ形式データをそのまま配列データとしてメモリ上に保持しておくデータ保持処理手順と、
ファイル出力する各フィールドの前記区切りバイト数から取り出すデータの位置を特定し、該区切りバイト数のサイズで加工し、加工したデータを文字列に変換してファイル出力データとしてファイルに書き込むファイル出力処理手順と、
を有することを特徴とする。
外部入力されるバイナリ形式のディジタルデータを一定区間にひとまとめにしたフィールド構成でデータベースに格納するデータ格納処理手順と、
ファイル出力時に、前記データベースより取得した各フィールドのバイナリ形式データのデータ数と区切りバイト数と加工に必要なデータを保持、および各フィールドのバイナリ形式データをそのまま配列データとしてメモリ上に保持しておくデータ保持処理手順と、
ファイル出力する各フィールドの前記区切りバイト数から取り出すデータの位置を特定し、該区切りバイト数のサイズで加工し、加工したデータを文字列に変換してファイル出力データとしてファイルに書き込むファイル出力処理手順と、
を有することを特徴とする。
以上のとおり、本発明によれば、データ保持処理ではデータベースより取得した各フィールドのバイナリ形式データを文字列に変換することなくそのまま保持し、ファイル出力処理においてバイナリ形式データを文字列データに変換するようにしたため、検索データを文字列変換するまでの間のメモリの確保、解放の時間を短縮でき、結果的にファイル出力までの時間を短縮できる。
また、データ検索の時間が短縮されることで、データ処理システム全体として高速処理が期待できる。
図１は、本発明の実施形態を示すデータ格納からファイル出力までの処理態様図であり、以下、個別にその処理を説明する。
（１）データ格納処理は、従来手法と同様に、収集したデータをデータベース内に蓄積する際に、取得したデータをバイナリ形式として保存する。また、データベースに蓄積するレコード数を減らすため、ある一定区間のデータをひとまとめにして、１レコードに格納し、データベースの各フィールドには、一列のバイナリデータ列として格納する。
（２）ファイル出力時のデータ保持処理
データベースより取得した各フィールドのバイナリ形式データよりデータ数を取得してメモリ領域に格納する（Ｓ１１）。その他、区切りバイト数、データ加工用のデータ（例では一次変換係数ａ，ｂ）などの必要なデータをメモリ領域に格納する（Ｓ１２）。そして、データベースより取得したバイナリデータをそのまま配列データとして格納する（Ｓ１３）。
データベースより取得した各フィールドのバイナリ形式データよりデータ数を取得してメモリ領域に格納する（Ｓ１１）。その他、区切りバイト数、データ加工用のデータ（例では一次変換係数ａ，ｂ）などの必要なデータをメモリ領域に格納する（Ｓ１２）。そして、データベースより取得したバイナリデータをそのまま配列データとして格納する（Ｓ１３）。
（３）ファイル出力処理
出力する各フィールドのサンプリングデータ（バイナリ形式）で、時間と区切りバイト数から求めるデータの位置を特定して、区切りバイト（２バイト）のサイズで数値変換し（Ｓ１４）、数値変換した値に対して変換係数ａ，ｂをもつ一次変換式ｙ＝ａｘ＋ｂを使用して物理量変換を行い（Ｓ１５）、変換結果を文字列データに変換してファイル出力データに追加する（Ｓ１６）。全フィールドのデータを取得したとき、１行分のフィールドデータをファイルに書き込む（Ｓ１７）。
出力する各フィールドのサンプリングデータ（バイナリ形式）で、時間と区切りバイト数から求めるデータの位置を特定して、区切りバイト（２バイト）のサイズで数値変換し（Ｓ１４）、数値変換した値に対して変換係数ａ，ｂをもつ一次変換式ｙ＝ａｘ＋ｂを使用して物理量変換を行い（Ｓ１５）、変換結果を文字列データに変換してファイル出力データに追加する（Ｓ１６）。全フィールドのデータを取得したとき、１行分のフィールドデータをファイルに書き込む（Ｓ１７）。
したがって、本実施形態によれば、データ保持処理ではデータベースより取得した各フィールドのバイナリ形式データを文字列に変換することなくそのまま保持し、ファイル出力処理でバイナリ形式データを文字列データに変換するため、データ保持処理に際してメモリの確保、解放の時間を短縮できる。
Claims (1)
- 外部入力されるディジタルデータをバイナリ形式でデータベースに蓄積し、このデータを区切りバイト数単位に加工し、この加工したデータを文字列データに変換してファイル出力を得るデータ処理方法であって、
外部入力されるバイナリ形式のディジタルデータを一定区間にひとまとめにしたフィールド構成でデータベースに格納するデータ格納処理手順と、
ファイル出力時に、前記データベースより取得した各フィールドのバイナリ形式データのデータ数と区切りバイト数と加工に必要なデータを保持、および各フィールドのバイナリ形式データをそのまま配列データとしてメモリ上に保持しておくデータ保持処理手順と、
ファイル出力する各フィールドの前記区切りバイト数から取り出すデータの位置を特定し、該区切りバイト数のサイズで加工し、加工したデータを文字列に変換してファイル出力データとしてファイルに書き込むファイル出力処理手順と、
を有することを特徴とするデータ処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006273521A JP5018000B2 (ja) | 2006-10-05 | 2006-10-05 | データ処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006273521A JP5018000B2 (ja) | 2006-10-05 | 2006-10-05 | データ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008090764A true JP2008090764A (ja) | 2008-04-17 |
| JP5018000B2 JP5018000B2 (ja) | 2012-09-05 |
Family
ID=39374814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006273521A Active JP5018000B2 (ja) | 2006-10-05 | 2006-10-05 | データ処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5018000B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010147454A1 (en) * | 2009-06-16 | 2010-12-23 | Emanual System Sdn Bhd | System and method of binary data storage and management in database management systems |
| CN102210108B (zh) * | 2008-11-07 | 2014-05-07 | 住友电气工业株式会社 | 通信装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05127960A (ja) * | 1991-11-07 | 1993-05-25 | Meidensha Corp | データベースのデータ表現方式 |
| JPH0822476A (ja) * | 1994-07-06 | 1996-01-23 | Toshiba Corp | プラントデータ総合管理装置 |
| JPH10281813A (ja) * | 1997-04-10 | 1998-10-23 | Hioki Ee Corp | 測定データの記録方法 |
| JP2002351706A (ja) * | 2001-05-22 | 2002-12-06 | Ntt Comware Corp | バイナリファイル提示方法、バイナリファイル提示プログラムおよび記録媒体 |
| JP2003122767A (ja) * | 2001-10-10 | 2003-04-25 | Canon Inc | 情報処理装置及び情報処理方法 |
| JP2004165733A (ja) * | 2002-11-08 | 2004-06-10 | Matsushita Electric Ind Co Ltd | 画像変換装置及び画像変換方法並びに記録媒体 |
| JP2004234119A (ja) * | 2003-01-28 | 2004-08-19 | Yokogawa Electric Corp | 測定データ処理方法および測定データ処理装置 |
-
2006
- 2006-10-05 JP JP2006273521A patent/JP5018000B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05127960A (ja) * | 1991-11-07 | 1993-05-25 | Meidensha Corp | データベースのデータ表現方式 |
| JPH0822476A (ja) * | 1994-07-06 | 1996-01-23 | Toshiba Corp | プラントデータ総合管理装置 |
| JPH10281813A (ja) * | 1997-04-10 | 1998-10-23 | Hioki Ee Corp | 測定データの記録方法 |
| JP2002351706A (ja) * | 2001-05-22 | 2002-12-06 | Ntt Comware Corp | バイナリファイル提示方法、バイナリファイル提示プログラムおよび記録媒体 |
| JP2003122767A (ja) * | 2001-10-10 | 2003-04-25 | Canon Inc | 情報処理装置及び情報処理方法 |
| JP2004165733A (ja) * | 2002-11-08 | 2004-06-10 | Matsushita Electric Ind Co Ltd | 画像変換装置及び画像変換方法並びに記録媒体 |
| JP2004234119A (ja) * | 2003-01-28 | 2004-08-19 | Yokogawa Electric Corp | 測定データ処理方法および測定データ処理装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102210108B (zh) * | 2008-11-07 | 2014-05-07 | 住友电气工业株式会社 | 通信装置 |
| WO2010147454A1 (en) * | 2009-06-16 | 2010-12-23 | Emanual System Sdn Bhd | System and method of binary data storage and management in database management systems |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5018000B2 (ja) | 2012-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8959022B2 (en) | System for media correlation based on latent evidences of audio | |
| US8320609B2 (en) | Device and method for attaching additional information | |
| US9380257B2 (en) | Portable electronic equipment and method of recording media using a portable electronic equipment | |
| JPH0779403A (ja) | 電子スチルカメラ | |
| KR20120015819A (ko) | 비접촉식 구조물 변위 측정용 파라미터 데이터 생성 방법 | |
| JP5237037B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| JP5018000B2 (ja) | データ処理方法 | |
| RU2005131947A (ru) | Сбор диагностических данных в интегральной схеме | |
| WO2018078735A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| CN113114986B (zh) | 基于画面和声音同步的预警方法及相关设备 | |
| JP5366676B2 (ja) | 撮像装置及びその制御方法とプログラム、記憶媒体 | |
| CN107169057B (zh) | 一种重复图片的检测方法和装置 | |
| JP5137783B2 (ja) | ハッシュ生成装置及び検証装置及びハッシュ生成プログラム及びハッシュ生成方法 | |
| CN101110907A (zh) | 图像显示系统 | |
| CN104655284B (zh) | 分析装置、处理装置和分析方法、处理方法 | |
| JP2004152239A (ja) | ファイル管理装置、ファイル管理方法及びプログラム | |
| Lehri et al. | Identifying Desired Timestamps in Carved Digital Video Recorder Footage | |
| CN111258997B (zh) | 基于NiFi的数据处理方法和装置 | |
| KR20180114365A (ko) | 원격 측정 데이터 처리 장치 및 방법 | |
| JPH08240452A (ja) | 製造工程管理装置 | |
| JP2007241945A (ja) | 画像処理装置及び画像処理判定装置 | |
| JP4519866B2 (ja) | 画像記録装置及びその画像ファイル生成方法 | |
| JP2005100196A (ja) | 画像検索手段 | |
| CN113645425A (zh) | 处理方法、处理系统及信息追加装置、检测装置、处理装置 | |
| JPH0896010A (ja) | 論理回路シミュレーション結果表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120110 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5018000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |