JP2010212744A - データ圧縮方法、装置、およびプログラム - Google Patents
データ圧縮方法、装置、およびプログラム Download PDFInfo
- Publication number
- JP2010212744A JP2010212744A JP2009053289A JP2009053289A JP2010212744A JP 2010212744 A JP2010212744 A JP 2010212744A JP 2009053289 A JP2009053289 A JP 2009053289A JP 2009053289 A JP2009053289 A JP 2009053289A JP 2010212744 A JP2010212744 A JP 2010212744A
- Authority
- JP
- Japan
- Prior art keywords
- data
- rule
- compression
- discretization
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
【解決手段】ECU10、11、12で収集された車両データが車両内ネットワーク20を介してデータ圧縮装置50Aの入力処理部51に入力される。圧縮処理部52は、入力された車両データの属性に応じて圧縮ルール記憶部53から各属性に関する圧縮ルールを読み込み、読み込んだ圧縮ルールに応じて車両データを離散化する。通信や記憶容量の問題でデータサイズの低減がさらに必要な場合には、離散化した車両データに一般的な可逆の圧縮を必要に応じてさらに実施する。圧縮されたデータは出力処理部54によって、車両データ記憶装置30や車外通信装置40に出力される。
【選択図】図1
Description
図1を参照すると、本発明の第1の実施の形態のデータ圧縮装置を有する車両内システムのブロック図である。
図3を参照すると、本発明の第2の実施の形態のデータ圧縮装置50Bは入力処理部51と圧縮処理部52と圧縮ルール記憶部53と出力処理部54と入力処理部55と圧縮ルール計算処理部56で構成されている。本実施の形態のデータ圧縮装置50Bは、図1の第1の実施の形態のデータ圧縮装置50Aに、データを圧縮するためのルールである離散化ルールを事前に計算しておくための圧縮ルール計算処理部56と、離散化ルールを事前に計算しておくために利用するデータを入力するための入力処理部55が追加されている。入力処理部55は、故障診断を例にするとECU10、11、12が車両に搭載されている各センサの値を監視し、異常と判断したタイミングの車両データ(以降、故障ポイントデータ)を圧縮ルール計算用のデータとして入力する機能を備えている。また、各故障ポイントデータに対して、故障の種類の情報など(以降、ラベル)も入力される機能を備えている。ラベルの情報についてはECUが判断したものだけでなく、故障ポイントデータに対応付けが可能であれば特に入力する手段は問わない。圧縮ルール計算処理部56は、圧縮ルールを計算する機能の他、入力処理部55から入力されたデータを、圧縮ルールを計算するまで一時的に格納しておく機能も備えている。
ラベルの分布を利用する場合には、図5に示されるように離散化の各領域に対するラベルの予測分布を最適化することで、離散化ルールを計算する。各領域に対するラベルの予測分布を最適化する方法は、任意の技術を利用することが可能である。以下では、「Density Estimation by Stochastic Complexity」 Information Theory, IEEE Transactions on Volume 38, Issue 2 で提案されている最小記述長原理を用いる方法を説明する。
この方法では、データが与えられた場合のラベルの記述長とモデル(領域数と区切り位置)の記述長の和を最小化することで離散化ルールを計算する。ここでデータの記述長とは以下の式
データの分布とラベルの分布を利用する場合には、データXjの分布P(Xj)をヒストグラムによって表現し、ラベルの分布と共に最適化することで離散化ルールを計算する。データとラベルの分布から離散化の各領域の区切り位置および離散値の数を、データに合わせて計算する方法は、任意の技術を利用することが可能である。以下では、最小記述長原理を用いた方法を説明する。
シンボル値の離散化ルールに関しては、シンボル値をとる各属性に関し、計算する故障ポイントデータに含まれるシンボル値にはすべてユニークな離散値を付与し(例えばオンは1、オフは2など)、それ以外の場合には別のユニークな離散値を付与(例えば0など)するルールを計算することが可能である。
図6を参照すると、本発明の第3の実施の形態のデータ圧縮装置50Cは入力処理部51と圧縮処理部52と圧縮ルール記憶部53と出力処理部54と入力処理部55と圧縮ルール計算処理部56とルール選択方法記憶部57とルール選択処理部58で構成されている。すなわち、本実施の形態のデータ圧縮装置50Cは、図3に示す第2の実施の形態のデータ圧縮装置50Bに、複数の圧縮ルールから最適なルールを選択する方法を記憶したルール選択方法記憶部57と、ルール選択方法記憶部57に記憶された方法に基づき圧縮ルールの選択を行うルール選択処理部58とが追加されている。ただし、他の部に構成上の変更はないが、圧縮ルール記憶部53は各属性について複数の圧縮ルールを記憶できるようになっている。これにより、例えば自動車の停止中や走行中、あるいは加速中や減速中など、自動車の走行状態に応じて圧縮ルールを変更したい場合や、その他何らかの任意の指標で圧縮ルールを変更したい場合に、適宜圧縮ルールを変更することが可能となる。ただし、この場合にはどのルールを適用したかの情報も圧縮データに記憶される。
図9を参照すると、本発明の第4の実施の形態のデータ圧縮装置50Dは入力処理部51と圧縮処理部52と圧縮ルール記憶部53と出力処理部54と入力処理部55と圧縮ルール計算処理部56とルール選択方法記憶部57とルール選択処理部58と圧縮ルール更新処理部59で構成されている。本実施の形態のデータ圧縮装置50Dは、図6に示す第3の実施の形態のデータ圧縮装置50Cに、圧縮ルール更新処理部59が追加され、圧縮ルール記憶部53と車外通信装置40に接続されている点と、車外通信装置40が車両外ネットワーク3を介してデータセンタ2に接続されている点でデータ圧縮装置50Cと異なる。ただし、本実施の形態では図6に示す第3の実施の形態との違いを説明したが、第1、第2の実施の形態のデータ圧縮装置であっても圧縮ルール記憶部53と車外通信装置40に圧縮ルール更新処理部59が接続されていれば、データ圧縮装置内の他の構成は特に問わない。これにより、データセンタ2には複数の自動車から送信される圧縮ルールを蓄積可能であり、さらに蓄積された複数の圧縮ルールを利用して圧縮ルールを更新または新規に圧縮ルールを生成可能である。新規の圧縮ルールは車両外ネットワーク3を介して各自動車に送信されて更新されることにより、複数の自動車の圧縮ルールを遠隔で更新することが可能である。
なお、データ圧縮装置の機能は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、CD−ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。
2 データセンタ
3 車両外ネットワーク
10、11、12 ECU
20 車両内ネットワーク
30 車両データ記憶装置
40 車外通信装置
50A、50B、50C、50D データ圧縮装置
51 入力処理部
52 圧縮処理部
53 圧縮ルール記憶部
54 出力処理部
55 入力処理部
56 圧縮ルール計算処理部
57 ルール選択方法記憶部
58 ルール選択処理部
59 圧縮ルール更新処理部
101〜105、201〜204、301、302 ステップ
Claims (17)
- データを圧縮するデータ圧縮方法であって、
前記データを入力することと、
入力された前記データの属性に応じた、データを圧縮するための離散化ルールを圧縮ルール記憶手段から読み込むことと、
前記データを、前記読み込んだ離散化ルールで離散化することと、
を有するデータ圧縮方法。 - データとそのラベルの情報を入力し、各属性に関してデータあるいはラベルの分布に対する離散分布を学習することで、前記離散化ルールを予め計算し、前記圧縮ルール記憶手段に記憶することをさらに有する、請求項1に記載のデータ圧縮方法。
- 前記離散化ルールの学習の基準として情報量基準を利用することで、前記離散分布の領域数と区切り位置を最適化して前記離散化ルールを計算する、請求項2に記載のデータ圧縮方法。
- 前記離散化ルールの学習に関し、前記情報量基準として最小記述長を用いて、前記離散化ルールを計算する、請求項3に記載のデータ圧縮方法。
- 前記離散分布としてラベルに対する予測分布を利用する、請求項2から4のいずれか1項に記載のデータ圧縮方法。
- 前記離散分布としてデータとラベルに対する同時分布を利用する、請求項2から4のいずれか1項に記載のデータ圧縮方法。
- 前記圧縮ルール記憶手段に複数の離散化ルールを記憶しておき、最適な離散化ルールを選択する方法に基づいて、前記複数の離散化ルールから最適な離散化ルールを選択する、請求項1から6のいずれか1項に記載のデータ圧縮方法。
- 前記離散化ルールを、本データ圧縮方法を実施する装置とは遠隔の地点から更新可能である、請求項1から7のいずれか1項に記載のデータ圧縮方法。
- データを圧縮するデータ圧縮装置であって、
前記データを入力するための入力処理手段と、
データを圧縮するためのルールである離散化ルールを記憶している圧縮ルール記憶手段と、
入力された前記データの属性に応じた離散化ルールを前記圧縮ルール記憶手段から読み込み、前記データを、前記読み込んだ離散化ルールで離散化する圧縮処理手段と、
を有するデータ圧縮装置。 - データとそのラベルの情報を入力し、各属性に関してデータあるいはラベルの分布に対する離散分布を学習することで、前記離散化ルールを予め計算し、前記圧縮ルール記憶手段に記憶する圧縮ルール計算処理手段をさらに有する、請求項9に記載のデータ圧縮装置。
- 前記圧縮ルール計算処理手段は、前記離散化ルールの学習の基準として情報量基準を利用することで、前記離散分布の領域数と区切り位置を最適化して前記離散化ルールを計算する、請求項10に記載のデータ圧縮装置。
- 前記圧縮ルール計算処理手段は、前記離散化ルールの学習に関し、前記情報量基準として最小記述長を用いて、前記離散化ルールを計算する、請求項11に記載のデータ圧縮装置。
- 前記圧縮ルール計算処理手段は、前記離散分布としてラベルに対する予測分布を利用する、請求項10から12のいずれか1項に記載のデータ圧縮装置。
- 前記圧縮ルール計算処理手段は、前記離散分布としてデータとラベルに対する同時分布を利用する、請求項10から12のいずれか1項に記載のデータ圧縮装置。
- 複数の圧縮ルールから最適なルールを選択する方法を記憶しているルール選択方法記憶手段と、前記ルール選択方法記憶手段に記憶されている方法に基づき、前記圧縮ルール記憶手段からルールの選択を行なうルール選択処理手段と、をさらに有する、請求項9から14のいずれか1項に記載のデータ圧縮装置。
- 前記圧縮ルール記憶手段に記憶されている離散化ルールをデータセンタに送信し、また該データセンタで新たに作成され、または更新された離散化ルールを受け取り、前記圧縮ルール記憶手段に記憶する圧縮ルール更新処理手段をさらに有する、請求項9から15のいずれか1項に記載のデータ圧縮装置。
- データの圧縮をコンピュータに実行させるためのデータ圧縮プログラムであって、
前記データを入力する手順と、
入力された前記データの属性に応じた、データを圧縮するための離散化ルールを圧縮ルール記憶手段から読み込む手順と、
前記データを、前記読み込んだ離散化ルールで離散化する手順と、
をコンピュータに実行させるためのデータ圧縮プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009053289A JP5439871B2 (ja) | 2009-03-06 | 2009-03-06 | データ圧縮方法、装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009053289A JP5439871B2 (ja) | 2009-03-06 | 2009-03-06 | データ圧縮方法、装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010212744A true JP2010212744A (ja) | 2010-09-24 |
JP5439871B2 JP5439871B2 (ja) | 2014-03-12 |
Family
ID=42972526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009053289A Active JP5439871B2 (ja) | 2009-03-06 | 2009-03-06 | データ圧縮方法、装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5439871B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010210245A (ja) * | 2009-03-06 | 2010-09-24 | Nec Corp | データ類似度計算方法、システム、およびプログラム |
JP2013543583A (ja) * | 2010-09-27 | 2013-12-05 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両の周辺環境検出方法 |
WO2019155682A1 (ja) * | 2018-02-09 | 2019-08-15 | Kddi株式会社 | 通信システム及び通信方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02144599A (ja) * | 1988-11-28 | 1990-06-04 | Hitachi Ltd | 音声分析合成方式 |
JPH0690363A (ja) * | 1992-09-09 | 1994-03-29 | Ricoh Co Ltd | 予測符号化方式の符号化装置および復号化装置 |
JPH0895959A (ja) * | 1994-09-29 | 1996-04-12 | Hitachi Ltd | 時系列データ圧縮、解析、表示方法および解析監視装置 |
WO2002054758A1 (fr) * | 2000-12-28 | 2002-07-11 | Evolvable Systems Research Institute, Inc. | Procede, dispositif et programme de codage et decodage de prediction adaptative |
JP2003179761A (ja) * | 2002-09-12 | 2003-06-27 | National Institute Of Advanced Industrial & Technology | 適応型予測符号化、復号化方法およびそれらの装置ならびに適応型予測符号化、復号化プログラムを記録した記録媒体 |
JP2009021928A (ja) * | 2007-07-13 | 2009-01-29 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
JP2010170424A (ja) * | 2009-01-23 | 2010-08-05 | Nec Corp | 分布推定装置、クラスタリング装置、分布推定装置の推定方法及びプログラム |
-
2009
- 2009-03-06 JP JP2009053289A patent/JP5439871B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02144599A (ja) * | 1988-11-28 | 1990-06-04 | Hitachi Ltd | 音声分析合成方式 |
JPH0690363A (ja) * | 1992-09-09 | 1994-03-29 | Ricoh Co Ltd | 予測符号化方式の符号化装置および復号化装置 |
JPH0895959A (ja) * | 1994-09-29 | 1996-04-12 | Hitachi Ltd | 時系列データ圧縮、解析、表示方法および解析監視装置 |
WO2002054758A1 (fr) * | 2000-12-28 | 2002-07-11 | Evolvable Systems Research Institute, Inc. | Procede, dispositif et programme de codage et decodage de prediction adaptative |
JP2003179761A (ja) * | 2002-09-12 | 2003-06-27 | National Institute Of Advanced Industrial & Technology | 適応型予測符号化、復号化方法およびそれらの装置ならびに適応型予測符号化、復号化プログラムを記録した記録媒体 |
JP2009021928A (ja) * | 2007-07-13 | 2009-01-29 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
JP2010170424A (ja) * | 2009-01-23 | 2010-08-05 | Nec Corp | 分布推定装置、クラスタリング装置、分布推定装置の推定方法及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010210245A (ja) * | 2009-03-06 | 2010-09-24 | Nec Corp | データ類似度計算方法、システム、およびプログラム |
JP2013543583A (ja) * | 2010-09-27 | 2013-12-05 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両の周辺環境検出方法 |
US9599709B2 (en) | 2010-09-27 | 2017-03-21 | Robert Bosch Gmbh | Method for detecting the surroundings of a vehicle |
WO2019155682A1 (ja) * | 2018-02-09 | 2019-08-15 | Kddi株式会社 | 通信システム及び通信方法 |
JP2019140545A (ja) * | 2018-02-09 | 2019-08-22 | Kddi株式会社 | 通信システム及び通信方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5439871B2 (ja) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190069421A (ko) | 차량내 예측적 고장 검출을 위한 시스템 및 방법 | |
JP2018084854A (ja) | センサデータ処理方法 | |
EP2981095A1 (en) | Data collection and management system, data collection and management method, terminal, and management device | |
EP2781979B1 (en) | Real-time monitoring of vehicle | |
KR20170118039A (ko) | 동작 데이터의 적응적 핸들링 | |
EP3583557A1 (en) | Homogeneous model of hetergeneous product lifecycle data | |
JP7053213B2 (ja) | 運転データ解析装置 | |
WO2017138620A1 (ja) | メモリデバイス、蓄積可能データを扱うエッジ装置及びデータ管理方法 | |
KR20180042865A (ko) | 네트워크 상의 데이터 플랫폼들 사이에서 자산-관련된 정보를 공유하기 위한 컴퓨터 시스템들 및 방법들 | |
CN109215169B (zh) | 行车数据的存储方法、装置和设备 | |
CN113168403A (zh) | 设备消息框架 | |
Taylor et al. | Data mining for vehicle telemetry | |
JP5439871B2 (ja) | データ圧縮方法、装置、およびプログラム | |
US11703874B2 (en) | System and method for collection of performance data by a vehicle | |
CN115203078A (zh) | 基于soa架构的车辆数据采集系统、方法、设备及介质 | |
CN108986456B (zh) | 限行尾号采集方法、装置、设备及计算机可读存储介质 | |
Gazdag et al. | Privacy pitfalls of releasing in-vehicle network data | |
US20230177959A1 (en) | Vehicle accident prediction system, vehicle accident prediction method, vehicle accident prediction program, and learned model creation system | |
JP5572966B2 (ja) | データ類似度計算方法、システム、およびプログラム | |
CN114495505B (zh) | 拥堵路段通过时长的预测方法、装置、介质及服务器 | |
JP5963493B2 (ja) | コスト推定システム、方法及びプログラム | |
Kabashkin | Dependability of v2i services in the communication network of the intelligent transport systems | |
CN113411229A (zh) | 一种数据处理、回放数据获取方法及装置、可移动平台 | |
KR20200069871A (ko) | 사업용 차량의 수집 정보 분석 장치 및 방법 | |
WO2020170870A1 (ja) | イベント発生時刻学習装置、イベント発生時刻推定装置、イベント発生時刻推定方法、イベント発生時刻学習プログラム、及びイベント発生時刻推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5439871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |