JP2009239674A - 車両周辺表示装置 - Google Patents

車両周辺表示装置 Download PDF

Info

Publication number
JP2009239674A
JP2009239674A JP2008083825A JP2008083825A JP2009239674A JP 2009239674 A JP2009239674 A JP 2009239674A JP 2008083825 A JP2008083825 A JP 2008083825A JP 2008083825 A JP2008083825 A JP 2008083825A JP 2009239674 A JP2009239674 A JP 2009239674A
Authority
JP
Japan
Prior art keywords
display
video
vehicle
area
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008083825A
Other languages
English (en)
Other versions
JP4973564B2 (ja
Inventor
Takashi Shimizu
貴士 清水
Keisuke Kaminan
恵資 上南
Sumio Hazama
純朗 陌間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2008083825A priority Critical patent/JP4973564B2/ja
Publication of JP2009239674A publication Critical patent/JP2009239674A/ja
Application granted granted Critical
Publication of JP4973564B2 publication Critical patent/JP4973564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】ユーザによる直感的な操作を実現し、誤操作が生じる事態を避けながら、素早く適切な映像をユーザに提供することが出来るようにする。
【解決手段】複数のカメラ11〜14により撮られた各映像に基づいて車両10の周辺の俯瞰映像OVEをディスプレイ17に表示する俯瞰映像表示手段21と、俯瞰映像OVEにおいて車両10の周囲を複数の領域に分割しそれぞれを撮像領域31〜34,41〜48として規定する撮像領域規定手段22と、撮像領域31〜34,41〜48のいずれかがディスプレイ17上でユーザにより選択されたことを検出し且つ検出された撮像領域を選択領域SAとして設定する選択領域設定手段23と、選択領域SAに対応する対象映像TMをディスプレイ17に拡大表示する拡大表示手段24,25とを備えて構成する。
【選択図】図1

Description

本発明は、車両に備えられたカメラにより撮像された車外の映像を、車内に設けられたディスプレイに表示することで、ユーザの利便性を高めることが出来る車両周辺表示装置に関するものである。
従来より、車両の前後左右に設けられたカメラによって撮像された車外の映像を車内に設けられたディスプレイに表示することで、ドライバや乗員といったユーザの視野を広げる技術が開発されている。
さらに、近年では、これらのカメラのレンズとして超広角レンズを用い、これらのカメラにより撮像された映像をコンピュータ処理により補正し、車両を上方から見た場合の映像(俯瞰映像)としてディスプレイ上に表示する技術が開発されており、その一例としては、以下の特許文献1の技術が挙げられる。
特開2006−341641号公報
また、特許文献1のような俯瞰映像を表示する技術については実用化が進んでおり、例えば、特許文献1の出願人である日産自動車株式会社のウェブサイトにおいては、実際の製品に適用されている旨が紹介されている(例えば、同社のウェブサイトhttp://www.nissan-global.com/JP/TECHNOLOGY/INTRODUCTION/DETAILS/AVM/index.html参照)。ここで、当該ウェブサイトの一部を図15として示す。
この図15に示すように、当該製品は、ディスプレイ101の左側ウィンドウ102に俯瞰映像(トップビューTV)を表示するとともに、右側ウィンドウ103に前方表示(フロントビューFV)或いは後方表示(リアビューRV)を示すことが出来るようになっている。
また、右側ウィンドウ103内でのフロントビューFVとリアビューRVとの切替えは、シフトレバーがドライブポジション(Dポジション)に位置しているか、或いは、リバースポジション(Rポジション)に位置しているかに応じて行なわれるようになっている。
さらに、右側ウィンドウ103内に表示されたビュー切替ボタン104がユーザにより触れられることで、左側ウィンドウ102内の表示を、トップビューTVから助手席側前方の映像(サイドブラインドビューSBV)に切り替えることが出来るようになっている。
しかしながら、仮に車両が後退している場合であってもドライバがフロントビューFVを見たい状況もあり得るし、サイドブラインドビューSBVを見たい状況もあり得る。つまり、ドライバが詳しく視認したい箇所は運転状況に応じて多種多様であって、特許文献1や図15に示す技術では、本当にドライバが必要としている視覚的な情報を十分にドライバへ提供することが困難である。
また、図15に示すように、ディスプレイにビュー切替ボタン104を表示すると、カメラからの映像を表示するディスプレイ101上の面積が狭くなってしまうという課題がある。
さらに、ユーザとしては、このビュー切替ボタン104に触れたとしても、現在の映像が、その後、どのような映像に切替えられるのかが推測しにくいという課題もある。
本発明はこのような課題に鑑み案出されたもので、ユーザによる直感的な操作を実現し、誤操作が生じる事態を避けながら、素早く適切な映像をユーザに提供することが出来る、車両周辺表示装置を提供することを目的とする。
上記目的を達成するため、本発明の車両周辺表示装置(請求項1)は、車両に備えられた複数のカメラにより撮られた各映像を該車両の車内に設けられたディスプレイに表示する車両周辺表示装置であって、複数の該カメラにより撮られた各映像に基づいて該車両の周辺の俯瞰映像を該ディスプレイに表示する俯瞰映像表示手段と、該ディスプレイに表示される該俯瞰映像において該車両の周囲を複数の領域に分割しそれぞれを撮像領域として規定する撮像領域規定手段と、該撮像領域規定手段によって規定された該撮像領域のいずれかが該ディスプレイ上でユーザにより選択されたことを検出し且つ検出された該撮像領域を選択領域として設定する選択領域設定手段と、該選択領域設定手段により設定された該選択領域に対応する対象映像を該ディスプレイに拡大表示する拡大表示手段とを備えることを特徴としている。
また、請求項2記載の本発明の車両周辺表示装置は、請求項1記載の内容において、該拡大表示手段は、該カメラのうち該選択領域設定手段により設定された該選択領域に属する選択カメラにより撮られた映像を対象映像とし且つ該対象映像を該選択カメラの視点で該ディスプレイに拡大表示するカメラ映像拡大手段を有することを特徴としている。
また、請求項3記載の本発明の車両周辺表示装置は、請求項1または2記載の内容において、該拡大表示手段は、該選択領域設定手段により設定された該選択領域を含む俯瞰映像を対象映像とし且つ該対象映像を俯瞰表示で該ディスプレイに拡大表示する俯瞰映像拡大手段を有することを特徴としている。
また、請求項4記載の本発明の車両周辺表示装置は、請求項1記載の内容において、該拡大表示手段は、該カメラのうち該選択領域設定手段により設定された該選択領域に属する選択カメラにより撮られた映像を対象映像とし且つ該選択カメラの視点で該対象映像を該ディスプレイに拡大表示するカメラ映像拡大手段と、該選択領域設定手段により設定された該選択領域を含む俯瞰映像を対象映像とし且つ該対象映像を俯瞰表示で該ディスプレイに拡大表示する俯瞰映像拡大手段とを有し、該車両周辺表示装置は、該俯瞰映像において該車両が表示されている領域を自車両領域として設定するとともに該自車両領域が該ディスプレイ上でユーザにより直接的に選択されたことを検出する度に該カメラ映像拡大手段および該俯瞰映像拡大手段の一方のみを作動させる拡大表示モード切換手段とを有することを特徴としている。
また、請求項5記載の本発明の車両周辺表示装置は、請求項1,2または4記載の内容において、該撮像領域規定手段は、該カメラ映像拡大手段が作動する際に、複数の該カメラごとに該撮像領域をそれぞれ規定することを特徴としている。
また、請求項6記載の本発明の車両周辺表示装置は、請求項1〜5記載の内容において、該選択領域設定手段は、該ディスプレイ上においてユーザにより触れられると直ちに接触箇所に対応する該撮像領域を選択領域として設定することを特徴としている。
また、請求項7記載の本発明の車両周辺表示装置は、請求項1〜5記載の内容において、該選択領域設定手段は、該ディスプレイ上においてユーザによる接触が中止された箇所に対応する該撮像領域を選択領域として設定することを特徴としている。
本発明の車両周辺表示装置によれば、ユーザにより直接的に選択された撮像領域、即ち、選択領域に対応する映像(対象映像)を拡大してディスプレイに表示することで、ユーザによる直感的な操作を実現し、誤操作が生じる事態を避けながら、素早く適切な映像をユーザに提供することが出来る。また、ディスプレイにおいて特別なボタンやアイコンを表示させる必要がないため、限られたディスプレイの表示領域を最大限に活用することも出来る。(請求項1)
また、車内からは直接視認しにくい箇所の映像をディスプレイ上に表示することで、ユーザの利便性を高めることが出来ることができる。(請求項2)
また、比較的小さな障害物であってもディスプレイに表示することが可能となり、ユーザによる視認性の向上に寄与することが出来る。(請求項3)
また、カメラ視点の映像をディスプレイに拡大表示するか、或いは、俯瞰表示の映像をディスプレイに拡大表示するかを、適宜、切り換え可能とすることで、様々な視点からの車両周辺の映像を適宜ユーザへ提供することが出来る。(請求項4)
また、複数のカメラごとに撮像領域を規定することで、ユーザの直感的な操作を促すことが出来る。(請求項5)
また、ディスプレイ上においてユーザにより触れられると直ちに選択領域を設定することで、ユーザが必要とする情報を即座にディスプレイ上に表示することが出来る。(請求項6)
また、ディスプレイ上においてユーザによる接触が中止された箇所に対応する撮像領域を選択領域として設定するので、ユーザの意図と異なる選択領域が選択される事態を防ぎ、操作性を向上させることが出来る。(請求項7)
以下、図面により、本発明の一実施形態に係る車両周辺表示装置を説明する。
図1は、本発明の一実施形態に係る車両周辺表示装置が適用された車両を示す模式図、図2は車内の液晶ディスプレイに4つの撮像領域が規定された全体俯瞰映像が表示された場合を示す模式図、図3は全体俯瞰映像とノーズビューカメラにより撮像されたカメラ視点拡大映像とが表示された液晶ディスプレイを示す模式図、図4は全体俯瞰映像とリアビューカメラにより撮像されたカメラ視点拡大映像とが表示された液晶ディスプレイを示す模式図である。
また、図5は8つの撮像領域が規定された全体俯瞰映像が表示された液晶ディスプレイを示す模式図、図6は全体俯瞰映像と部分拡大俯瞰映像とが表示された液晶ディスプレイを示す模式図、図7〜図13は選択領域と対象映像の範囲との関係を示す液晶ディスプレイの模式図、図14は本発明の一実施形態に係る車両周辺表示装置の動作を示す模式的なフローチャートである。
図1に示すように、車両10にはノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13およびリアビューカメラ14が設けられている。
これらのノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13およびリアビューカメラ14は、すべて超広角レンズ(図示略)を有している。なお、この超広角レンズの画角は約160〜180度である。
ノーズビューカメラ11は、車両10の前部中央近傍に設けられ、車両10の前方を撮像することが出来るようになっている。
左サイドビューカメラ12は、左サイドミラー15の下側に設けられ、車両10の左側を撮像することが出来るようになっている。
右サイドビューカメラ13は、右サイドミラー16の下側に設けられ、車両10の右側を撮像することが出来るようになっている。
リアビューカメラ14は、車両10の後部中央近傍に設けられ、車両10の後方を撮像することが出来るようになっている。
また、この車両10の車内には液晶ディスプレイ(ディスプレイ)17が設けられている。この液晶ディスプレイ17は、ナビゲーション装置やオーディオ装置(いずれも図示略)と接続され、ナビゲーション情報や音楽情報など種々の情報を表示する多目的ディスプレイである。
また、この液晶ディスプレイ17上には、図示しない透明のフィルムスイッチが貼付されている。これにより、ユーザによって触れられた箇所を検出できるようになっている。
また、車両10には、モニタリングシステムECU18が設けられている。このモニタリングシステムECU18は、いずれも図示しないインターフェース,CPU,メモリなどを備える電子制御ユニットである。
また、このモニタリングシステムECU18には、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13,リアビューカメラ14および液晶ディスプレイ17が電気的に接続されている。
そして、モニタリングシステムECU18のメモリには、俯瞰映像表示部(俯瞰映像表示手段)21,撮像領域規定部(撮像領域規定手段)22,選択領域設定部(選択領域設定手段)23,カメラ映像拡大部(拡大表示手段;カメラ映像拡大手段)24,俯瞰映像拡大部(拡大表示手段;俯瞰映像拡大手段)25および拡大表示モード切換部(拡大表示モード切換手段)26が、いずれもソフトウェアとして設けられている。
これらのうち、俯瞰映像表示部21は、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13およびリアビューカメラ14により撮られた各映像を、コンピュータ処理により、車両10を上方から見た場合の映像として補正するようになっている。この車両10を上方から見た場合の映像を俯瞰映像という。
そして、俯瞰映像表示部21は、図2に示すように、車両10および車両10の周辺の俯瞰映像を液晶ディスプレイ17の左側ウィンドウ27内に表示するようになっている。なお、この車両10および車両10の周辺の俯瞰映像を全体俯瞰映像OVEという。なお、この全体俯瞰映像OVEの中央には、車両10の上面を示す画像が表示されるようになっているが、この画像は、車両10に搭載されたカメラ11〜14によってリアルタイムに撮像されたものではなく、予めモニタリングシステムECU18のメモリ内に保存されたものである。
また、俯瞰映像表示部21は、車内に備えられ、モニタリングシステムECU18と電気的に接続されたカメラスイッチ(図示略)がオンになると、液晶ディスプレイ17に全体俯瞰映像OVEを表示するようになっている。
撮像領域規定部22は、全体俯瞰映像OVEにおいて車両10の画像の周囲を4つまたは8つの領域に分割し、それぞれを撮像領域として規定するようになっている。
撮像領域規定部22が、全体俯瞰映像を4つの領域に分割する場合とは(図2参照)、後述するカメラ映像拡大部24が作動する場合であり、換言すれば、後述する拡大表示モード切換部26が、カメラ視点拡大映像拡大モードを選択している場合である。
一方、撮像領域規定部22が、全体俯瞰映像OVEを8つの領域に分割する場合とは(図5参照)、後述する俯瞰映像拡大部25が作動する場合であり、換言すれば、拡大表示モード切換部26が、俯瞰映像拡大モードを選択している場合である。
また、図2に示すように、撮像領域規定部22が、4つの撮像領域31〜34を規定した場合、車両10の画像を基準に、前方の領域をA前方領域31といい、左側の領域をA左方領域32といい、右側の領域をA右方領域33といい、後側の領域をA後方領域34という。
また、図5に示すように、撮像領域規定部22が、8つの撮像領域41〜48を規定した場合、車両10の画像を基準に、左前方の領域をB左前方領域41といい、中央前方の領域をB中央前方領域42といい、右前方の領域をB右前方領域43という。また、左側方の領域をB左側方領域44といい、右側方の領域をB右側方領域45という。さらに、左後方の領域をB左後方領域46といい、中央後方の領域をB中央後方領域47といい、右後方の領域をB右後方領域48という。
選択領域設定部23は、撮像領域規定部22によって規定された撮像領域31〜35,41〜48のいずれかが、液晶ディスプレイ17上でユーザにより触れられたことを検出し、且つ、触れられた撮像領域を直ちに選択領域SAとして設定するようになっている。
カメラ映像拡大部24は、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13およびリアビューカメラ14のうち、選択領域設定部23により設定された選択領域SAが属するカメラ(選択カメラ)により撮られた映像を対象映像TMとし、且つ、対象映像TMを選択カメラの視点で液晶ディスプレイ17の右側ウィンドウ29に拡大表示するものである。なお、選択カメラの視点での対象映像TMを「カメラ視点拡大映像」といい、符号CVで示す。
つまり、カメラ映像拡大部24は、図3に示すように、選択領域SAとしてA前方領域31が設定された場合、このA前方領域31が属するノーズビューカメラ11により撮像された映像を対象映像TMとするようになっている。そして、このカメラ映像拡大部24は、対象映像TMに属するカメラであるノーズビューカメラ11からの映像をノーズビューカメラ11の視点でカメラ視点拡大映像CVとして、全体俯瞰映像OVEを表示している左側ウィンドウ27の右側にある右側ウィンドウ29内一杯に拡大表示するようになっている。
また、このカメラ映像拡大部24は、図3および図4に示すように、選択領域SAとして設定された範囲を強調枠28で示すようになっている。
俯瞰映像拡大部25は、選択領域設定部23により設定された選択領域SAおよびこの選択領域SA周辺の俯瞰映像を対象映像TMとし、且つ、この対象映像TMを俯瞰表示で液晶ディスプレイ17の右側ウィンドウ29に拡大表示するものである。なお、この俯瞰映像拡大部25により右側ウィンドウ29内に表示される映像を部分拡大俯瞰映像OVPという。
また、この俯瞰映像拡大部25は、図6に示すように、対象映像TMとして設定された範囲を強調枠28で示すようになっている。
つまり、俯瞰映像拡大部25は、図6に示すように、B左後方領域46が選択領域SAとして設定された場合、B左後方領域46,B左方領域44の一部,B中央後方領域47および車両画像の一部を対象映像TMとし、この対象映像TMを俯瞰表示のまま、右側ウィンドウ29内一杯に拡大表示するようになっている。
また、選択領域SAに応じて設定される対象映像TMの範囲は、モニタリングシステムECU18のメモリに規定されており、その規定内容は以下の通りである。
つまり、図7で示すように、B左前方領域41が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示す通りである。
また、図8で示すように、B中央前方領域42が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示す通りである。
また、図9で示すように、B右前方領域43が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示す通りである。
また、図10で示すように、B左側方領域44が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示す通りである。
また、図11で示すように、B右側方領域45が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示す通りである。
また、図6で示すように、B左後方領域46が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示す通りである。
また、図12で示すように、B中央後方領域47が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示すとおりである。
また、図13で示すように、B右後方領域48が選択領域SAとして設定された場合、対象映像TMの範囲は強調枠28で示すとおりである。
拡大表示モード切換部26は、全体俯瞰映像OVEにおいて車両10の画像が表示されている領域を、自車両領域50として設定するようになっている。また、この拡大表示モード切換部26は、自車両領域50が液晶ディスプレイ17上でユーザにより触れられたことを検出することが出来るようになっている。そして、この拡大表示モード切換部26は、自車両領域50が触れられたことを検出する度に、カメラ映像拡大部24および俯瞰映像拡大部25のどちらか一方のみを作動させるようになっている。
なお、この拡大表示モード切換部26が、カメラ映像拡大部24を作動させるモードを「カメラ視点拡大映像拡大モード」といい、俯瞰映像拡大部25を作動させるモードを「俯瞰映像拡大モード」という。
つまり、図3で示すように、液晶ディスプレイ17の左側ウィンドウ27内に、4つの撮像領域31〜34が規定された全体俯瞰映像OVEが表示され、右側ウィンドウ29内に、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13およびリアビューカメラ14のいずれかによって撮像された映像が、撮像したカメラの視点で拡大表示されるモードが、カメラ視点拡大映像拡大モードである。
一方、図6で示すように、液晶ディスプレイ17の左側ウィンドウ27内に、8つの撮像領域41〜48が規定された全体俯瞰映像OVEが表示され、右側ウィンドウ29内に、対象領域TMとして設定された範囲が俯瞰表示のまま拡大表示されるモードが俯瞰映像拡大モードである。
本発明の一実施形態に係る車両周辺表示装置は上述のように構成されているので、以下のような作用および効果を奏する。
図14に示すフローチャートのステップS11に示すように、カメラスイッチがオンになると(ステップS11のYesルート)、俯瞰映像表示部21が、液晶ディスプレイ17の左側ウィンドウ27内に、全体俯瞰映像OVEを表示する(ステップS12)。
その後、全体俯瞰映像OVE内に設定された自車両領域50がユーザによって触れられることで、拡大表示モード切換部26により、「カメラ視点拡大映像拡大モード」と、「俯瞰映像拡大モード」との切換えが行なわれる。
つまり、拡大表示モード切換部26は、自車両領域50が奇数回触れられた場合にはカメラ視点拡大映像拡大モードが選択されたものとして(ステップS13のYesルート)、全体俯瞰映像OVE中に、図2に示す4つの撮像領域31〜34を規定する(ステップS14)。
そして、4つの撮像領域、即ち、A前方領域31,A左方領域32,A右方領域33およびA後方領域34のうちのいずれかが液晶ディスプレイ17上で触れられたことが、選択領域設定部23により検出されると、この選択領域設定部23は、触れられた撮像領域を選択領域SAとする(ステップS15)。
その後、カメラ映像拡大部24が、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13およびリアビューカメラ14のうち、選択領域設定部23により設定された選択領域SAが属するカメラ、即ち、選択カメラ)により撮られた映像を対象映像TMとし、且つ、対象映像TMを選択カメラの視点で液晶ディスプレイ17の右側ウィンドウ29に拡大表示する(ステップS16)ものである。(ステップS16)。
一方、ステップS13において、拡大表示モード切換部26は、自車両領域50が偶数回触れられた場合、俯瞰映像拡大モードが選択されたものとし(ステップS13のNoルート)、撮像領域規定部22が、液晶ディスプレイ17上の全体俯瞰映像OVEにおいて、図5に示す8つの撮像領域、即ち、B左前方領域41,B中央前方領域42,B右前方領域43,B左側方領域44,B右側方領域45,B左後方領域46,B中央後方領域47およびB右後方領域48を規定する(ステップS17)。
そして、これら8つの撮像領域41〜48のうちのいずれかが液晶ディスプレイ17上で触れられたことが、選択領域設定部23により検出されると、この選択領域23が、触れられた撮像領域を選択領域SAとして設定する(ステップS18)。
その後、俯瞰映像拡大部25が、選択領域設定部23により設定された選択領域SAおよびこの選択領域SA周辺の俯瞰映像を対象映像TMとし、且つ、この対象映像TMを俯瞰表示で液晶ディスプレイ17の右側ウィンドウ29に拡大表示する(ステップS19)。このとき、俯瞰映像拡大部25は、図6〜図13に示すように、対象映像TMとして設定された範囲を強調枠28で液晶ディスプレイ17に表示する。これにより、ユーザは、右側ウィンドウ29内の部分拡大俯瞰映像OVPが、全体俯瞰映像OVEのどの部分を拡大表示しているのかを一目瞭然で判別することが出来るようになっている。
このように、本発明の一実施形態に係る車両周辺表示装置によれば、カメラ視点拡大映像拡大モードが選択されている場合における撮像領域31〜34、または、俯瞰映像拡大モードが選択されている場合における撮像領域41〜48のうち、ユーザにより直接的に選択された選択領域SAに対応する映像(対象映像TM)を拡大して液晶ディスプレイ17に表示するようになっている。
これにより、ユーザによる直感的な操作を実現し、誤操作が生じる事態を避けながら、素早く適切な映像を、ユーザの所望する視点で、当該ユーザに提供することが出来る。
また、液晶ディスプレイ17において、特別なボタンやアイコンを表示させる必要がないため、限られた液晶ディスプレイ17上の表示領域を最大限に活用することが出来る。
また、カメラ視点拡大映像拡大モードが選択されている場合においては、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13またはリアビューカメラ14からの視点の映像を、速やかに液晶ディスプレイ17に表示することが出来るため、ユーザは、車内からは直接視認することが難しい場所の状況を、液晶ディスプレイ17上で確認することが出来る。
また、俯瞰映像拡大モードが選択されている場合において、ユーザは、全体俯瞰映像OVEのみでは視認しにくい比較的小さな障害物を、部分拡大俯瞰映像OVPにおいて視認することが出来る。
さらに、カメラ視点拡大映像拡大モードと、俯瞰映像拡大モードとが切換可能になっているので、様々な視点からの車両周辺の映像を適宜ユーザへ提供することが出来る。
また、カメラ視点拡大映像拡大モードが選択されている場合においては、ノーズビューカメラ11,左サイドビューカメラ12,右サイドビューカメラ13またはリアビューカメラ14ごとに、撮像領域31〜34がそれぞれ規定されているので、ユーザの直感的な操作を促すことが出来る。
また、選択領域設定部23は、撮像領域31〜35,41〜48のいずれかが、液晶ディスプレイ17上でユーザにより触れられると、直ちに、接触箇所に対応する撮像領域を選択領域SAとして設定するようになっているので、ユーザの操作に対する応答性を高めることが出来る。
なお、本実施形態に係る本発明による効果を示すより具体的な事例としては、以下のような場合があろう。
例えば、車両10が駐車中である場合、ドライバは、進行方向に注視しながらも、進行方向とは異なる方向の映像を液晶ディスプレイ17上に表示し、確認することが出来る。
また、縦列駐車をする場合においては、全体俯瞰映像OVEにより車両10の駐車方向(角度)を確認しながら、カメラ視点拡大映像CVまたは部分拡大俯瞰映像OVPにより、路肩と車両10との間を微調整するということも可能になる。
また、駐車する場所に窪みや障害物があり、且つ、これらの窪みや障害物が車内から直接視認することが難しい場合においても、カメラ視点拡大映像CVまたは部分拡大俯瞰映像OVPによりこれらの窪みや障害物を液晶ディスプレイ17上で容易に確認することが出来る。したがって、駐車の妨げになるような対象に対して、細心の注意を払いながら、駐車を行なうということが可能になる。
以上、本発明の実施形態を説明したが、本発明は係る実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することが出来る。
上述の実施形態において、選択領域設定部23は、ユーザが撮像領域31〜35,41〜48のいずれかを、液晶ディスプレイ17上で直接触れた場合に、触れられた撮像領域が選択領域SAとして設定される場合を例にとって説明したが、これに限定されるものではない。
例えば、ユーザが、液晶ディスプレイ17と無線通信可能なリモートコントローラ(リモコン)により、撮像領域31〜35,41〜48のいずれかを液晶ディスプレイ17上で選択し、選択領域設定部23が、選択された撮像領域を選択領域SAとして設定するようにしても良い。
また、リモコンに代えて、液晶ディスプレイ17と有線通信可能な操作キーを車内に設け、ユーザは、この操作キーにより撮像領域のいずれかを液晶ディスプレイ17上で選択し、選択領域設定部23が、選択された撮像領域を選択領域として設定するようにしても良い。
また、上述の実施形態において、選択領域設定部23は、撮像領域31〜35,41〜48のいずれかが、液晶ディスプレイ17上でユーザにより触れられると、直ちに、接触箇所に対応する撮像領域を選択領域SAとして設定する場合について説明したが、このような場合に限定するものではない。例えば、選択領域設定部23が、撮像領域31〜35,41〜48のいずれかが、液晶ディスプレイ17上でユーザにより触れられ、その後、当該接触が中止された箇所、(例えば、液晶ディスプレイ17に触れていたユーザの指が離れた箇所)に対応する撮像領域を選択領域SAとして設定するようにしてもよい。
この場合、仮に、ユーザが本来の意図と異なる撮像領域に触れてしまったとしても、その後、ユーザは、液晶ディスプレイ17に触れたまま、本来触れようとしていた選択領域まで接触箇所をスライドさせればよいこととなり、ユーザの利便性向上に寄与することが出来る。
また、上述の実施形態においては、カメラ映像拡大部24および俯瞰映像拡大部25の双方をモニタリングシステムECU18に設けるとともに、モード拡大表示モード切換部26により、カメラ視点拡大映像拡大モードまたは俯瞰映像拡大モードが切り替え可能になっている場合を例にとって説明したが、これに限定するものではない。
つまり、モニタリングシステムECU18をより簡易的な構成にする場合には、モード拡大表示モード切換部26を廃して、カメラ映像拡大部24または俯瞰映像拡大部25を備えるようにしても良い。
本発明の一実施形態に係る車両周辺表示装置が適用された車両を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイに4つの撮像領域が規定された全体俯瞰映像が表示された場合を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイに全体俯瞰映像とノーズビューカメラにより撮像されたカメラ視点拡大映像とが表示された場合を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイに全体俯瞰映像とリアビューカメラにより撮像されたカメラ視点拡大映像とが表示された場合を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイに8つの撮像領域が規定された全体俯瞰映像が表示された場合を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイに全体俯瞰映像と部分拡大俯瞰映像とが表示された場合を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の液晶ディスプレイにおける選択領域と対象映像の範囲との関係を示す模式図である。 本発明の一実施形態に係る車両周辺表示装置の動作を示す模式的なフローチャートである。 従来製品におけるディスプレイ表示を示す模式図である。
符号の説明
10 車両
11 ノーズビューカメラ(カメラ)
12 左サイドビューカメラ(カメラ)
13 右サイドビューカメラ(カメラ)
14 リアビューカメラ(カメラ)
17 液晶ディスプレイ(ディスプレイ)
21 俯瞰映像表示部(俯瞰映像表示手段)
22 撮像領域規定部(撮像領域規定手段)
23 選択領域設定部(選択領域設定手段)
24 カメラ映像拡大部(カメラ映像拡大手段,拡大表示手段)
25 俯瞰映像拡大部(俯瞰映像拡大手段,拡大表示手段)
26 拡大表示モード切換部(拡大表示モード切換手段)
31 A前方領域(撮像領域)
32 A左方領域(撮像領域)
33 A右方領域(撮像領域)
34 A後方領域(撮像領域)
SA 選択領域
TM 対象映像

Claims (7)

  1. 車両に備えられた複数のカメラにより撮られた各映像を該車両の車内に設けられたディスプレイに表示する車両周辺表示装置であって、
    複数の該カメラにより撮られた各映像に基づいて該車両の周辺の俯瞰映像を該ディスプレイに表示する俯瞰映像表示手段と、
    該ディスプレイに表示される該俯瞰映像において該車両の周囲を複数の領域に分割しそれぞれを撮像領域として規定する撮像領域規定手段と、
    該撮像領域規定手段によって規定された該撮像領域のいずれかが該ディスプレイ上でユーザにより選択されたことを検出し且つ検出された該撮像領域を選択領域として設定する選択領域設定手段と、
    該選択領域設定手段により設定された該選択領域に対応する対象映像を該ディスプレイに拡大表示する拡大表示手段とを備える
    ことを特徴とする、車両周辺表示装置。
  2. 該拡大表示手段は、該カメラのうち該選択領域設定手段により設定された該選択領域に属する選択カメラにより撮られた映像を対象映像とし且つ該対象映像を該選択カメラの視点で該ディスプレイに拡大表示するカメラ映像拡大手段を有する
    ことを特徴とする、請求項1記載の車両周辺表示装置。
  3. 該拡大表示手段は、該選択領域設定手段により設定された該選択領域を含む俯瞰映像を対象映像とし且つ該対象映像を俯瞰表示で該ディスプレイに拡大表示する俯瞰映像拡大手段を有する
    ことを特徴とする、請求項1記載の車両周辺表示装置。
  4. 該拡大表示手段は、
    該カメラのうち該選択領域設定手段により設定された該選択領域に属する選択カメラにより撮られた映像を対象映像とし且つ該選択カメラの視点で該対象映像を該ディスプレイに拡大表示するカメラ映像拡大手段と、
    該選択領域設定手段により設定された該選択領域を含む俯瞰映像を対象映像とし且つ該対象映像を俯瞰表示で該ディスプレイに拡大表示する俯瞰映像拡大手段とを有し、
    該車両周辺表示装置は、
    該俯瞰映像において該車両が表示されている領域を自車両領域として設定するとともに該自車両領域が該ディスプレイ上でユーザにより直接的に選択されたことを検出する度に該カメラ映像拡大手段および該俯瞰映像拡大手段の一方のみを作動させる拡大表示モード切換手段とを有する
    ことを特徴とする、請求項1記載の車両周辺表示装置。
  5. 該撮像領域規定手段は、
    該カメラ映像拡大手段が作動する際に、複数の該カメラごとに該撮像領域をそれぞれ規定する
    ことを特徴とする、請求項1,2または4記載の車両周辺表示装置。
  6. 該選択領域設定手段は、
    該ディスプレイ上においてユーザにより触れられると直ちに接触箇所に対応する該撮像領域を選択領域として設定する
    ことを特徴とする、請求項1〜5のうちのいずれか1項に記載の車両周辺表示装置。
  7. 該選択領域設定手段は、
    該ディスプレイ上においてユーザによる接触が中止された箇所に対応する該撮像領域を選択領域として設定する
    ことを特徴とする、請求項1〜5のうちのいずれか1項に記載の車両周辺表示装置。
JP2008083825A 2008-03-27 2008-03-27 車両周辺表示装置 Active JP4973564B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008083825A JP4973564B2 (ja) 2008-03-27 2008-03-27 車両周辺表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008083825A JP4973564B2 (ja) 2008-03-27 2008-03-27 車両周辺表示装置

Publications (2)

Publication Number Publication Date
JP2009239674A true JP2009239674A (ja) 2009-10-15
JP4973564B2 JP4973564B2 (ja) 2012-07-11

Family

ID=41253088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008083825A Active JP4973564B2 (ja) 2008-03-27 2008-03-27 車両周辺表示装置

Country Status (1)

Country Link
JP (1) JP4973564B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089961A1 (ja) * 2010-01-19 2011-07-28 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
WO2011111448A1 (ja) 2010-03-12 2011-09-15 アイシン精機株式会社 画像制御装置
WO2011118260A1 (ja) 2010-03-26 2011-09-29 アイシン精機株式会社 車両周辺監視装置
WO2011118261A1 (ja) * 2010-03-26 2011-09-29 アイシン精機株式会社 車両周辺監視装置
US20110317014A1 (en) * 2010-06-28 2011-12-29 Honda Motor Co., Ltd. In-vehicle image display apparatus
JP2012124610A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2012216997A (ja) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd 画像表示システム、画像生成装置及び画像生成方法
CN102795161A (zh) * 2011-05-24 2012-11-28 富士通天株式会社 图像显示系统、图像处理设备、及图像显示方法
WO2013047012A1 (ja) 2011-09-27 2013-04-04 アイシン精機株式会社 車両周辺監視装置
JP2013066010A (ja) * 2011-09-16 2013-04-11 Hitachi Constr Mach Co Ltd 作業機の周囲監視装置
CN104063991A (zh) * 2014-06-28 2014-09-24 浙江吉利控股集团有限公司 一种下车安全提醒装置及其检测方法
JP2014180046A (ja) * 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2014222877A (ja) * 2014-06-04 2014-11-27 株式会社小松製作所 作業車両の周辺監視装置
CN104417435A (zh) * 2013-09-05 2015-03-18 现代摩比斯株式会社 环景停车模式的控制方法
JP2016042704A (ja) * 2015-09-17 2016-03-31 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
US9956915B2 (en) 2011-06-07 2018-05-01 Komatsu Ltd. Dump truck periphery monitoring apparatus
EP3316574A4 (en) * 2015-06-29 2018-05-30 Aisin Seiki Kabushiki Kaisha Image display control device
JP2020042441A (ja) * 2018-09-07 2020-03-19 アイシン精機株式会社 表示制御装置
JP2020042417A (ja) * 2018-09-07 2020-03-19 アイシン精機株式会社 表示制御装置
JP2021034885A (ja) * 2019-08-23 2021-03-01 キヤノン株式会社 画像生成装置、画像表示装置および画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005239048A (ja) * 2004-02-27 2005-09-08 Denso Corp 駐車支援システム
JP2007094861A (ja) * 2005-09-29 2007-04-12 Oki Electric Ind Co Ltd 自動券売機
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005239048A (ja) * 2004-02-27 2005-09-08 Denso Corp 駐車支援システム
JP2007094861A (ja) * 2005-09-29 2007-04-12 Oki Electric Ind Co Ltd 自動券売機
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151446A (ja) * 2010-01-19 2011-08-04 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
WO2011089961A1 (ja) * 2010-01-19 2011-07-28 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法
JP2011193136A (ja) * 2010-03-12 2011-09-29 Aisin Seiki Co Ltd 画像制御装置
WO2011111448A1 (ja) 2010-03-12 2011-09-15 アイシン精機株式会社 画像制御装置
US9919650B2 (en) 2010-03-26 2018-03-20 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
US9308863B2 (en) 2010-03-26 2016-04-12 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
KR101446898B1 (ko) 2010-03-26 2014-10-22 아이신세이끼가부시끼가이샤 차량 주변 감시 장치
KR101446897B1 (ko) 2010-03-26 2014-10-06 아이신세이끼가부시끼가이샤 차량 주변 감시 장치
US9403481B2 (en) 2010-03-26 2016-08-02 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device using multiple cameras and enlarging an image
WO2011118261A1 (ja) * 2010-03-26 2011-09-29 アイシン精機株式会社 車両周辺監視装置
US9862319B2 (en) 2010-03-26 2018-01-09 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device using cameras and an emphasized frame
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN102804763A (zh) * 2010-03-26 2012-11-28 爱信精机株式会社 车辆周边监视装置
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
US10479275B2 (en) 2010-03-26 2019-11-19 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
WO2011118260A1 (ja) 2010-03-26 2011-09-29 アイシン精機株式会社 車両周辺監視装置
US8665331B2 (en) 2010-06-28 2014-03-04 Honda Motor Co., Ltd. In-vehicle image display apparatus
JP2012006551A (ja) * 2010-06-28 2012-01-12 Honda Motor Co Ltd 車両用画像表示装置
US20110317014A1 (en) * 2010-06-28 2011-12-29 Honda Motor Co., Ltd. In-vehicle image display apparatus
JP2012124610A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム、画像処理装置及び画像表示方法
JP2012216997A (ja) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd 画像表示システム、画像生成装置及び画像生成方法
CN102795161A (zh) * 2011-05-24 2012-11-28 富士通天株式会社 图像显示系统、图像处理设备、及图像显示方法
US9956915B2 (en) 2011-06-07 2018-05-01 Komatsu Ltd. Dump truck periphery monitoring apparatus
US9497422B2 (en) 2011-06-07 2016-11-15 Komatsu Ltd. Perimeter monitoring device for work vehicle
US10321097B2 (en) 2011-06-07 2019-06-11 Komatsu Ltd. Perimeter monitoring device for work vehicle
JP2014180046A (ja) * 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2013066010A (ja) * 2011-09-16 2013-04-11 Hitachi Constr Mach Co Ltd 作業機の周囲監視装置
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置
WO2013047012A1 (ja) 2011-09-27 2013-04-04 アイシン精機株式会社 車両周辺監視装置
US9467679B2 (en) 2011-09-27 2016-10-11 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
CN104417435B (zh) * 2013-09-05 2017-01-04 现代摩比斯株式会社 环景停车模式的控制方法
CN104417435A (zh) * 2013-09-05 2015-03-18 现代摩比斯株式会社 环景停车模式的控制方法
JP2014222877A (ja) * 2014-06-04 2014-11-27 株式会社小松製作所 作業車両の周辺監視装置
CN104063991A (zh) * 2014-06-28 2014-09-24 浙江吉利控股集团有限公司 一种下车安全提醒装置及其检测方法
US10484651B2 (en) 2015-06-29 2019-11-19 Aisin Seiki Kabushiki Kaisha Image display control device
EP3316574A4 (en) * 2015-06-29 2018-05-30 Aisin Seiki Kabushiki Kaisha Image display control device
JP2016042704A (ja) * 2015-09-17 2016-03-31 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
CN108605116A (zh) * 2016-02-08 2018-09-28 株式会社电装 显示处理装置以及显示处理方法
WO2017138473A1 (ja) * 2016-02-08 2017-08-17 株式会社デンソー 表示処理装置及び表示処理方法
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
US10623610B2 (en) 2016-02-08 2020-04-14 Denso Corporation Display processing device and display processing method
JP2020042441A (ja) * 2018-09-07 2020-03-19 アイシン精機株式会社 表示制御装置
JP2020042417A (ja) * 2018-09-07 2020-03-19 アイシン精機株式会社 表示制御装置
JP7119798B2 (ja) 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
JP2021034885A (ja) * 2019-08-23 2021-03-01 キヤノン株式会社 画像生成装置、画像表示装置および画像処理方法
JP7378243B2 (ja) 2019-08-23 2023-11-13 キヤノン株式会社 画像生成装置、画像表示装置および画像処理方法

Also Published As

Publication number Publication date
JP4973564B2 (ja) 2012-07-11

Similar Documents

Publication Publication Date Title
JP4973564B2 (ja) 車両周辺表示装置
US10479275B2 (en) Vehicle peripheral observation device
US9862319B2 (en) Vehicle peripheral observation device using cameras and an emphasized frame
JP4900232B2 (ja) 車両用駐車支援装置および映像表示方法
KR101481681B1 (ko) 차량용 이미지 시스템 및 차량 이미지의 디스플레이 제어 방법
JP6413207B2 (ja) 車両用表示装置
TWI535587B (zh) 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統
JP2005186648A (ja) 車両用周囲視認装置および表示制御装置
WO2017110144A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2010116086A (ja) 車載用表示装置、表示方法および表示プログラム
JP4753752B2 (ja) 車載電子機器およびメニュー提供方法
CN110895443A (zh) 显示控制装置
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP6821124B2 (ja) 運転支援装置、運転支援方法およびプログラム
JP2008003659A (ja) 車両用周囲表示装置
US11068054B2 (en) Vehicle and control method thereof
JP5709460B2 (ja) 運転支援システム、運転支援方法および運転支援プログラム
JP6662655B2 (ja) 車両用画像表示装置
KR102125738B1 (ko) 주차 보조 시스템
JP2006106851A (ja) 車両用情報表示装置
JP2006020141A (ja) 表示制御装置
JP2005198160A (ja) 車両周辺撮像装置
JP6523801B2 (ja) 画像処理装置および画像処理方法
JP6400352B2 (ja) 車両周辺表示装置
JP2019024176A (ja) 車両周辺監視装置および表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

R151 Written notification of patent or utility model registration

Ref document number: 4973564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350