JP2007164549A - 撮像装置、映像信号の選択装置、運転支援装置、自動車 - Google Patents

撮像装置、映像信号の選択装置、運転支援装置、自動車 Download PDF

Info

Publication number
JP2007164549A
JP2007164549A JP2005361179A JP2005361179A JP2007164549A JP 2007164549 A JP2007164549 A JP 2007164549A JP 2005361179 A JP2005361179 A JP 2005361179A JP 2005361179 A JP2005361179 A JP 2005361179A JP 2007164549 A JP2007164549 A JP 2007164549A
Authority
JP
Japan
Prior art keywords
imaging
vehicle
video signals
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005361179A
Other languages
English (en)
Other versions
JP4752486B2 (ja
Inventor
Toshio Nishida
寿雄 西田
Hirotomo Sai
寛知 齋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005361179A priority Critical patent/JP4752486B2/ja
Priority to US11/638,369 priority patent/US8368755B2/en
Publication of JP2007164549A publication Critical patent/JP2007164549A/ja
Application granted granted Critical
Publication of JP4752486B2 publication Critical patent/JP4752486B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162Decentralised systems, e.g. inter-vehicle communication event-triggered

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】
時々刻々と変化する自車と他車の位置を考慮し、各車に搭載されたカメラの位置・向き・視野角・移動速度に応じた映像信号の選択を行い、運転者の死角となる領域の情報を、映像や音声によりリアルタイムに提供すること。
【解決手段】
自車の死角となる領域を撮像可能な位置・向き・視野角・移動速度の条件を満たすカメラを搭載した他車がいる場合、そのカメラで撮像された映像により死角領域の情報は提供可能である。しかし、時間の経過と共に他車の位置も変化するため、同じカメラで死角領域を撮像し続けることはできない。そこで、自車の周囲を走行中の他車に搭載されたカメラの位置・向き・視野角・移動速度を常に検出し、自車の死角となる領域を撮像できるカメラを動的に選択し、映像信号を順次切換えることによって、運転者の死角領域の映像の取得をリアルタイムに行う。
【選択図】 図1

Description

本発明は、複数の撮像装置により撮像された複数の映像信号を用いる運転支援システムに係り、これら複数の映像信号の選択方法に関する。
本技術分野の背景技術として、例えば、特開2005−157581号公報(特許文献1)がある。該公報には、「本発明の目的は、高速道路等において、ユーザがより多くのポイントにおける映像を容易に見ることができる映像情報配信システムを提供することである。」と記載され、この解決手段として、「本発明は、所定エリア内の映像を撮影して、当該所定エリア外を移動する移動端末6に当該映像の情報を配信するシステムである。具体的には、複数の監視端末1は、所定エリア内の異なるポイントにおいて映像を撮影して、当該映像の情報を生成し、当該映像の情報を出力する。中継装置2は、複数の監視端末1が出力した複数の映像の情報を取得し、複数の当該映像の情報の内、いずれか一つの映像の情報を選択して、所定エリア外に送信する。複数の転送装置4は、所定エリア外に離間した状態で配置され、中継装置2から転送されてきた映像の情報を、移動端末6に対して無線電波の形式で送信する。そして、中継装置2は、選択する映像の情報を順次的かつ定期的に変化させる。」と記載されている。
また、他の背景技術として、例えば、特開2001−101566号公報(特許文献2)がある。該公報には、課題として「運転手が障害物によって交差する道路(死角となる道路)を把握できない交差点において、交差する道路を迅速かつ確実に把握すること。」と記載され、この解決手段として、「交差点付近にカメラ12を設置して死角となる道路を撮像し、自動車(先行車1)のバンパーに埋め込んだカメラ15で障害物となる民家の壁を撮像する。そして、これらの撮像画像を重畳して、交差点に進入しようとしている自動車(後行車2)の半透過型の液晶モニタにより形成されたサイドウインドーに表示する。これにより、後行車2の運転手は、あたかも障害物を透過して死角となる道路が見えるようになり、安全確認を迅速かつ確実に行なうことができる。」と記載されている。
特開2005−157581号公報 特開2001−101566号公報
上記特許文献1では、運転者に対して道路映像を定期的に更新して提供するシステムが開示されているが、運転者の死角となり得る部分の映像を提供するためには、道路上に多くの撮像ポイントを設ける必要があり、それだけの撮像装置も必要となる。また、定点カメラは撮像位置を変えることができないため、定点カメラと撮像すべき領域との間に他車等の障害物がある場合には、運転者に対する死角領域の映像提供ができなくなってしまう。
上記特許文献2では、定点で撮像された映像に加え、他車に搭載されたカメラで撮像された映像を利用することにより、運転者に対して死角となる領域の情報を提供している。しかしながら、他車の移動に伴い、運転者に提供される死角領域の映像は変化し、時間の経過と共に他車のカメラの撮像範囲から外れてしまう。
そこで、時々刻々と変化する自車と他車の位置を考慮し、各車に搭載されたカメラの位置・向き・視野角・移動速度に応じた映像信号の選択を行い、運転者の死角となる領域の情報を、映像や音声によりリアルタイムに提供することが、運転支援システムの使い勝手上、重要となる。
本発明は、運転支援システムの使い勝手向上を目的とする。
上記目的は、特許請求項の範囲に記載の発明により達成できる。
本発明によれば、運転支援システムの使い勝手が向上する。
以下、図面を用いて本発明の一実施の形態を説明する。
図1は、本発明による複数の映像信号の選択方法の第1実施例に係る運転支援システムを示すブロック図である。図1において、1は自車、2_1〜2_i(i=1、2、3、…)はi台の他車を示している。また、3_1〜3_a(a=1、2、3、…)は自車に搭載されたa個の撮像装置、4_1〜4_b(b=1、2、3、…)は他車2_1に搭載されたb個の撮像装置、5_1〜5_c(c=1、2、3、…)は他車2_iに搭載されたc個の撮像装置、6_1〜6_i(i=1、2、3、…)はi台の他車に搭載された送信部、7は受信部、8は信号選択部、9は自車情報取得部、10は表示部、11は送信部、12_1〜12_jはj台の他車である。
運転支援システムにおいて、他車2_1〜2_iより、各車に搭載されたカメラで撮像された映像信号および、各カメラの位置・向き・視野角・移動速度といった情報がCDMA・FDMA・TDMA、あるいは光通信などにより送られてくる。自車では、これらの情報を受信部7で受信、自車に搭載されたカメラ3_1〜3_aによる映像信号も含め、信号選択部8において運転者に提供する映像の選択を行い、表示部10へと送信する。このとき、選択される映像は複数枚であってもよく、表示部10において、順次表示あるいは画面分割表示を行う。また、他車2_1〜2_iが映像信号およびカメラ情報を送信するように、自車も、自車に搭載されたカメラ3_1〜3_aにより撮像された映像信号および自車情報取得部9から得られる自車のカメラ情報を、他車12_1〜12_jへと送信する。
図2は、本発明の第1実施例に係る運転支援システムを適用する状況の一例を示す図である。図2において、13は自車、14は他車、15は人物、16は障害物、17は他車である。図2(a)において、人物15は障害物16によって遮られているため、自車13の運転者からは見ることができない。そこで、後述の方法により、人物15を撮像できるカメラの検出を行う。図2(a)の場合の検出結果として、対向してくる他車14に搭載されたカメラが得られたとすると、信号選択部8では他車14に搭載されたカメラで撮像された映像を選択、表示部10へと出力する。これにより、運転者は死角となる領域の映像を見ることが可能となり、事前に危険予測が可能となる。
また、図2(a)から一定時間経過後の状況を図2(b)に示す。図2(b)において、依然、人物15は自車13の運転者から見えない位置にいる。この死角領域の映像を他車から取得するのだが、他車14は時間の経過と共に人物15を撮像できない位置に移動してしまっている。運転者に対し、常に死角領域の映像を提供するためには、死角領域を撮像するカメラの位置・向き・視野角・移動速度を考慮し、撮像可能な範囲から死角領域が外れる前に別のカメラによる撮像へと動的に切換えを行っていく必要がある。
ここで、他車14に搭載されたカメラによる人物15の撮像可能条件について、図3により説明する。図3では、人物15を撮像するカメラとして、他車14のフロント部分に搭載され、車の進行方向を向いたカメラを考える。また、他車14から見て、カメラの右半分の視野角をθとし、カメラの視野角の中心線と人物15との距離をxとする。まず初期状態として、図3(a)のような状態を考える。他車14から人物15までの距離(車の進行方向距離)をyとする。xおよびyといったパラメータは、例えば自車から10m前方の領域に死角領域があると仮定し、自車および他車の位置情報をGPS等で取得することによって決定することができる。図3(a)は、人物15が他車14に搭載されたカメラの撮像可能領域にいる状態である。この状態から時刻tだけ経過し、他車14に搭載されたカメラで人物15を撮像できなくなった状態が図3(b)である。このときの他車14から人物15までの距離(車の進行方向距離)をyとする。ここで、他車14の移動速度をvとすると、他車14に搭載されたカメラで人物15を撮像できる時間tについて、
―y > vt ・・・(1)
が成り立つ。これを変形すると、
(y― (x/tanθ))/v > t ・・・(2)
となる。上式(2)において、yは他車14から人物15までの距離(車の進行方向距離)、xはカメラの視野角の中心線と人物15との距離であるから、他車から自車に送信されるカメラの位置情報から得られる。同様に、θはカメラの右半分の視野角であり、他車から自車に送信されるカメラの向き情報として得られる。そして、vは他車14の移動速度であるから、他車から自車に送信されるカメラの移動速度に相当する。従って、他車14に搭載されたカメラで人物15を撮像できる時間tというのは、他車から自車に送信されるカメラ情報により計算が可能である。この時間tを超える前に、別のカメラによる撮像へと切換えを行うことで、運転者に対して死角領域の映像を途切れることなく提供することが可能となる。図2(b)の場合には、上記の計算により、他車14に搭載されたカメラの撮像可能領域から人物15が外れてしまう前に、他車14の後方を走行中の他車17に搭載されたカメラの映像へと切換えを行うことで、運転者に対して死角となる領域の映像を提供し続ける。なお、切換えを行うカメラは他車に搭載されたカメラだけではなく、道路に設置された定点カメラであってもよく、上記移動速度vを0とすれば同様に扱える。
このように本実施例によれば、時間の経過と共に絶えず変化する運転者の死角領域に対し、自車の周囲を走行中の他車に搭載されたカメラの位置・向き・視野角・移動速度の検出を常時行うことで、運転者の死角領域を最も良い条件下で撮像できるカメラの選択を行い、運転者に対して死角領域の映像を途切れることなくリアルタイムに提供することが可能となる。
図4は、本発明による複数の映像信号の選択方法の第2実施例に係る運転支援システムを示すブロック図である。図4は本発明の第1実施例のブロック図である図1と比較して、信号合成部18、メモリ19を持つ。信号合成部18は、信号選択部8により選択された複数の映像信号の重畳あるいは合成処理を行い、生成された映像信号を表示部10へ出力する。なお、メモリ19は処理の際に画像データを一時的に蓄えておくバッファである。
第1実施例では、他車に搭載されたカメラの位置・向き・視野角・移動速度の情報をもとに、運転者の死角領域を常に撮像できるカメラを選択、動的に切換えを行うことにより、運転者に対して死角領域の映像を途切れることなく提供する方法を示した。本実施例では、運転者の死角となる領域の映像として、複数のカメラで撮像された複数の映像を重畳あるいは合成表示したものを提供する。
例えば、信号選択部8では、運転者の死角領域の映像を最適な位置で撮像できるカメラの選択を行うが、障害物などの影響により死角領域全域を撮像できるカメラがない場合もあり得る。このような場合、複数台のカメラの映像を利用し、信号合成部18において、それぞれの映像を重畳あるいは合成表示することにより、運転者への死角領域映像の提供を行うことが可能となる。
また、運転者へ提供する映像は、他車に搭載されたカメラで撮像された映像を、自車に搭載されたカメラで撮像した映像に重畳あるいは合成表示したものを提供しても良い。例えば、図2に示した状況にある場合、自車13の死角領域にいる人物15の情報は、他車14および17に搭載されたカメラによって撮像された映像から取得することができる。実施例1では、映像を運転者に提供する際、撮像された映像自体を提供する方法を示したが、信号合成部18を用いることにより運転者にとってより分かりやすい情報提供が可能になる。図5(a)は、図2において自車13に搭載されたカメラで車両前方を撮像したときの映像である。勿論、人物15は障害物16の影にいるため映っていない。また、図5(b)は、図2において他車14に搭載されたカメラで車両前方を撮像したときの映像である。信号合成部18において、図5(a)の映像と、図5(b)の人物15付近の映像を左右反転させた映像を合成処理することにより、図5(c)の映像を得ることが可能となる。図5(c)の映像を運転者に提供することで、運転者は自分の視点であたかも障害物の裏側が見えているかのような状態の映像を見ることができる。
このように本実施例によれば、単体のカメラでは運転者の死角領域の映像を完全に撮像できないような場合においても、自車の周囲を走行中の他車に搭載されたカメラのうち、複数台のカメラにより撮像された映像を重畳あるいは合成表示することで、運転者に対する死角領域の映像提供が可能となる。また、自車に搭載されたカメラで撮像された映像に、他車に搭載されたカメラにより撮像された運転者の死角領域の映像を合成表示することにより、運転者の視点であたかも障害物の裏側が見えているかのような映像の提供が可能となる。
図6は、本発明による複数の映像信号の選択方法の第3実施例に係る運転支援システムを示すブロック図である。図6は本発明の第2実施例のブロック図である図4と比較して、信号処理部20を持つ。信号処理部20は、信号選択部8により選択された映像信号について物体認識を行う。
本発明による複数の映像信号の選択方法の第3実施例に係る物体認識の一例を図7により説明する。図7において、21および22はカメラを搭載した車、23は車21に搭載されたカメラ、24および25は、車22に搭載されたカメラ、26は車21および車22の前方にいる人物である。人物26を認識しようとする場合、信号選択部8において、カメラ23〜25で撮像される映像信号の中から1つを選択した場合には、単眼での人物認識を行うことが可能であるし、2つ以上の映像信号を選択した場合には、ステレオ撮像による精度の高い人物認識を行うことが可能となる。
ここで、ステレオ撮像を行う場合を考える。人物26を認識するため、各カメラの位置・向き・視野角・移動速度の情報をもとに、どのカメラを選択すればよいかを信号選択部8において決定する。仮に、カメラ24とカメラ25が選択され場合、これら2つのカメラによりステレオ撮像を行い、人物26の認識を行うことになる。しかし、人物26が車22から見て左方向に移動していく場合、時間の経過とともに、カメラ25で撮像可能な領域から外れてしまう。しかし、信号選択部8では常に人物26を撮像できるカメラの検出を行っているため、人物26がカメラ23の撮像可能領域に入ってくれば、カメラ23およびカメラ24によるステレオ撮像に移行することで人物認識を続けることが可能である。この時、もし1つのカメラでしか人物26を撮像できない状況があったとしても、一時的に単眼の認識に切換えることにより、時間的に途切れることなく人物認識を行うことができる。
実施例1において、他車に搭載されたカメラにより運転者の死角領域を撮像する場合の、他車カメラの撮像可能条件について述べた。同実施例では、自車から一定の距離に死角領域があると仮定した処理を例に挙げたが、上記のステレオ撮像を行うことにより、死角領域を作り出している障害物を認識し、その障害物までの距離の計算をすることが可能となる。これにより、自車から一定の距離に死角領域があると仮定した撮像を行うのではなく、ステレオ撮像により障害物が認識された場合に、そこに死角領域が存在すると判断して、その障害物までの距離を計算、その死角領域を撮像できるカメラを選択するという処理が可能となる。
本実施例では、自車あるいは他車に搭載されたカメラにより撮像された映像信号について、信号処理部20において物体認識を行う構成を示したが、物体認識を各カメラにて行う構成にしてもよい。この場合、図1および図4に示した運転支援システムにて実現が可能である。各カメラにおいて撮像および認識処理を行い、信号選択部8では、運転者の必要とする認識対象が得られている映像信号の選択を行う。物体認識をカメラ側で行う利点として、信号選択部8において認識結果映像も考慮した選択が可能であるということが挙げられる。例えば、各カメラの位置・向き・視野角・移動速度の情報から、認識対象を最も良い状況下で撮像できるカメラを選択するが、そのカメラにより撮像された映像がブレてしまっていたり、カメラの前に予期せぬ障害物が現れるといった場合などもあり得る。カメラ側で物体認識を行わない場合、このような状況下で撮像された映像に対して物体認識を行っても、期待される結果を得ることはできない。しかし、カメラ側で物体認識を行った場合、期待される結果が得られていない映像信号については信号選択部8にて選択を行わない。そして、別のカメラからの映像信号に切換え、期待される認識結果が得られているものを選択するということが可能となる。
ここで、物体認識の結果を運転者に提供する場合の表示方法の一例を示す。自車あるいは他車に搭載されたカメラにより撮像された映像信号について物体認識を行った結果、運転者の死角となる領域に人物などが検出された場合、運転者に対して情報の提供を行う。実施例2で示したように、自車に搭載されたカメラにより撮像された映像に、運転者に対して死角となる領域の映像を重畳あるいは合成表示する方法もあるが、本実施例ではこれと異なる形態での表示方法について示す。図8は、自車13が見通しの悪い交差点に近づいている状況で、運転者の死角領域に人物がいる場合における情報表示の一例である。ここでは、自車13の右前方の壁の死角となっている部分に人物がいる場合を想定している。この人物に関しては、自車13が進入しようとしている突き当りの通りを走行中の他車に搭載されたカメラにより撮像された映像信号から認識が可能である。この認識結果を運転者の視点で表示し、背面に人物が隠れている壁に色をつけて表示した例が図8(a)である。また、自車13を真上から見下ろしたマップを表示し、運転者の死角領域に認識された人物の位置にマーク27を表示した例が図8(b)である。このように、運転者の死角領域の映像を、自車に搭載されたカメラで撮像した映像に重畳あるいは合成表示するのではなく、危険要素の潜んでいる箇所に色をつけて表示することにより、運転者に対して簡易かつ明示的な表示を行うことが可能である。また、運転者に対して映像による情報提供をするだけではなく、認識結果をもとに「次の交差点では右方向から人が歩いてきています」というように音声による情報提供をしてもよい。
このように本実施例によれば、車に搭載されたカメラを用いることで単眼あるいはステレオ撮像による物体認識が可能となる。物体認識中、認識対象が移動することにより、カメラの撮像可能領域から外れてしまう場合があるが、使用するカメラを動的に切換えていくことでことにより、途切れのない物体認識が可能となる。また、撮像部において物体認識を行うことにより、各カメラから送信される認識結果映像を考慮した映像選択が可能となるため、これを各カメラの位置・向き・視野角・移動速度の情報に基づいたカメラ選択方法と併せることで、運転者の必要とする認識対象が確実に得られている映像を選択することが可能となる。認識結果については、運転者の死角となる領域に危険要因が潜んでいる場合には、色をつけて簡易かつ明示的な表示を行うことにより、運転者にわかり易い情報提示が可能となる。また、認識結果をもとにした音声による情報の提供も可能となる。
本発明は、交通システムや運転支援装置への利用が可能である。
本発明の第1実施例に係る運転支援システムを示すブロック図である。 本発明の第1実施例に係る運転支援システムを適用する状況の一例を示す図である。 本発明の第1実施例に係る運転支援システムにおけるカメラ切換について説明する図である。 本発明の第2実施例に係る運転支援システムを示すブロック図である。 本発明の第2実施例に係る運転支援システムにおける合成表示の一例を示す図である。 本発明の第3実施例に係る運転支援システムを示すブロック図である。 本発明の第3実施例に係る運転支援システムにおける物体認識について説明する図である。 本発明の第3実施例に係る運転支援システムにおける表示方法の一例を示す図である。
符号の説明
1 自車
2_1〜2_i 他車
3_1〜3_a 自車に搭載された撮像装置
4_1〜4_b他車に搭載された撮像装置
5_1〜5_c 他車に搭載された撮像装置
6_1〜6_i 送信部
7 受信部
8 信号選択部
9 自車情報取得部
10 表示部
11 送信部
12_1〜12_i 他車
13 自車
14 他車
15 人物
16 障害物
17 他車
18 信号合成部
19 メモリ
20 信号処理部
21〜22 車
23〜25 カメラ
26 人物
27 危険要因を示すマーク

Claims (13)

  1. 撮像し映像信号を出力するn個(n≧1)の第1の撮像手段と、
    外部装置が備えるm個(m≧1)の第2の撮像手段であって、該第2の撮像手段のうち少なくとも1つの撮像手段の撮像範囲の一部が該第1の撮像手段のうち少なくとも1つの撮像手段の撮像範囲の一部と共通である該m個の第2の撮像手段から出力される映像信号を受信する受信手段と、
    該n個の第1の撮像手段から出力された映像信号および該m個の第2の撮像手段から出力され受信された映像信号のうちk個(n+m>k≧1)の映像信号を選択する選択手段と、
    該n個の第1の撮像手段および該m個の第2の撮像手段の位置と向きと視野角と移動速度とのうち1つ以上の情報を用いて、該選択手段による映像信号の選択を制御する制御手段と、
    を備えることを特徴とする撮像装置。
  2. 請求項1において、
    該制御手段は、該n個の第1の撮像手段および該m個の第2の撮像手段の位置と向きと視野角と移動速度の情報を用いて、該第1及び第2の撮像手段の撮像範囲の共通部分に存在する特定の被写体が該共通部分から逸脱する時間を演算し、該時間までに、他の外部装置が備えるp個(p≧1)の第3の撮像手段であって、該特定の被写体が該第1および第3の撮像手段の撮像範囲の共通部分に存在するような該p個の第3の撮像手段の映像信号のうち1つ以上を選択するように、映像信号の選択を切り替えるように該選択手段を制御すること、
    を特徴とする撮像装置。
  3. n個の入力映像信号から、k個(n>k)の映像信号を選択して出力する映像信号の選択装置において、
    n個の入力映像信号を撮像するカメラの位置と向きと視野角と移動速度とのうち1つ以上の情報を用いてk個の映像信号を選択すること、
    を特徴とする映像信号の選択装置。
  4. 自車に搭載された、該自車の周囲を撮像するn個(n≧1)の第1の撮像手段と、
    該第1の撮像手段の位置と向きと視野角と移動速度とのうち1つ以上の情報を検出する検出手段と、
    他車に搭載された、該他車の周囲を撮像する第2の撮像手段であって、該自車の周囲を撮像しているm個(m≧1)の第2の撮像手段により撮像された映像信号および、該第2の撮像手段の位置と向きと視野角と移動速度とのうち1つ以上の情報を受信する受信手段と、
    上記第1および第2の撮像手段により撮像された映像信号のうち、上記検出手段で検出された上記第1の撮像手段の位置と向きと視野角と移動速度とのうち1つ以上の情報と、上記受信手段で受信した第2の撮像手段の位置と向きと視野角と移動速度とのうち1つ以上の情報とを用いて、k個(n+m>k≧1)の映像信号を選択する選択手段と、
    上記選択手段により選択されたk個の映像信号を表示する表示手段と、
    を備えることを特徴とする運転支援装置。
  5. 請求項4に記載の運転支援装置であって、
    上記表示手段は、上記選択手段により選択された複数の映像信号を、順次表示あるいは画面分割表示すること、
    を特徴とする運転支援装置。
  6. 請求項4に記載の運転支援装置であって、
    上記表示手段は、上記選択手段により選択された複数の映像信号を、合成あるいは重畳させて表示すること、
    を特徴とする運転支援装置。
  7. 請求項4に記載の運転支援装置であって、
    上記選択手段により選択された映像信号について物体認識を行う認識手段と、
    を備え、
    上記表示手段は、上記認識手段により認識された物体を表示すること、
    を特徴とする運転支援装置。
  8. 請求項4に記載の運転支援装置であって、
    上記選択手段により選択された複数の映像信号を用いてステレオ撮像処理を行うステレオ撮像処理手段を備えること、
    を特徴とする運転支援装置。
  9. 請求項4に記載の運転支援装置であって、
    上記第1および第2の撮像手段において物体認識を行い、自車周囲の人物及び/又は障害物を含む認識対象の映像信号を選択して表示すること、
    を特徴とする運転支援装置。
  10. 請求項4〜9のいずれかに記載の運転支援装置であって、
    障害物により上記第1の撮像手段で撮像できない運転者の死角となる領域について、上記第2の撮像手段で撮像した映像信号を選択して、表示すること、
    を特徴とする運転支援装置。
  11. 請求項10に記載の運転支援装置であって、
    障害物により上記第1の撮像手段で撮像できない運転者の死角となる領域について、上記第2の撮像手段で撮像した映像信号を選択して、表示した場合、その旨を音声出力すること、
    を特徴とする運転支援装置。
  12. 請求項10に記載の運転支援装置であって、
    障害物により上記第1の撮像手段で撮像できない運転者の死角となる領域について、上記第2の撮像手段で撮像した映像信号を選択して、表示した場合、当該障害物部分に色をつけて明示的な映像表示をすること、
    を特徴とする運転支援装置。
  13. n個(n≧1)の第1のカメラと該第1のカメラで撮像した映像を表示するモニタを備えた自動車であって、
    自車が備えないm個(m≧1)の第2のカメラであって、該第2のカメラのうち少なくとも1つのカメラの撮像範囲の一部が該第1のカメラのうち少なくとも1つのカメラの撮像範囲の一部と共通である該m個の第2のカメラから出力される映像信号を受信する受信手段と、
    該n個の第1のカメラから出力された映像信号および該m個の第2のカメラから出力され受信された映像信号のうちk個(n+m>k≧1)の映像信号を選択する選択手段と、
    該n個の第1のカメラおよび該m個の第2のカメラの位置と向きと視野角と移動速度とのうち1つ以上の情報を用いて、該選択手段による映像信号の選択を制御する制御手段と、
    を備え、
    障害物により該第1のカメラで撮像できない運転者の死角となる撮影範囲について、該第2のカメラで撮像した映像信号を選択し、該モニタに表示すること
    を特徴とする自動車。
JP2005361179A 2005-12-15 2005-12-15 撮像装置、映像信号の選択装置、運転支援装置、自動車 Active JP4752486B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005361179A JP4752486B2 (ja) 2005-12-15 2005-12-15 撮像装置、映像信号の選択装置、運転支援装置、自動車
US11/638,369 US8368755B2 (en) 2005-12-15 2006-12-14 Photographing apparatus, image signal choosing apparatus, driving assisting apparatus and automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005361179A JP4752486B2 (ja) 2005-12-15 2005-12-15 撮像装置、映像信号の選択装置、運転支援装置、自動車

Publications (2)

Publication Number Publication Date
JP2007164549A true JP2007164549A (ja) 2007-06-28
JP4752486B2 JP4752486B2 (ja) 2011-08-17

Family

ID=38172962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005361179A Active JP4752486B2 (ja) 2005-12-15 2005-12-15 撮像装置、映像信号の選択装置、運転支援装置、自動車

Country Status (2)

Country Link
US (1) US8368755B2 (ja)
JP (1) JP4752486B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323556A (ja) * 2006-06-05 2007-12-13 Mazda Motor Corp 車両周辺情報報知装置
JP2010015436A (ja) * 2008-07-04 2010-01-21 Honda Motor Co Ltd 車両周辺画像の切替装置
JP2016045825A (ja) * 2014-08-26 2016-04-04 三菱重工業株式会社 画像表示システム
JP2017022780A (ja) * 2016-10-06 2017-01-26 京セラ株式会社 統合画像処理システム
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
KR101822896B1 (ko) * 2017-03-30 2018-03-08 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
WO2018092577A1 (ja) * 2016-11-18 2018-05-24 株式会社オートネットワーク技術研究所 車両用物体検知装置及び車両用物体検知システム
KR20180104134A (ko) * 2016-02-10 2018-09-19 스카니아 씨브이 악티에볼라그 차량의 사각지대를 줄이는 시스템
JP2018147055A (ja) * 2017-03-01 2018-09-20 ソフトバンク株式会社 情報報知装置、移動体及び情報報知システム
JP2019062262A (ja) * 2017-09-25 2019-04-18 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、およびそれらの制御方法、プログラム
JP2020052784A (ja) * 2018-09-27 2020-04-02 株式会社Subaru 運転支援装置
WO2021048966A1 (ja) * 2019-09-12 2021-03-18 三菱電機株式会社 運転支援装置、車両制御装置、運転支援システム、及び運転支援方法
WO2021131201A1 (ja) * 2019-12-25 2021-07-01 パナソニックIpマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
DE102021107316A1 (de) 2020-03-27 2021-09-30 Honda Motor Co., Ltd. Fahrassistenzsystem, fahrassistenzverfahren, programm und nicht-transitorisches computerlesbares speichermedium, welches ein programm speichert
WO2022123844A1 (ja) * 2020-12-10 2022-06-16 日立Astemo株式会社 物標検知システム、物標検知装置、および、物標検知方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142624A (ja) * 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 車両搭載撮像装置
EP1978432B1 (en) * 2007-04-06 2012-03-21 Honda Motor Co., Ltd. Routing apparatus for autonomous mobile unit
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
US9123241B2 (en) 2008-03-17 2015-09-01 International Business Machines Corporation Guided video feed selection in a vehicle-to-vehicle network
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
US8400507B2 (en) * 2008-03-17 2013-03-19 International Business Machines Corporation Scene selection in a vehicle-to-vehicle network
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP5132445B2 (ja) * 2008-06-25 2013-01-30 キヤノン株式会社 画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体
CN103109313B (zh) * 2010-09-08 2016-06-01 丰田自动车株式会社 危险度计算装置
DE102011081614A1 (de) * 2011-08-26 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
US9082021B2 (en) * 2011-11-01 2015-07-14 Aisin Seiki Kabushiki Kaisha Obstacle alert device
EP2870592A4 (en) * 2012-07-09 2016-05-04 Elwha Llc SYSTEMS AND METHOD FOR COORDINATING A SENSOR OPERATION FOR COLLISION DETECTION
US9140782B2 (en) * 2012-07-23 2015-09-22 Google Technology Holdings LLC Inter-vehicle alert system with nagable video look ahead
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
TWI552897B (zh) * 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
SE539053C2 (sv) * 2013-07-18 2017-03-28 Scania Cv Ab Förfarande och sensor för informationsöverföring mellan fordon
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US9934689B2 (en) 2014-12-17 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation at blind intersections
KR102375411B1 (ko) 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
DE102015215979B3 (de) * 2015-08-21 2017-02-16 Conti Temic Microelectronic Gmbh Funktionsgesteuertes Head-up-Display mit erweiterter Informationsdarstellung für ein Fahrzeug
DE102015011536A1 (de) * 2015-09-02 2017-03-02 Man Truck & Bus Ag Spiegelersatzsystem als Kamera-Monitor-System (KMS) eines Kraftfahrzeugs, insbesondere eines Nutzfahrzeugs
CN106056091A (zh) * 2016-06-08 2016-10-26 惠州学院 一种多拍摄角度视频目标识别系统及方法
JP6443418B2 (ja) * 2016-10-03 2018-12-26 トヨタ自動車株式会社 車両運転支援装置
DE102016224906A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Bildverarbeitungsvorrichtung und Verfahren zum Verarbeiten von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug
DE102017100004A1 (de) * 2017-01-02 2018-07-05 Connaught Electronics Ltd. Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
CN109741632A (zh) * 2017-01-06 2019-05-10 一汽-大众汽车有限公司 一种车辆辅助行驶方法和装置
US20180339730A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating a wide-area perception scene graph
CN111295874B (zh) * 2017-10-30 2021-08-03 株式会社OPTiM 长条图像生成系统、方法以及存储介质
CN108501806A (zh) * 2018-02-02 2018-09-07 斑马网络技术有限公司 减少视觉盲区的汽车及其后视镜以及减少视觉盲区的方法
CN108965921B (zh) * 2018-08-15 2021-02-05 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
US10607416B2 (en) 2018-08-30 2020-03-31 Valeo Comfort And Driving Assistance Conditional availability of vehicular mixed-reality
US10836313B2 (en) * 2018-11-28 2020-11-17 Valeo Comfort And Driving Assistance Mixed reality view for enhancing pedestrian safety
US11328605B2 (en) * 2019-03-26 2022-05-10 Toyota Jidosha Kabushiki Kaisha Adjustable blind spot monitor
WO2020241955A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
RU2769921C2 (ru) * 2019-11-21 2022-04-08 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
CN111629333B (zh) * 2020-03-05 2022-07-19 蘑菇车联信息科技有限公司 一种车载语音通信方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773400A (ja) * 1993-09-03 1995-03-17 Hitachi Ltd 道路状況認識システム
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2002290962A (ja) * 2001-03-27 2002-10-04 Mitsubishi Electric Corp 侵入者自動追尾方法および装置並びに画像処理装置
JP2002367080A (ja) * 2001-06-12 2002-12-20 Clarion Co Ltd 車両用視覚支援方法及び装置
JP2004094825A (ja) * 2002-09-03 2004-03-25 Toyota Motor Corp 三次元物体認識装置
JP2004351977A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Ind Co Ltd 車外映像表示装置
JP2005123967A (ja) * 2003-10-17 2005-05-12 Mitsubishi Motors Corp ノーズビューシステム
JP2005178577A (ja) * 2003-12-19 2005-07-07 Stanley Electric Co Ltd 車両周辺監視装置
JP2005207943A (ja) * 2004-01-23 2005-08-04 Alpine Electronics Inc 車載用ナビゲーション装置及びその立体地図表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP2001105566A (ja) 1999-10-06 2001-04-17 Sony Corp 印刷機
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP2004241866A (ja) * 2003-02-03 2004-08-26 Alpine Electronics Inc 車両間通信装置
JP2005157581A (ja) 2003-11-21 2005-06-16 Matsushita Electric Ind Co Ltd 映像情報配信システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773400A (ja) * 1993-09-03 1995-03-17 Hitachi Ltd 道路状況認識システム
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2002290962A (ja) * 2001-03-27 2002-10-04 Mitsubishi Electric Corp 侵入者自動追尾方法および装置並びに画像処理装置
JP2002367080A (ja) * 2001-06-12 2002-12-20 Clarion Co Ltd 車両用視覚支援方法及び装置
JP2004094825A (ja) * 2002-09-03 2004-03-25 Toyota Motor Corp 三次元物体認識装置
JP2004351977A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Ind Co Ltd 車外映像表示装置
JP2005123967A (ja) * 2003-10-17 2005-05-12 Mitsubishi Motors Corp ノーズビューシステム
JP2005178577A (ja) * 2003-12-19 2005-07-07 Stanley Electric Co Ltd 車両周辺監視装置
JP2005207943A (ja) * 2004-01-23 2005-08-04 Alpine Electronics Inc 車載用ナビゲーション装置及びその立体地図表示方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323556A (ja) * 2006-06-05 2007-12-13 Mazda Motor Corp 車両周辺情報報知装置
JP2010015436A (ja) * 2008-07-04 2010-01-21 Honda Motor Co Ltd 車両周辺画像の切替装置
JP2016045825A (ja) * 2014-08-26 2016-04-04 三菱重工業株式会社 画像表示システム
US10377309B2 (en) 2015-06-09 2019-08-13 Lg Electronics Inc. Driver assistance apparatus and control method for the same
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US11097660B2 (en) 2015-06-09 2021-08-24 LG Electionics Inc. Driver assistance apparatus and control method for the same
KR20180104134A (ko) * 2016-02-10 2018-09-19 스카니아 씨브이 악티에볼라그 차량의 사각지대를 줄이는 시스템
KR102130058B1 (ko) 2016-02-10 2020-07-03 스카니아 씨브이 악티에볼라그 차량의 사각지대를 줄이는 시스템
JP2017022780A (ja) * 2016-10-06 2017-01-26 京セラ株式会社 統合画像処理システム
WO2018092577A1 (ja) * 2016-11-18 2018-05-24 株式会社オートネットワーク技術研究所 車両用物体検知装置及び車両用物体検知システム
CN109923598A (zh) * 2016-11-18 2019-06-21 株式会社自动网络技术研究所 车辆用物体检测装置及车辆用物体检测系统
JP2018147055A (ja) * 2017-03-01 2018-09-20 ソフトバンク株式会社 情報報知装置、移動体及び情報報知システム
KR101822896B1 (ko) * 2017-03-30 2018-03-08 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP2019062262A (ja) * 2017-09-25 2019-04-18 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、およびそれらの制御方法、プログラム
JP2020052784A (ja) * 2018-09-27 2020-04-02 株式会社Subaru 運転支援装置
JP7202120B2 (ja) 2018-09-27 2023-01-11 株式会社Subaru 運転支援装置
WO2021048966A1 (ja) * 2019-09-12 2021-03-18 三菱電機株式会社 運転支援装置、車両制御装置、運転支援システム、及び運転支援方法
CN114365207A (zh) * 2019-09-12 2022-04-15 三菱电机株式会社 驾驶辅助装置、车辆控制装置、驾驶辅助系统和驾驶辅助方法
JPWO2021048966A1 (ja) * 2019-09-12 2021-03-18
JP7321277B2 (ja) 2019-09-12 2023-08-04 三菱電機株式会社 運転支援装置、車両制御装置、運転支援システム、及び運転支援方法
JP2021103481A (ja) * 2019-12-25 2021-07-15 パナソニックIpマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
WO2021131201A1 (ja) * 2019-12-25 2021-07-01 パナソニックIpマネジメント株式会社 運転支援装置、運転支援方法及びプログラム
CN114902309A (zh) * 2019-12-25 2022-08-12 松下知识产权经营株式会社 驾驶辅助装置、驾驶辅助方法以及程序
DE102021107316A1 (de) 2020-03-27 2021-09-30 Honda Motor Co., Ltd. Fahrassistenzsystem, fahrassistenzverfahren, programm und nicht-transitorisches computerlesbares speichermedium, welches ein programm speichert
DE102021107316B4 (de) 2020-03-27 2023-10-05 Honda Motor Co., Ltd. Fahrassistenzsystem, fahrassistenzverfahren, programm und nicht-transitorisches computerlesbares speichermedium, welches ein programm speichert
US11893889B2 (en) 2020-03-27 2024-02-06 Honda Motor Co., Ltd. Travel assistance system, travel assistance method, and non-transitory computer-readable storage medium that stores program
WO2022123844A1 (ja) * 2020-12-10 2022-06-16 日立Astemo株式会社 物標検知システム、物標検知装置、および、物標検知方法
JP7478256B2 (ja) 2020-12-10 2024-05-02 日立Astemo株式会社 物標検知システム

Also Published As

Publication number Publication date
US8368755B2 (en) 2013-02-05
US20070139523A1 (en) 2007-06-21
JP4752486B2 (ja) 2011-08-17

Similar Documents

Publication Publication Date Title
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP4432801B2 (ja) 運転支援装置
JP5099451B2 (ja) 車両周辺確認装置
JP4434224B2 (ja) 走行支援用車載装置
JP6451840B2 (ja) 情報提示システム
JP4848893B2 (ja) 交差点情報提供システム及び運転支援システム
JP2008015759A (ja) 運転支援装置
JP2012195793A (ja) 車両周辺監視装置
US20080198226A1 (en) Image Processing Device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2006180446A (ja) 映像撮像装置及び映像撮像方法
JP4962788B2 (ja) 車両周辺監視装置
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP2008299676A (ja) 死角情報要求/提供装置及びこれらを利用した車車間通信システム
JP2001114048A (ja) 車載運転支援情報表示装置
JP2009057010A (ja) 車載表示装置
WO2018216184A1 (ja) 駐車制御方法及び駐車制御装置
JP2007221200A (ja) 車両周辺監視装置
JP2008250503A (ja) 運転支援装置
JP2005136561A (ja) 車両周辺画像表示装置
JP2009061871A (ja) 画像表示システム及び画像表示装置
JP2011049735A (ja) 車両周辺画像提供装置
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
WO2011135778A1 (ja) 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2013161440A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4752486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250