JP2005206025A - 車載カメラ装置 - Google Patents
車載カメラ装置 Download PDFInfo
- Publication number
- JP2005206025A JP2005206025A JP2004014366A JP2004014366A JP2005206025A JP 2005206025 A JP2005206025 A JP 2005206025A JP 2004014366 A JP2004014366 A JP 2004014366A JP 2004014366 A JP2004014366 A JP 2004014366A JP 2005206025 A JP2005206025 A JP 2005206025A
- Authority
- JP
- Japan
- Prior art keywords
- mirror
- vehicle
- unit
- driver
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 カメラを複雑な構成とせずに、車室内の狭い範囲と広い範囲とを撮影することができる車載カメラ装置を提供する。
【解決手段】 平面鏡で構成される平面ミラーと、球の側面で構成される凸レンズ状の凸面レンズとを備えたミラーにおいて、平面ミラーには運転席、凸面ミラーには車室内全体が映し出されるようにする。そして、平面ミラーまたは凸面ミラーに映し出された景色をカメラ5によって撮影する。ミラーは、平面ミラーに備えられた支持部材を介してモータによって駆動されることで、撮影範囲が変更されるようになっている。カメラ5で撮影された画像のデータは制御部3に出力される。制御部3は、カメラ5から入力される上記ミラーを介して撮影された車室内の画像のデータに基づき、運転者の脇見運転防止処理、防犯処理、エマージェンシー処理がなされるようになっている。
【選択図】 図1
【解決手段】 平面鏡で構成される平面ミラーと、球の側面で構成される凸レンズ状の凸面レンズとを備えたミラーにおいて、平面ミラーには運転席、凸面ミラーには車室内全体が映し出されるようにする。そして、平面ミラーまたは凸面ミラーに映し出された景色をカメラ5によって撮影する。ミラーは、平面ミラーに備えられた支持部材を介してモータによって駆動されることで、撮影範囲が変更されるようになっている。カメラ5で撮影された画像のデータは制御部3に出力される。制御部3は、カメラ5から入力される上記ミラーを介して撮影された車室内の画像のデータに基づき、運転者の脇見運転防止処理、防犯処理、エマージェンシー処理がなされるようになっている。
【選択図】 図1
Description
本発明は、車両に搭載されて車室内を撮影する車載カメラ装置に関する。
車両の運行時において、運転者が運転中に車室内の様子を確認するために、例えば後部座席に視線を向けることがある。しかしながら、このような確認行為を行うために、運転者が車両前方から視線を外さなければならず、運転者の安全運転が妨げられる。
このような状況を回避し、運転者にとって安全な車両運行ができるようにするために、車室内にカメラを設置し、このカメラで車室内を撮影する装置が提案されている(特許文献1参照)。
この装置は、広角のレンズとズームレンズとを備えて車室内を撮影するカメラと、カメラの撮影方向を変更する首振り機構部と、カメラで撮影された画像を表示する表示部と、これらカメラ、首振り機構部、表示部にそれぞれ信号を出力することで車室内の様子を撮影してその様子を表示部に表示する機能を備えた制御部とを有し構成されている。
上記装置では、制御部から車室内を撮影するための信号が出力されると、カメラで車室内が撮影される。そして、撮影された車室内の様子が、例えば液晶パネルに表示される。また、車室内の別の範囲を撮影するときには、制御部からカメラの向きを変更するための信号が首振り機構部に出力される。これにより、カメラの向きが変更されて、車室内の他の範囲が撮影される。
このような装置によって、例えば運転者や同乗者の様子が撮影され、その様子が液晶パネルに表示されることで、運転者が車両前方から視線を外すことなく、車室内の様子を確認できるようになっている。
特開2003−112580号公報
しかしながら、上記装置のカメラには、車室内を広く撮影するために広角のレンズやズームレンズが備えられ、さらに撮影範囲を変更できるように首振り機構部も備えられたものになっている。このため、カメラそのものが複雑な構成になり、カメラを備えた装置が高価になってしまう。
また、上記装置では、広角のレンズといえど一度に撮影できる範囲が決まっており、車室内全体を撮影することができないため、首振り機構部を制御して撮影したい方向にカメラの向きを変更しなければならない。したがって、撮影したい方向に度々カメラの向きを変更する煩わしさが生じる。
本発明は、上記点に鑑み、カメラにズームレンズや首振り機構を加えずに車室内の広い範囲または狭い範囲を撮影することができる車載カメラ装置を提供することを目的とする。
上記目的を達成するため、請求項1に記載の発明では、車両における室内に設けられ、平面鏡で構成される平面ミラー(8a)と所定の曲率半径を有する球の側面で構成される凸面ミラー(8b)とを有して構成されるミラー(8)と、平面ミラーまたは凸面ミラーのいずれか一方に車室内の景色が映し出されるようにミラーを駆動する駆動手段(10)とを備えたミラー部(6)と、ミラー部よりも車両後方側に位置し、平面ミラーまたは凸面ミラーのいずれか一方に映し出された車室内の景色を撮影し、撮影した景色の画像のデータを出力する撮影手段(5)とを備えて構成される撮影部(1)と、画像のデータが入力されると共にそのデータを格納し、ミラー部の駆動手段に信号を出力すると共に、平面ミラーまたは凸面ミラーのいずれか一方に景色が映し出されるように駆動手段を駆動する制御部(3)とを有していることを特徴としている。
このように、平面ミラーおよび凸面ミラーで構成されるミラーを用いて車室内の景色を映し出し、その映し出された景色を撮影手段で撮影することができる。このように、ミラーに映し出された景色が撮影手段で撮影される場合、平面ミラーは平面鏡で構成されるので、車室内の狭い範囲を映し出し、凸面ミラーはいわゆる凸レンズの鏡であるから車室内の広い範囲を映し出すことができるようになっている。したがって、撮影手段は、平面ミラーまたは凸面ミラーのいずれか一方に映し出される景色を撮影することにより狭い範囲または広い範囲のいずれかの範囲を撮影できるため、複雑な構成を必要とせず、単純な構成とすることができる。
また、上記凸面ミラーは車室内の広い範囲の景色を映し出すようになっているため、車室内の様々な部分を映し出すようにするために撮影手段の向きを変える必要はなく、容易に車室内全体を映し出すことができる。したがって、撮影手段を固定したままで車室内の広い範囲または狭い範囲のいずれか一方を撮影することができることとなる。車室内の狭いまたは広い範囲は、制御部によって駆動手段が駆動されることで容易に変更される。
請求項2に記載の発明では、平面ミラーは、運転席を映し出すようになっていることを特徴としている。このように、平面ミラーを運転席の方向に向けることで、運転席のみの狭い範囲を映し出すことができる。したがって、撮影手段によって、この平面ミラーに映し出された運転席を撮影できる。
請求項3に記載の発明では、凸面ミラーは、車室内のすべてのドアを含む景色を映し出すようになっていることを特徴としている。このように、凸面ミラーに車両のすべてのドアが映し出されるようにすることで、凸面ミラーによって車室内全体が映し出されるようにすることができる。したがって、撮影手段は、その向きを変更することなくこの凸面ミラーに映し出された車室内全体を撮影することができる。
請求項4に記載の発明では、制御部は、駆動手段に信号を出力すると共に駆動手段を駆動し、平面ミラーに運転席が映し出されると、撮影手段で撮影された運転席の画像のデータを入力するようになっており、運転席の画像のデータに基づき、運転者の視線の方向を示す値を求めると共に、視線の方向を示す値と制御部に設定される第1の基準値とを比較し、視線の方向を示す値が第1の基準値を超えるとき、運転者が脇見運転をしていると判定するようになっていることを特徴としている。
このように、平面ミラーを用いて運転者を撮影し、その撮影した運転者の画像のデータを用いて運転者の視線の方向を検出することで、運転者が脇見運転しているか否かを判定することができる。
請求項5に記載の発明では、制御部には、警報を行う警報部(4)が接続されており、制御部は、運転者が脇見運転をしていると判定したとき、警報部を介して警報を行うようになっていることを特徴としている。
このように、運転者が脇見運転をしていると判定したときには、警報部によって警報がなされるようにすることができる。これにより、運転者の脇見運転がなされている場合には、運転者に注意を促すことができ、脇見運転による事故を未然に防ぐようにすることができる。
請求項6に記載の発明では、制御部は、駆動手段に信号を出力すると共に駆動手段を駆動し、凸面ミラーに車室内が映し出されると、撮影手段で撮影された車室内の画像のデータを入力して記憶するようになっており、車室内の画像のデータとして前回記憶されたものと今回記憶されたものとを比較し、車室内に侵入者が存在するか否かを判定するようになっていることを特徴としている。
このように、凸面ミラーを用いて車室内を撮影し、今回撮影した画像と前回撮影した画像とを比較することによって画像の変化を調べることで車室内に侵入者が居るか否かを判定することができる。
請求項7に記載の発明では、制御部には、警報を行う警報部(4)が接続されており、制御部は、侵入者が存在すると判定したとき、警報部を介して警報を行うようになっていることを特徴としている。
このように、車室内に侵入者が居るときには、警報部によって警報がなされるようにすることができる。これにより、車室内に侵入者がいる場合には、侵入者に対して警報を行うことで侵入者に対して威嚇を行い、犯罪を防止することができる。
請求項8に記載の発明では、制御部には、無線通信によって車両の外部にデータを送信する通信部(17)が接続されており、制御部は、車両に備えられた加速度センサ(16)から入力される加速度の値と、制御部に設定される第2の基準値とを比較し、加速度の値が第2の基準値よりも大きいとき、駆動手段に信号を出力すると共に駆動手段を駆動し、凸面ミラーに車室内が映し出されると、撮影手段で撮影された車室内の画像のデータを入力すると共に、通信部を介して車室内の画像のデータを車両の外部に送信するようになっていることを特徴としている。
このように加速度の値が第2の基準値よりも大きいときには車両が急停車する事故が起こったと考えられる。したがって、このように事故が起こったと推定される場合に、車室内の様子を撮影することができる。そして、通信部によって、その車室内の様子を示す画像のデータを車両の外部に送信することができる。これにより、事故による車室内の様子を知らせることができ、送信された画像が事故に対する対応の補助として利用されるようにすることができる。
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
(第1実施形態)
以下、本発明の第1実施形態について図を参照して説明する。
以下、本発明の第1実施形態について図を参照して説明する。
図1は本発明の一実施形態に係る車載カメラ装置のブロック構成図であり、図2は車載カメラ装置を車両に搭載したときの設置例を示した図である。本実施形態における車載カメラ装置は、車両駐車中の防犯機能と、運転者の脇見運転防止機能を有するものであり、共通の構成要素において、車両駐車中の防犯および脇見運転の検出を行うことができるものである。また、この車載カメラ装置は、バッテリー等により給電されることで、常時稼働できるようになっている。
図1に示されるように、車載カメラ装置は、撮影部1と、情報入力部2と、制御部3と、警報部4とを備えて構成されている。
撮影部1は、車室内を撮影するものであり、カメラ5と、ミラー部6とを備えて構成されている。この撮影部1はカメラ5とミラー部6とが1つのケース内に収められた状態とされ、図2に示されるように、ルームミラー7の下部に設置される。
カメラ5は、例えば1秒間に15枚の画像を撮影するものである。撮影された画像のデータは、カメラ5から制御部3に出力される。なお、カメラ5は本発明の撮影手段に相当する。
ミラー部6は、車室内を撮影する撮影範囲を変更するものである。図3に、ミラー部の具体的な構成図を示す。図3は、図2に示されるように、ミラー部6がルームミラー7の下部に設置されるときに、ミラー部6を車両の天井側から見た図に相当する。図3に示されるように、ミラー部6は、ミラー8と、支持部材9と、モータ10とを備えて構成されている。なお、図3のミラー8は、ミラー8の鉛直方向の中心位置の断面に相当する。
ミラー8は、車室内の景色を映すものであり、平面鏡で構成される平面ミラー8aと、曲率半径Rを有する球体の側面の一部で構成される凸面形状の凸面ミラー8bとを備えて構成されている。そして、平面ミラー8aの一端に凸面ミラー8bの一端が結合された形態とされている。平面ミラー8aと凸面ミラー8bとが接合されている部位はカメラ5で撮影されないようになっているので、平面ミラー8aと凸面ミラー8bとが接合されていれば、その接合形態は問題にならない。
また、平面ミラー8aおよび凸面ミラー8bの景色が映し出される領域の面積は少なくとも水平方向に37mm、鉛直方向に28mm(以下、37mm×28mmと記す)以上とされ、曲率半径Rは30mmとされる。これらの値については、後で説明する。
凸面ミラー8bに映し出される景色について、図4を参照して説明する。図4は、車室内全体が撮影される範囲を説明するための図である。この図に示されるように、凸面ミラー8bを形成する曲率半径Rの球面において、その球面で構成される球の中心から球の球面に伸びる直線上にカメラ5のレンズの中心位置が設置された状態とされている。また、凸面ミラー8bは球面で構成されているので、図4は水平方向から見た場合と鉛直方向から見た場合のどちらの場合にも適用できる。
一般に、カメラ5から距離L1離れた位置における撮影範囲をD1、撮影範囲D1がカメラ5のレンズ中心に張る角度を示すカメラ画角を2θとする。したがって、カメラ5から距離L1だけ離れた位置における範囲D1を撮影することができるカメラのカメラ画角2θは、以下のように表される。
(数式1)
2θ=2tan―1(D1/2L1)
なお、このカメラ画角は用いられるカメラ5によって異なると共に、水平方向および鉛直方向のカメラ画角が必ずしも同じであるとは限らない。
2θ=2tan―1(D1/2L1)
なお、このカメラ画角は用いられるカメラ5によって異なると共に、水平方向および鉛直方向のカメラ画角が必ずしも同じであるとは限らない。
一方、凸面ミラー8bを利用することで、カメラ5が撮影できる撮影範囲を変更することができる。すなわち、図4に示されるように、凸面ミラー8bの反射面から距離L1離れた位置からカメラ5で凸面ミラー8bを撮影すると、凸面ミラー8bの反射面から距離L2離れた位置における撮影範囲D2を撮影することができる。なお、この距離L2は、図4では、凸面ミラー8bの反射面から撮影範囲D2までの距離とされているが、平面ミラー8aの反射面から平面ミラー8bで撮影できる撮影範囲までの距離としてもよい。
このように、凸面ミラー8bを利用して広い範囲を撮影するためには、カメラ画角2θを大きく、すなわちカメラ画角2θをm倍とすることができるような曲率半径を有する凸面ミラー8bでなければならない。
具体的には、凸面ミラー8bの反射面から距離L2離れた位置における撮影範囲がD2とされる。このような撮影範囲D2を撮影するためには、通常のカメラ画角2θをm倍した値(2mθ)としなければならない。したがって、カメラ画角2mθで撮影範囲D2を得るための凸面ミラー8bの曲率半径Rは幾何学的計算により以下のように算出される。
(数式2)
R=(2L1tanθ)/(tan(mθ)−tanθ)
したがって、凸面ミラー8bの曲率半径Rが上記条件を満たすように設定されることで、カメラ画角2θしか有しないカメラであっても、そのカメラ画角2θよりも大きいカメラ画角2mθでなければ撮影できない範囲(つまり範囲D2)を撮影することができることとなる。このようにして、広い範囲が撮影されるようになっている。以上がミラー8の構成である。
R=(2L1tanθ)/(tan(mθ)−tanθ)
したがって、凸面ミラー8bの曲率半径Rが上記条件を満たすように設定されることで、カメラ画角2θしか有しないカメラであっても、そのカメラ画角2θよりも大きいカメラ画角2mθでなければ撮影できない範囲(つまり範囲D2)を撮影することができることとなる。このようにして、広い範囲が撮影されるようになっている。以上がミラー8の構成である。
支持部材9はミラー6を支える柱状の部材であり、図3に示されるように、支持部材9の一端9aがミラー8を構成する平面ミラー8aのうち車室内の景色を映す面とは反対の面の中心位置に固定された状態となっている。また、モータ10は、支持部材9の他端9bに接続され、制御部3から入力される信号で駆動される。なお、モータ10は本発明の駆動手段に相当する。
ミラー8、支持部材9、およびモータ10の位置関係について図3を参照して具体的に説明する。平面ミラー8aの断面の中心位置をPcとし、支持部材9の他端9bに接続されたモータ10の回転中心軸をRcとする。また、ミラー8のうち凸面ミラー8bの断面の中心位置をCcとする。そして、位置Ccと位置Pcを結ぶ線分を二等分し、さらにこの線分と直交する直線上にモータ10の回転中心軸Rcが位置するようにする。
そして、中心Pcと中心Rcを結ぶ直線と中心Rcと中心Ccとを結ぶ直線とのなす角度θdが、モータ10が駆動される駆動角度となる。したがって、この駆動角度θdの角度範囲内でモータ10が駆動されることによって、カメラ5で撮影されるミラー8、すなわち平面ミラー8aと凸面ミラー8bとを切り替えることができる。このことについて、図5を参照して説明する。
図5は、ミラー8を介してカメラ5で車室内を撮影したときの撮影範囲を示した図であり、(a)はミラー8のうち平面ミラー8aで撮影できる撮影範囲、(b)はミラー8のうち凸面ミラー8bで撮影できる撮影範囲を示している。なお、図5に示されるカメラ5およびミラー部6の大きさは座席11と同等になっているが、わかりやすくするために大きく描かれているだけであって、実際には図2に示されるようにルームミラー7よりも小さい。
図5(a)に示されるように、平面ミラー8aは運転者を映し出すようにその向きが固定されている。すなわち、カメラ5の光軸は平面ミラー8aを介して座席11のうち運転席側に向けられている。このように、平面ミラー8aで車室内を映し出す場合、その撮影範囲は狭いといえる。このようにして、平面ミラー8aを運転席側の方向に向けることで、狭い範囲(運転者のみ)を映し出すことができる。
平面ミラー8aを介してカメラ5で運転者を撮影する場合、運転中における車両の揺れや、運転者の各種運転操作による運転者の頭部の動き等により、運転者が平面ミラー8aから外れてしまうことが考えられる。このような場合を想定して、平面ミラー8aで運転者のみを撮影する場合、運転者の顔の3倍程度の面積が撮影されることが望ましい。
具体的には、運転者の挙動を撮影できる撮影範囲は、例えば水平方向に600mm、鉛直方向に450mm(以下、600mm×450mmと記す)とされる。このような撮影範囲とすることで、運転中に運転者が動いたとしても、平面ミラー8aで運転者を映し出すことができる。また、平面ミラー8aから運転者までの距離L2は約600mmとされる。
一方、カメラ5と平面ミラー8aの反射面との距離L1を40mmとした場合、カメラ5から運転者の顔までの距離(L1+L2)は640mmとなる。この距離での撮影範囲を前記600mm×450mmにするためには、カメラ画角は上記カメラ画角の数式1を用いて計算することにより求められる。したがって、カメラ画角として、水平方向の角度が50°、鉛直方向の角度が38°(以下、50°×38°と記す)が必要とされ、本実施形態では、これを満たすカメラを用いている。
また、カメラ画角が50°×38°であるカメラを用いて距離L1(=40mm)離れた平面ミラー8aを撮影する場合、上記の数式1を用いて計算すると平面ミラー8aの撮影される範囲D1は37mm×28mmとなる。したがって、平面ミラー8aの面積は少なくとも37mm×28mm以上のものが用いられる。
図5(a)に示される状態からモータ10が駆動角度θdだけ駆動されると、カメラ5は、図5(b)に示されるように、凸面ミラー8bに映し出された車室内の景色を撮影することとなる。このように凸面ミラー8bで車室内が映し出される場合、座席11と図示しない後部座席、そして車両のすべてのドアを映し出すようになっている。このように、凸面ミラー8bに車両のすべてのドアが映し出されるようにすることで、カメラ5の向きを変更することなく凸面ミラー8bに映し出された車室内全体の景色が撮影される。
具体的には、例えば車室内幅を約1500mmとした場合、カメラ5の光軸が運転者に向けられた状態で、車室内全体を撮影するためには、カメラ画角は上記の数式1を用いることで水平方向の角度を120°、鉛直方向の角度を90°(以下、120°×90°と記す)とする必要がある。
本実施形態では、上記のように、カメラ画角が50°×38°であるカメラを用いているため、50°×38°であるカメラ画角を、120°×90°であるカメラ画角に変更する必要がある。これは、凸面ミラー8bによって解決される。すなわち、凸面ミラー8bを用いてカメラ画角(50°×38°)を2.4倍とすることで車室内全体を撮影するためのカメラ画角(120°×90°)を実現することができる。その場合の凸面ミラー8bの曲率半径Rは上記の数式2から求められ、R=30mmとされる。
また、カメラ画角が50°×38°であるカメラ5を用いて距離L1(=40mm)離れた凸面ミラー8bを撮影する場合であっても、凸面ミラー8bの撮影される範囲D1は平面ミラー8aの場合と同様に37mm×28mmである。したがって、凸面ミラー8bの面積は、平面ミラー8aの面積と同様に少なくとも37mm×28mm以上のものが用いられる。
以上が撮影部1の構成である。
情報入力部2は、運転者によって操作される対象物の信号を制御部3に出力するものであり、セキュリティ設定ボタン12と、イグニッションセンサ13とを備えて構成されている。
セキュリティ設定ボタン12は、防犯(セキュリティ)機能を設定するためのボタンであり、例えば車両のキーに備えられている。このセキュリティ設定ボタン12が操作されると、セキュリティを設定するための信号がキーから制御部3に発信される。
イグニッションセンサ13は、運転者によってイグニッションスイッチが操作されたことを検出するものである。イグニッションスイッチが操作されると、その操作がイグニッションセンサ13で検出され、イグニッションスイッチのオンまたはオフ信号が制御部3に出力される。
制御部3は、上記撮影部1から入力される画像のデータに基づき、車両の防犯または運転者の脇見運転を検出する機能を有するものであり、CPU14とメモリ15とを備えた周知のマイクロコンピュータである。この制御部3には、撮影部1から画像のデータが入力されるようになっており、この画像のデータはCPU14を介してメモリ15に格納され、メモリ15の容量に合わせて画像のデータが上書きされるようになっている。また、制御部3には上記セキュリティ設定ボタン12から送信される信号を受信するための図示しないアンテナが備えられており、セキュリティ設定ボタン12から受け取った信号が制御部3のCPU14に入力されるようになっている。
そして、制御部3は、制御部3に入力される画像のデータに基づき、車両に人が侵入したことや車両運行中に運転者が脇見運転していることを判定し、それらの旨を伝えるための信号を警報部4に出力する。
警報部4は、警告を行うものである。具体的には、車両運行中に運転者が脇見運転をしている場合に警告を発するものであり、図示しないスピーカーや液晶パネル等を備えて構成される。警報部4は、運転者の脇見運転が検出された場合、制御部3から警告信号を入力すると、スピーカーから音を出したり、液晶パネルに警告表示を行い、運転者に対して警告を行うようになっている。
また、警報部4は、車室内の侵入者が検出された場合、制御部3から警告信号を入力すると、スピーカーから音を出したり、車両のクラクションを鳴らす等を行い、侵入者に対して警告を行うようになっている。
次に、上記制御部3が行う防犯および脇見運転防止処理について、図6に示すフローチャートを参照して説明する。この処理は、制御部3のCPUに記録されているプログラム、すなわち、防犯および脇見運転防止プログラムにより実行されるものである。
この防犯および脇見運転防止プログラムは、車載カメラ装置にバッテリー等により電力供給がなされた状態で所定演算周期ごとに実行されるようになっている。つまり、このプログラムは、イグニッションスイッチがオンの状態である車両運行中と、イグニッションスイッチがオフの状態である車両駐車中のいずれの場合にも実行されるようになっている。また、以下の処理はカメラ5によって撮影された1枚1枚の画像について行われる。
ステップ100では、イグニッションスイッチがオンになっているか否かが判定される。具体的には、運転者によってイグニッションスイッチがオンにされると、その状態がイグニッションセンサ13によって検出され、イグニッションスイッチの状態がイグニッションセンサ13から制御部3に出力される。制御部3は、イグニッションセンサ13から入力されるイグニッションスイッチのオンまたはオフ状態を示した信号に基づき、イグニッションスイッチのオンまたはオフ状態を判定している。
ステップ100以降のステップでは、ステップ100でイグニッションスイッチがオンであると判定された場合、ステップ110に進み、イグニッションスイッチがオンである車両運行中においてステップ110〜130に示される脇見運転防止処理がなされる。また、イグニッションスイッチがオフであると判定された場合、イグニッションスイッチがオフである車両駐車中においてステップ140〜180に示される防犯処理がなされる。
ステップ110では、運転者が撮影されるように設定される。つまり、制御部3からミラー部6に信号が出力され、モータ10が駆動されて平面ミラー8aに映った運転者がカメラ5で撮影される状態とされる。
ステップ120では、運転者が撮影される。これは、ステップ110で平面ミラー8aに運転者が映し出される状態とされているので、平面ミラー8aに映し出された運転者の顔がカメラ5で撮影される。そして、撮影された画像のデータが制御部3に出力される。
ステップ130では、脇見運転が判定される。具体的には、図7に示されるフローチャートにしたがった処理がなされる。図7は、脇見運転判定処理の内容を表すフローチャートである。以下、ステップ130の内容について、図7に示されるフローチャートを参照して説明する。
ステップ131では、運転者の視線の方向である視線の角度の値が検出される。具体的には、運転者の視線の方向は、制御部3のCPU14に入力された画像のデータから運転者の眼球の位置と瞳孔の位置とが検出されることでなされる。
ステップ132では、運転者の視線の方向を示す値がCPU14に設定された第1の基準値を超えるか否かが判定される。つまり、運転者が脇見運転をしているか否かが判定される。そして、運転者の視線の方向を示す値が、脇見運転をしていると推定される視線の角度を示す第1の基準値を超えると判定されるとステップ133に進み、第1の基準値を超えないと判定されると脇見運転判定処理は終了し、図6に示すステップ100に戻ることとなる。
ステップ133では、ステップ132で運転者が脇見運転をしていると判定されたので、運転者に対して警告がなされる。具体的には、制御部3のCPU14から警告を行うための信号が警報部4に出力される。その信号を受け取った警報部4では、例えばスピーカーから警告音が発せられることや、車両に備えられた液晶パネルやスピードメータ等のディスプレイに警告表示がなされ、運転者に注意を促すようになっている。この後、図6に示すステップ100に戻ることとなる。
ステップ140では、セキュリティが設定されたか否かが判定される。例えば、運転者が車両から出てドアロックがされた後、キーに備えられたセキュリティ設定ボタン12が操作されると、キーからセキュリティを設定するための信号が制御部3に送信されるようになっている。したがって、この信号が制御部3に入力されるとセキュリティが設定されたと判定される。そして、セキュリティが設定されたと判定されるとステップ150に進み、設定されないと判定されるとこの防犯処理は終了する。
なお、この防犯処理が終了して、運転者が再度車両のエンジンが始動されると、再度防犯および脇見運転防止プログラムが開始されるようになっている。
ステップ150では、車室内が撮影されるように設定される。つまり、制御部3からミラー部6に信号が出力され、モータ10が駆動されて凸面ミラー8bに映った景色がカメラ5で撮影される状態とされる。
ステップ160では、車室内全体が撮影される。これは、ステップ150で凸面ミラー8bに車室内が映し出される状態とされているので、凸面ミラー8bに映し出された車室内の様子がカメラ5で撮影される。そして、撮影された画像のデータは、制御部3に出力される。
ステップ170では、車室内に人が侵入したか否かが判定される。具体的には、以下のようになされる。まず、カメラ5から入力される1枚の画像のデータにおいて、その画像の各画素に対応する画素値が得られる。この画素値は、画像の色彩を示す値とされる。
そして、メモリ15に記憶されている画像のデータに基づき、今回取得された画像の画素値と、前回取得された画像の画素値との差が求められ、その画素値の差を画像が入力される時間間隔で割ることで、画素の動きの速さを得ることができる。これは、時間差のある画像から画像中に存在する動きベクトルを算出する、いわゆるオプティカルフローとして知られている方法である。本実施形態では、この方法により、得られた画像から車室内の物体の動きを検出することで、車室内に人が侵入したか否かを判定している。
ステップ170で、車室内に人が侵入したと判定された場合、ステップ180に進み、人が侵入していないと判定された場合にはステップ100に戻る。ステップ100に戻った場合には、ステップ100でイグニッションスイッチがオンになったことが判定されなければ、既に設定されているステップ140、150の処理をスキップしてステップ160で再度車室内の様子が撮影されるようになっている。
ステップ180では、警告がなされる。具体的には、ステップ170で車室内に人が侵入したことが判定されたので、警告を行うための信号が制御部3から警報部4に出力される。そして、その信号を受け取った警報部4では、例えばスピーカーから警告音を発したり、車両のクラクションを鳴らす等により、侵入者に対して警告を行う。
また、制御部3は、警告を行うための信号を出力する際には、侵入者が検出された画像をメモリ15に保存するようになっている。このようにすることで、以後この画像を侵入者があったことの証拠として用いることができる。
そして警告がなされた後、ステップ100に戻ることとなる。そして、ステップ100に戻った場合には、ステップ100でイグニッションスイッチがオンになったことが判定されなければ、既に設定されているステップ140、150の処理をスキップしてステップ160で再度車室内の様子が撮影されるようになっている。
このようにして、車両が走行中と駐車中とで、平面ミラー8aと凸面ミラー8bとを使い分けることで、本実施形態では、防犯および脇見運転防止処理を行うことができることとなる。
上記のように、本実施形態では、平面ミラー8aおよび凸面ミラー8bで構成されるミラー8を用いて車室内の景色を映し出し、その映し出された景色をカメラ5で撮影するようにしている。このような場合、平面ミラー8aにより車室内の狭い範囲、凸面ミラー8bにより車室内の広い範囲を映し出すことができる。
そして、これら平面ミラー8aと凸面ミラー8bとのいずれか一方に映し出される景色をカメラ5にて撮影することにより、狭い範囲と広い範囲とのいずれか一方の範囲を撮影することができるため、その構成を複雑なものにする必要はなく、単純な構成とすることができる。
上記凸面ミラー8bは広い範囲の景色を映し出すようになっている。したがって、車室内の様々な部分を映し出すために、カメラ5の向きを変える必要はなく、容易に車室内全体を映し出すことができる。また、車室内の狭いまたは広い範囲は、制御部3によってモータ10が駆動されることで容易に変更される。
本実施形態では、平面ミラー8aを用いて運転者を撮影している。したがって、その撮影した運転者の画像のデータを用いて運転者の視線の方向を検出することで、運転者が脇見運転しているか否かを判定することができる。また、凸面ミラー8bを用いて車室内を撮影し、今回取得された画像と前回取得された画像とを比較して画像の変化を調べることで、車室内に侵入者が居るか否かを判定することができる。
このように、運転者の脇見運転または車室内への侵入者の存在があるときは、警報部4によって警報がなされるようにすることができる。これにより、運転者の脇見運転がなされている場合には、運転者に注意を促すことができる。さらに、車室内に侵入者がいる場合には、侵入者に対して警報を行うことで侵入者に対して威嚇を行い、犯罪を防止できる。
(第2実施形態)
本実施形態では、第1実施形態と異なる部分のみ説明する。図8は、本発明の第2実施形態における車載カメラ装置のブロック構成図である。本実施形態では、制御部3が運転者の脇見運転を検出する機能を有することは第1実施形態と同じであるが、車両事故時における車室内を撮影してその状況を報知する機能を有するエマージェンシー装置として用いられることが第1実施形態と異なる。
本実施形態では、第1実施形態と異なる部分のみ説明する。図8は、本発明の第2実施形態における車載カメラ装置のブロック構成図である。本実施形態では、制御部3が運転者の脇見運転を検出する機能を有することは第1実施形態と同じであるが、車両事故時における車室内を撮影してその状況を報知する機能を有するエマージェンシー装置として用いられることが第1実施形態と異なる。
したがって、本実施形態における車載カメラ装置は、車両事故時の連絡機能と、運転者の脇見運転防止機能を有するものであり、共通の構成要素において、車両事故の連絡および脇見運転の検出を行うことができるものである。
図8は、本実施形態に係る車載カメラ装置のブロック構成図である。本実施形態では、車載カメラ装置は、第1実施形態の車載カメラ装置に対して、情報入力部2に加速度センサ16が加えられ、制御部3の出力手段の1つとして通信部17が加えられたものとなっている。
加速度センサ16は、車両の急激な動きの変化を検出するものであり、例えば車体の所定の位置に設置されている。この加速度センサ16で検出された車両の加速度の値は、制御部3に出力される。
通信部17は、車両の状態を示す数値や車室内の画像のデータを車両の外部に送信するものであり、無線LANや携帯電話等の周知の通信手段が備えられている。具体的には、制御部3から外部に発信するためのデータが出力され、通信部17がそれらのデータを受け取ると、電波を発信して、そのデータを送信する。このように事故後の車室内の様子を示す画像を送信することで、車室内の様子を知らせることができ、またどのような対処をおこなったらよいかが適切に判断されることとなる。
本実施形態では、この車載カメラ装置を車両事故の連絡を行うエマージェンシー装置として用いるようにしているため、データの送信先として、例えば緊急連絡を取り扱うコールセンター等の緊急連絡先に事故の旨および車室内の様子を示す画像のデータが送信されるようになっている。
次に、上記制御部3が行う脇見運転防止およびエマージェンシー処理について、図9に示すフローチャートを参照して説明する。この処理は、制御部3のCPU14に記録されているプログラム、すなわち、脇見運転防止およびエマージェンシープログラムにより実行されるものである。
図9に示すステップ200では、第1実施形態のステップ100と同様の処理が行われる。そして、YESの場合にはステップ210に進み、NOの場合にはこのプログラムは終了する。なお、プログラム終了後にイグニッションスイッチがオンにされると、再度このプラグラムが実行されるようになっている。
ステップ210では、第1実施形態のステップ110と同様の処理がなされる。
ステップ220では、加速度の値が第2の基準値を超えたか否かが判定される。具体的には、加速度センサ16から車両の加速度の値が随時制御部3のCPU14に入力される。そして、その加速度の値と、CPU14に設定された第2の基準値とが比較される。この第2の基準値は、車両が通常運行する場合に生じる加速度の値よりも大きい値とされ、例えば車両と車両が衝突したときのような突発的な事故の際に得られる加速度の値に設定されている。
そして、加速度センサ16から入力される加速度の値が第2の基準値を超えたと判定されるとステップ250〜270に示すエマージェンシー処理が実行され、加速度の値が第2の基準値を超えないと判定されるとステップ230、240に示す脇見運転防止処理が実行される。
ステップ230、240は、第1実施形態のステップ120、130と同様の脇見運転防止処理がなされる。一方、そして、ステップ250〜270では、エマージェンシー処理がなされる。
ステップ250、260において、第1実施形態のステップ150、160と同様の処理が行われた後、ステップ270の処理が実行される。すなわち、上記ステップ260で撮影された車室内の様子を示す画像のデータが送信される。具体的には、事故が起こった旨の信号および画像のデータが通信部17に出力される。そして、その信号および画像のデータを受け取った通信部17は、電波を発信して事故が起こった旨の信号および画像のデータを緊急連絡先に送信する。画像のデータの送信が終了すると、本プログラムは終了する。
このように、加速度の値が第2の基準値よりも大きいとき、すなわち車両事故が起こったときに、車室内の様子を撮影することができる。そして、通信部17によって、その車室内の様子を示す画像のデータを例えばコールセンターに送信するようにして、事故による車室内の様子を知らせることができる。したがって、送信された画像が事故に対する対応の補助として利用されるようにすることができる。
(他の実施形態)
第1および第2実施形態では、狭い範囲と広い範囲とをそれぞれ撮影するために、平面ミラー8aと凸面ミラー8bとで構成されるミラー8を用いたが、ミラーを樹脂等の弾性部材で形成し、そのミラーの一部もしくは全部を押し出すことによって凸面ミラーが形成されるようにしても良い。その様子を図10に示す。
第1および第2実施形態では、狭い範囲と広い範囲とをそれぞれ撮影するために、平面ミラー8aと凸面ミラー8bとで構成されるミラー8を用いたが、ミラーを樹脂等の弾性部材で形成し、そのミラーの一部もしくは全部を押し出すことによって凸面ミラーが形成されるようにしても良い。その様子を図10に示す。
図10は、樹脂で形成された薄型の樹脂ミラー18によって、車室内が撮影される様子を示した図であり、(a)は運転者を撮影する場合、(b)は車室内全体を撮影する場合の樹脂ミラー18の様子を示す。
図10(a)に示されるように、樹脂ミラー18の鏡面の反対側の面には、加圧部材19が上下左右に移動可能となるようなスライダー機構が備えられている。狭い範囲を撮影する場合、スライダー機構を駆動させずに、図10(a)に示されるように、樹脂ミラー18に何も力を加えない状態とすることで、第1および第2実施形態の平面ミラー8aと同様に狭い範囲を撮影することができる。
また、図10(b)に示されるように、広い範囲を撮影する場合、図示しない制御部3から信号を出力してスライダー機構を駆動させ、加圧部材19で樹脂ミラー18を押し込む。したがって、押し込まれた樹脂ミラー18の一部が凸面形状になる。このようにして凸面ミラーを作り出すことで車室内全体である広い範囲を撮影することができる。
また、図3および図10に示されるミラー部6の構成は、一例を示すものである。したがって、ミラー部6の構成は上記図3および図10に限定されるものではなく、平面ミラー8aまたは凸面ミラー8bのいずれか一方に車室内の景色が映し出されるような構成を有するものであれば、どんな構成であっても良い。
第1および第2実施形態における平面ミラー8a、凸面ミラー8b、カメラ5の画角等は、車載カメラ装置が搭載される車両に合うように、自由に変更することができる。
第1および第2実施形態におけるミラー部6を上記のような構成としても、上記第1および第2実施形態と同様に狭い範囲または広い範囲を撮影することができる。
第1および第2実施形態の制御部3に備えられたメモリ15には、カメラ5で撮影された画像のデータが保存される。したがって、この画像のデータを外部に出力することができるように、制御部3には図示しない出力ポートが備えられている。例えば、この出力ポートにパーソナルコンピュータを接続することにより、メモリ15から容易に画像のデータを取り出すことができる。
また、第1および第2実施形態に用いられるカメラ5のシャッタータイミングに合わせてモータ10を高速動作させることにより、車室内の広い範囲と狭い範囲とを交互に撮影することができる。
第1および第2実施形態では、モータ10を駆動角度θdだけ駆動させることで、平面ミラー8aで狭い範囲を撮影するか、または、凸面ミラー8bで広い範囲を撮影するかを選択することができた。ここで、モータ10を所定の駆動角度で駆動させると、カメラ5の撮影範囲にミラー8が映らなくなる。これを利用して、カメラ5で直接車両前方の様子を撮影できるようにすることも可能となる。このように、車室内だけでなく、車両前方の様子も撮影することができる。
第1実施形態では、ステップ131において画像処理を行うことで運転者の視線の方向を検出しているが、例えば赤外光を利用することも可能である。このような場合、例えばインストルメントパネルに赤外光を発する光源を設け、この光源から赤外光を運転者の顔に照射する。赤外光は人の眼によく反射するため、撮影された画像から運転者の目における赤外光の反射位置と瞳孔位置と検出して、それらの位置から運転者の視線の方向を検出することができる。
また、第1実施形態では、ステップ170において今回取り込まれた画像と前回取り込まれた画像とを比較し、変化のある部分を見つけることにより侵入者が居るか否かを判定するようにしてもよい。
第1実施形態では、脇見運転防止処理および防犯処理がなされるようになっており、第2実施形態では、脇見運転防止処理およびエマージェンシー処理がなされるようになっている。これらの処理は、それぞれ第1および第2実施形態に限られるものではない。例えば、第1実施形態の防犯処理が第2実施形態でなされるようにしても良い。
なお、各図中に示したステップは、各種処理を実行する手段に対応するものである。
1…撮影部、2…情報入力部、3…制御部、4…警報部、5…カメラ、6…ミラー部、
7…ルームミラー、8…ミラー、8a…平面ミラー、8b…凸面ミラー、9…支持部材、
10…モータ、11…座席、12…セキュリティ設定ボタン、
13…イグニッションセンサ、14…CPU、15…メモリ、16…加速度センサ、
17…通信部。
7…ルームミラー、8…ミラー、8a…平面ミラー、8b…凸面ミラー、9…支持部材、
10…モータ、11…座席、12…セキュリティ設定ボタン、
13…イグニッションセンサ、14…CPU、15…メモリ、16…加速度センサ、
17…通信部。
Claims (8)
- 車両における室内に設けられ、平面鏡で構成される平面ミラー(8a)と所定の曲率半径を有する球の側面で構成される凸面ミラー(8b)とを有して構成されるミラー(8)と、前記平面ミラーまたは前記凸面ミラーのいずれか一方に車室内の景色が映し出されるように前記ミラーを駆動する駆動手段(10)とを備えたミラー部(6)と、
前記ミラー部よりも車両後方側に位置し、前記平面ミラーまたは前記凸面ミラーのいずれか一方に映し出された車室内の景色を撮影し、撮影した景色の画像のデータを出力する撮影手段(5)とを備えて構成される撮影部(1)と、
前記画像のデータが入力されると共にそのデータを格納し、前記ミラー部の前記駆動手段に信号を出力すると共に、前記平面ミラーまたは前記凸面ミラーのいずれか一方に前記景色が映し出されるように前記駆動手段を駆動する制御部(3)とを有していることを特徴とする車載カメラ装置。 - 前記平面ミラーは、運転席を映し出すようになっていることを特徴とする請求項1に記載の車載カメラ装置。
- 前記凸面ミラーは、車室内のすべてのドアを含む景色を映し出すようになっていることを特徴とする請求項1または2に記載の車載カメラ装置。
- 前記制御部は、前記駆動手段に信号を出力すると共に前記駆動手段を駆動し、前記平面ミラーに前記運転席が映し出されると、前記撮影手段で撮影された前記運転席の画像のデータを入力するようになっており、
前記運転席の画像のデータに基づき、前記運転者の視線の方向を示す値を求めると共に、前記視線の方向を示す値と前記制御部に設定される第1の基準値とを比較し、前記視線の方向を示す値が前記第1の基準値を超えるとき、前記運転者が脇見運転をしていると判定するようになっていることを特徴とする請求項1ないし3のいずれか1つに記載の車載カメラ装置。 - 前記制御部には、警報を行う警報部(4)が接続されており、
前記制御部は、前記運転者が脇見運転をしていると判定したとき、前記警報部を介して警報を行うようになっていることを特徴とする請求項4に記載の車載カメラ装置。 - 前記制御部は、前記駆動手段に信号を出力すると共に前記駆動手段を駆動し、前記凸面ミラーに前記車室内が映し出されると、前記撮影手段で撮影された前記車室内の画像のデータを入力して記憶するようになっており、
前記車室内の画像のデータとして前回記憶されたものと今回記憶されたものとを比較し、前記車室内に侵入者が存在するか否かを判定するようになっていることを特徴とする請求項1ないし5のいずれか1つに記載の車載カメラ装置。 - 前記制御部には、警報を行う警報部(4)が接続されており、
前記制御部は、前記侵入者が存在すると判定したとき、前記警報部を介して警報を行うようになっていることを特徴とする請求項6に記載の車載カメラ装置。 - 前記制御部には、無線通信によって前記車両の外部にデータを送信する通信部(17)が接続されており、
前記制御部は、車両に備えられた加速度センサ(16)から入力される加速度の値と、前記制御部に設定される第2の基準値とを比較し、前記加速度の値が前記第2の基準値よりも大きいとき、前記駆動手段に信号を出力すると共に前記駆動手段を駆動し、前記凸面ミラーに前記車室内が映し出されると、前記撮影手段で撮影された前記車室内の画像のデータを入力すると共に、前記通信部を介して前記車室内の画像のデータを前記車両の外部に送信するようになっていることを特徴とする請求項1ないし7のいずれか1つに記載の車載カメラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004014366A JP2005206025A (ja) | 2004-01-22 | 2004-01-22 | 車載カメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004014366A JP2005206025A (ja) | 2004-01-22 | 2004-01-22 | 車載カメラ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005206025A true JP2005206025A (ja) | 2005-08-04 |
Family
ID=34900177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004014366A Pending JP2005206025A (ja) | 2004-01-22 | 2004-01-22 | 車載カメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005206025A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007168570A (ja) * | 2005-12-21 | 2007-07-05 | Toyota Motor Corp | 車載カメラの制御装置 |
JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
JP2010283555A (ja) * | 2009-06-04 | 2010-12-16 | Ricoh Co Ltd | 車載カメラ装置 |
KR101407561B1 (ko) * | 2013-02-27 | 2014-06-16 | 한국오므론전장주식회사 | 차량 침입 감지 시스템 및 차량 침입 감지 방법 |
JP2018196066A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社ユピテル | ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム |
WO2021245730A1 (ja) * | 2020-06-01 | 2021-12-09 | 三菱電機株式会社 | 車載撮影制御装置、車載撮影制御システム、及び撮影制御方法 |
-
2004
- 2004-01-22 JP JP2004014366A patent/JP2005206025A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007168570A (ja) * | 2005-12-21 | 2007-07-05 | Toyota Motor Corp | 車載カメラの制御装置 |
JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
JP2010283555A (ja) * | 2009-06-04 | 2010-12-16 | Ricoh Co Ltd | 車載カメラ装置 |
KR101407561B1 (ko) * | 2013-02-27 | 2014-06-16 | 한국오므론전장주식회사 | 차량 침입 감지 시스템 및 차량 침입 감지 방법 |
JP2018196066A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社ユピテル | ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム |
JP7122729B2 (ja) | 2017-05-19 | 2022-08-22 | 株式会社ユピテル | ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム |
WO2021245730A1 (ja) * | 2020-06-01 | 2021-12-09 | 三菱電機株式会社 | 車載撮影制御装置、車載撮影制御システム、及び撮影制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4720386B2 (ja) | 運転支援装置 | |
JP5872764B2 (ja) | 画像表示システム | |
US7378949B2 (en) | Vehicle safety system and vehicle having the same | |
JP4935571B2 (ja) | 運転支援装置 | |
JP5093611B2 (ja) | 車両周辺確認装置 | |
JP5099451B2 (ja) | 車両周辺確認装置 | |
JP5370334B2 (ja) | 車載カメラシステム | |
JP2006193057A (ja) | 車両監視ユニットおよびルームミラー装置 | |
JP2005280526A (ja) | 車両用カメラ装置、これを用いた車両警報システム及び車両警報方法 | |
JP2005014686A (ja) | ドライブレコーダ | |
WO2017061376A1 (ja) | 車両用視認装置及び車両用視認制御プログラム | |
JP2008087651A (ja) | 車載カメラシステム | |
JP2010257249A (ja) | 車載防犯装置 | |
JP2010268343A (ja) | 撮影装置および撮影方法 | |
JP2016168877A (ja) | 車両用視認装置 | |
US20050275510A1 (en) | Vehicular anti-theft system capable of supplying images related to a vehicle status to an authorized driver | |
JP2020157938A (ja) | 車載監視制御装置 | |
JP4984521B2 (ja) | 車載カメラの制御装置 | |
US20190135191A1 (en) | Viewing device for vehicle | |
JP2003285687A (ja) | 車載全方位カメラ | |
TW201029866A (en) | Security system for an automotive vehicle | |
JP2005206025A (ja) | 車載カメラ装置 | |
KR20070007225A (ko) | 디스플레이 모듈이 구비된 사이드 미러 및 그 사이드미러가 장착된 자동차 | |
JP2018107573A (ja) | 車両用視認装置 | |
JP2017073040A (ja) | 車両用視認装置及び車両用視認制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090407 |