JP2019135579A - Mobile body control system, mobile body, and mobile body control method - Google Patents

Mobile body control system, mobile body, and mobile body control method Download PDF

Info

Publication number
JP2019135579A
JP2019135579A JP2018017985A JP2018017985A JP2019135579A JP 2019135579 A JP2019135579 A JP 2019135579A JP 2018017985 A JP2018017985 A JP 2018017985A JP 2018017985 A JP2018017985 A JP 2018017985A JP 2019135579 A JP2019135579 A JP 2019135579A
Authority
JP
Japan
Prior art keywords
moving body
virtual line
mobile body
control system
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018017985A
Other languages
Japanese (ja)
Other versions
JP6774445B2 (en
Inventor
越膳 孝方
Takamasa Echizen
孝方 越膳
修吾 宮本
Shugo Miyamoto
修吾 宮本
康夫 鳥本
Yasuo Torimoto
康夫 鳥本
貴成 松本
Takanari Matsumoto
貴成 松本
広明 川瀬
Hiroaki Kawase
広明 川瀬
樋口 誠
Makoto Higuchi
誠 樋口
佐藤 文明
Fumiaki Sato
文明 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Imasen Electric Industrial Co Ltd
Toho University
Original Assignee
Honda Motor Co Ltd
Imasen Electric Industrial Co Ltd
Toho University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, Imasen Electric Industrial Co Ltd, Toho University filed Critical Honda Motor Co Ltd
Priority to JP2018017985A priority Critical patent/JP6774445B2/en
Priority to CN201910100417.8A priority patent/CN110119141B/en
Publication of JP2019135579A publication Critical patent/JP2019135579A/en
Application granted granted Critical
Publication of JP6774445B2 publication Critical patent/JP6774445B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

To provide a mobile body control system capable of setting a travel route that ensures comfort for passengers.SOLUTION: A mobile body control system of the present invention includes imaging means (208) mounted on the mobile body (102), virtual line generation means (380) for generating a smooth virtual line for guiding the mobile body (102) along a predetermined travel route based on a captured image by the imaging means (208), and travel control means (390) for controlling the mobile body to travel along the virtual line.SELECTED DRAWING: Figure 3

Description

本発明は、移動体制御システム、移動体及び移動体制御方法に関する。   The present invention relates to a moving body control system, a moving body, and a moving body control method.

従来、連設した点字ブロックで形成される誘導経路を車両搭載の撮像手段にて撮像し、この撮像画像に基づいて車両の走行を制御する走行システムが知られている(例えば、特許文献1参照)。この走行システムによれば、撮像画像に基づいて車両を誘導することができるのでシステム自体を簡素化することができる。   2. Description of the Related Art Conventionally, there is known a traveling system in which a guidance route formed by continuous braille blocks is captured by an imaging unit mounted on a vehicle, and the traveling of the vehicle is controlled based on the captured image (see, for example, Patent Document 1). ). According to this traveling system, since the vehicle can be guided based on the captured image, the system itself can be simplified.

特開2017−102601号公報JP 2017-102601 A

ところで、このような走行システムにおいて、車両として車椅子を想定すると、特に屋内などのように狭い環境での走行移動を余儀なくされる。そのため、従来の走行システム(例えば、特許文献1参照)においては、走行中の車椅子が周囲とぶつからないように動き中心を走行可能経路の中心に位置させるべく、車椅子のふらつきを抑制したい要請があった。また、従来の走行システムと異なって点字ブロックを有しない環境においても適用できる走行システムが望まれていた。   By the way, in such a traveling system, when a wheelchair is assumed as a vehicle, traveling movement in a narrow environment such as indoors is unavoidable. For this reason, in a conventional traveling system (for example, see Patent Document 1), there is a request to suppress wheelchair wobble so that the center of movement is positioned at the center of the travelable route so that the traveling wheelchair does not collide with the surroundings. It was. In addition, unlike a conventional traveling system, a traveling system that can be applied even in an environment that does not have braille blocks has been desired.

そこで、本発明の課題は、走行中のふらつきを抑制でき、従来よりも幅広い使用環境適用性を有する移動体制御システム、移動体及び移動体制御方法を提供することにある。   Accordingly, an object of the present invention is to provide a mobile control system, a mobile body, and a mobile body control method that can suppress wobbling during traveling and have wider usage environment applicability than conventional ones.

前記課題を解決する本発明の移動体制御システムは、移動体に搭載される撮像手段と、前記移動体を所定の走行経路に沿って誘導する滑らかな仮想線を前記撮像手段による撮像画像に基づいて形成する仮想線生成手段と、前記仮想線に沿って前記移動体が走行するように制御する走行制御手段と、を有することを特徴とする。
また、本発明の移動体は、このような移動体制御システムを備えることを特徴とする。
また、本発明の移動体制御方法は、移動体を所定の走行経路に沿って誘導する滑らかな仮想線を撮像手段による撮像画像に基づいて生成する仮想線生成工程と、前記仮想線に沿って前記移動体が走行するように制御する走行制御工程と、を有することを特徴とする。
The moving body control system of the present invention that solves the above problems is based on an image captured by the image capturing means and an imaging means mounted on the moving body and a smooth virtual line that guides the moving body along a predetermined travel route. Imaginary line generating means formed in the above-mentioned manner, and travel control means for controlling the moving body to travel along the imaginary line.
Moreover, the mobile body of this invention is equipped with such a mobile body control system, It is characterized by the above-mentioned.
The moving body control method of the present invention includes a virtual line generation step of generating a smooth virtual line for guiding the moving body along a predetermined travel route based on a captured image by an imaging unit, and along the virtual line. And a travel control step for controlling the mobile body to travel.

本発明の移動体制御システム及びこれを備える移動体並びに移動体制御方法によれば、乗員の快適性を確保する走行経路を設定することができる。   According to the moving body control system, the moving body including the moving body control system, and the moving body control method of the present invention, it is possible to set a travel route that ensures the comfort of the passenger.

本発明の実施形態に係る移動体制御システムの概略図である。It is the schematic of the mobile body control system which concerns on embodiment of this invention. 本発明の実施形態に係る移動体の全体斜視図である。1 is an overall perspective view of a moving body according to an embodiment of the present invention. 本発明の実施形態に係る移動体制御システムのブロック図である。1 is a block diagram of a mobile control system according to an embodiment of the present invention. 本発明の実施形態に係る移動体制御システムが適用される領域を例示する地図である。It is a map which illustrates the field where the mobile control system concerning an embodiment of the present invention is applied. 本発明の実施形態に係る移動体制御システムによる移動体の走行制御処理の手順を示すフロー図である。It is a flowchart which shows the procedure of the traveling control process of the mobile body by the mobile body control system which concerns on embodiment of this invention. (a)から(c)は、移動体の撮像手段によって撮像された走行経路の撮像画像である。(A) to (c) are captured images of the travel route imaged by the moving body imaging means.

本発明を実施する形態(本実施形態)の移動体制御システム、移動体及び移動体制御方法について詳細に説明する。
以下では、移動体としての電動車椅子を所定の施設内にて現在位置から目的地まで誘導するものを例にとって本実施形態について詳細に説明する。
本実施形態の移動体制御システムは、電動車椅子に搭載される撮像手段による撮像画像に基づいて形成した滑らかな仮想線に沿って電動車椅子を走行させる構成となっている。
A mobile body control system, a mobile body, and a mobile body control method according to an embodiment of the present invention (this embodiment) will be described in detail.
Hereinafter, the present embodiment will be described in detail with reference to an example in which an electric wheelchair as a moving body is guided from a current position to a destination in a predetermined facility.
The moving body control system of the present embodiment is configured to run the electric wheelchair along a smooth virtual line formed based on an image captured by an imaging unit mounted on the electric wheelchair.

<移動体制御システムの全体構成>
概略図である図1に示すように、本実施形態に係る移動体制御システム100は、電動車椅子である移動体102と、移動体102の走行路104の周辺に設置された複数のビーコン送信機106及びAR(Augmented Reality:拡張現実)マーカ107と、サーバ110と、を有している。
また、移動体102は、サーバ110に対して通信可能に接続された移動体制御装置108と、この移動体制御装置108に対して通信可能に接続された端末210(図2参照)と、をさらに備えている。
<Overall configuration of mobile control system>
As shown in FIG. 1, which is a schematic diagram, a mobile body control system 100 according to this embodiment includes a mobile body 102 that is an electric wheelchair and a plurality of beacon transmitters installed around a traveling path 104 of the mobile body 102. 106, an AR (Augmented Reality) marker 107, and a server 110.
In addition, the mobile unit 102 includes a mobile unit control device 108 that is communicably connected to the server 110, and a terminal 210 (see FIG. 2) that is communicably connected to the mobile unit control device 108. It has more.

ビーコン送信機106は、少なくとも互いの電波の到達範囲が重なる範囲ではそれぞれ異なる周波数を有するように、その送信周波数及び設置位置が設定されている。
ARマーカ107は、走行路104を走行する移動体102に搭載される後記する撮像手段208(図3参照)によって、撮像可能なように、走行路104に沿って複数配置されている。
The beacon transmitter 106 has its transmission frequency and installation position set so that the beacon transmitter 106 has different frequencies at least in the range where the reach ranges of the radio waves overlap each other.
A plurality of AR markers 107 are arranged along the travel path 104 so that the AR marker 107 can be imaged by an imaging unit 208 (see FIG. 3) described later mounted on the moving body 102 traveling on the travel path 104.

本実施形態の移動体制御システム100では、撮像手段208(図3参照)による撮像画像の画角内にARマーカ107が映り込むと、端末210の表示手段214(図3参照)に映し出される撮像画像に重ね合わせて、目的地に向かう走行経路が映し出されるようになっている。また、ARマーカ107の絶対位置(座標)は、予めサーバ110に記憶されている。これによりサーバ110は、後記するように、ARマーカ107の撮像画像に基づいて、これを撮像した移動体102の現在位置を特定する。   In the mobile control system 100 according to the present embodiment, when the AR marker 107 is reflected within the angle of view of the image captured by the imaging unit 208 (see FIG. 3), the image is displayed on the display unit 214 (see FIG. 3) of the terminal 210. A travel route toward the destination is projected on top of the image. The absolute position (coordinates) of the AR marker 107 is stored in the server 110 in advance. Thereby, as will be described later, the server 110 specifies the current position of the moving body 102 that captured the image based on the captured image of the AR marker 107.

ちなみに、このARマーカ107は、予め定めた文字、図形、記号又はこれらの組み合わせで形成される標識で構成することができる。また、ARマーカ107は、周辺の椅子、机、置物などの調度品の外形、色彩や、特徴的な路面地模様などの視覚的要素で構成することもできる。また、ARマーカ107は、壁、床及び天井で仕切られる特徴的な空間形状(通路形状)で構成することもできる。そして、このようなARマーカは、後記するビーコンとともに、本実施形態での位置伝達標識を構成することができる。   Incidentally, the AR marker 107 can be constituted by a sign formed by a predetermined character, figure, symbol, or a combination thereof. The AR marker 107 can also be configured with visual elements such as the outer shape, color, and characteristic road surface pattern of furniture such as a chair, desk and figurine around. The AR marker 107 can also be configured with a characteristic space shape (passage shape) partitioned by a wall, a floor, and a ceiling. And such AR marker can comprise the position transmission label | marker in this embodiment with the beacon mentioned later.

移動体制御装置108は、ビーコン送信機106や移動体102に搭載される後記の端末210(図3参照)から出力される各種情報データをサーバ110へ送信する。また、移動体制御装置108は、サーバ110から目標車速及び目標操舵角の情報を受信して移動体102の走行制御を行う。
これら移動体制御装置108及びサーバ110については後に詳しく説明する。
The mobile body control device 108 transmits various information data output from a terminal 210 (see FIG. 3) described later mounted on the beacon transmitter 106 and the mobile body 102 to the server 110. In addition, the mobile body control device 108 receives information on the target vehicle speed and the target steering angle from the server 110 and performs traveling control of the mobile body 102.
These mobile control device 108 and server 110 will be described in detail later.

図2は、移動体102(電動車椅子)の全体斜視図である。
図2に示すように、移動体102(電動車椅子)は、両側のそれぞれに駆動輪103a,103a(図中、一方の駆動輪は不図示)を有する車椅子本体103と、各駆動輪103a,103aを独立に駆動するアクチュエータ204と、を有している。また、車椅子本体103には、前記の移動体制御装置108が取り付けられている。
FIG. 2 is an overall perspective view of the moving body 102 (electric wheelchair).
As shown in FIG. 2, the moving body 102 (electric wheelchair) includes a wheelchair body 103 having driving wheels 103a and 103a (one driving wheel is not shown in the figure) on both sides, and each driving wheel 103a and 103a. And an actuator 204 that independently drives the motor. The moving body control device 108 is attached to the wheelchair body 103.

また、車椅子本体103のフレーム103bには、支持アーム103cを介して端末ホルダ103dが取り付けられている。この端末ホルダ103dには、端末210が着脱自在に取り付けられている。
なお、図示しないが、各駆動輪103a,103aには、所定の回転角だけ回転するごとに信号パルス(回転信号パルス)を出力する回転角センサが配置されている。この回転角センサは、移動体制御装置108の後記するオドメトリ情報処理ユニット360(図3参照)と連携する。
A terminal holder 103d is attached to the frame 103b of the wheelchair body 103 via a support arm 103c. A terminal 210 is detachably attached to the terminal holder 103d.
Although not shown, each of the driving wheels 103a and 103a is provided with a rotation angle sensor that outputs a signal pulse (rotation signal pulse) each time it rotates by a predetermined rotation angle. This rotation angle sensor cooperates with an odometry information processing unit 360 (see FIG. 3) which will be described later.

図3は、移動体制御システム100(図1参照)のブロック図である。
移動体制御システム100は、前記のように、端末210と、移動体制御装置108と、サーバ110と、を主に備えて構成されている。
FIG. 3 is a block diagram of the mobile control system 100 (see FIG. 1).
As described above, the mobile control system 100 is mainly configured by including the terminal 210, the mobile control device 108, and the server 110.

≪端末≫
図3に示すように、端末210(移動端末)は、移動体制御装置108と通信する通信器200と、この端末210に対して目的地などの情報を入力する入力手段212と、移動体102の前方の環境を撮像する撮像手段208と、後記する仮想線14(図6(c)参照)などを表示する表示手段214と、移動体102が位置するポイントでの地磁気を測定して出力する地磁気検出手段216と、を備えている。
≪Terminal≫
As shown in FIG. 3, the terminal 210 (mobile terminal) includes a communication device 200 that communicates with the mobile control device 108, an input unit 212 that inputs information such as a destination to the terminal 210, and the mobile body 102. Imaging means 208 for imaging the environment in front of the display, display means 214 for displaying a virtual line 14 (see FIG. 6C) to be described later, and the geomagnetism at the point where the moving body 102 is located and output. And a geomagnetism detecting means 216.

本実施形態での端末210は、移動端末としてのタブレットを想定しているが、後記に詳しく説明するように移動体制御装置108との間で相互通信を行うことができれば特に制限はない。したがって、端末210は、例えばスマートホン、ラップトップパソコンなどであってもよい。なお、この端末210については、移動体制御装置108との関係で後にさらに詳しく説明する。   The terminal 210 in the present embodiment is assumed to be a tablet as a mobile terminal, but there is no particular limitation as long as mutual communication can be performed with the mobile control device 108 as will be described in detail later. Therefore, the terminal 210 may be, for example, a smart phone or a laptop personal computer. The terminal 210 will be described in more detail later in relation to the mobile control device 108.

≪移動体制御装置≫
移動体制御装置108は、通信器300と、処理装置304と、走行可能領域抽出手段370と、仮想線生成手段380と、走行制御手段390と、を主に備えて構成されている。
通信器300は、端末210とサーバ110との間の通信を行う。
≪Moving object control device≫
The moving body control device 108 mainly includes a communication device 300, a processing device 304, a travelable area extraction unit 370, a virtual line generation unit 380, and a travel control unit 390.
The communication device 300 performs communication between the terminal 210 and the server 110.

本実施形態での処理装置304は、入力した前記の各種情報データを、通信器300を介してサーバ110に向けて出力する。
処理装置304は、具体的には、入力情報処理ユニット310と、ビーコン処理ユニット320と、ARマーカ処理ユニット340と、地磁気処理ユニット350と、画像処理ユニット330と、オドメトリ情報処理ユニット360と、を主に備えて構成されている。
The processing device 304 in this embodiment outputs the input various information data to the server 110 via the communication device 300.
Specifically, the processing device 304 includes an input information processing unit 310, a beacon processing unit 320, an AR marker processing unit 340, a geomagnetic processing unit 350, an image processing unit 330, and an odometry information processing unit 360. It is mainly prepared for.

入力情報処理ユニット310は、端末210の入力手段212と連携している。
具体的には、ユーザによって入力手段212の所定のスイッチ(図示省略)がオンになったことを検知した入力情報処理ユニット310は、各スイッチに応じて、後記する走行制御開始要求信号、目的地情報などを識別IDとともにサーバ110に送信する。
The input information processing unit 310 is linked with the input unit 212 of the terminal 210.
Specifically, the input information processing unit 310 that detects that a predetermined switch (not shown) of the input unit 212 is turned on by the user is sent to the travel control start request signal, destination described later, according to each switch. Information and the like are transmitted to the server 110 together with the identification ID.

また、入力情報処理ユニット310は、ユーザの入力手段212を介しての選択によって、後記のように、サーバ110が、ビーコン、AR(Augmented Reality:拡張現実)マーカ、及び地磁気のうちのどの要素に基づいて移動体102の経路決定を行うかの要求信号を、サーバ110に送信する。   In addition, the input information processing unit 310 can select which element of the beacon, AR (Augmented Reality) marker, and geomagnetism, as described later, according to the selection made by the user via the input unit 212. Based on this, a request signal for determining the route of the mobile unit 102 is transmitted to the server 110.

ちなみに、本実施形態の移動体制御システム100においては、後記のように、ビーコン、AR(Augmented Reality:拡張現実)マーカ、及び地磁気のうちのいずれか1つの要素で経路決定を行う構成を想定している。しかしながら、本実施形態では、2以上の要素を選択して最良の経路決定を設定するようにサーバ110を構成とすることもできる。   Incidentally, in the mobile control system 100 of the present embodiment, a configuration is assumed in which a route is determined by any one element of a beacon, an AR (Augmented Reality) marker, and a geomagnetism as described later. ing. However, in this embodiment, the server 110 may be configured to select two or more elements and set the best route determination.

ビーコン処理ユニット320は、移動体102(図1参照)の周囲の各ビーコン送信機106(図1参照)から受信したビーコン電波の受信強度を測定する。
ビーコン処理ユニット320は、この測定値と、ビーコン電波の周波数とを含むビーコン受信情報を、通信器300を介してサーバ110へ送信する。
The beacon processing unit 320 measures the reception intensity of the beacon radio wave received from each beacon transmitter 106 (see FIG. 1) around the moving body 102 (see FIG. 1).
The beacon processing unit 320 transmits beacon reception information including the measurement value and the frequency of the beacon radio wave to the server 110 via the communication device 300.

なお、ビーコン処理ユニット320によるビーコン電波の受信は、ビーコン処理ユニット320に内蔵されるビーコン受信器(図示省略)を介して行われる。また、ビーコン電波の受信強度は、一定の時間間隔で、ビーコン電波ごと(すなわち、受信したビーコン電波の周波数ごと)に測定される。そして、ビーコン処理ユニット320は、このようなビーコン受信情報を一定の時間間隔でサーバ110へ送信する。   The beacon processing unit 320 receives beacon radio waves via a beacon receiver (not shown) built in the beacon processing unit 320. The reception intensity of the beacon radio wave is measured for each beacon radio wave (that is, for each frequency of the received beacon radio wave) at regular time intervals. The beacon processing unit 320 transmits such beacon reception information to the server 110 at regular time intervals.

画像処理ユニット330は、端末210の撮像手段208によって取得した撮像画像のデータを識別IDとともにサーバ110に送信する。また、この撮像画像のデータは、以下で説明するARマーカ処理ユニット340、走行可能領域抽出手段370及び仮想線生成手段380と共有する。   The image processing unit 330 transmits data of the captured image acquired by the imaging unit 208 of the terminal 210 to the server 110 together with the identification ID. The captured image data is shared with an AR marker processing unit 340, a travelable area extraction unit 370, and a virtual line generation unit 380 described below.

ARマーカ処理ユニット340は、端末210の撮像手段208による撮像画像からこれに映り込んだARマーカ107(図1参照)を抽出する。ARマーカ処理ユニット340は、抽出したARマーカ107の撮像画像のデータを識別IDとともにサーバ110に送信する。   The AR marker processing unit 340 extracts the AR marker 107 (see FIG. 1) reflected in the image captured by the imaging unit 208 of the terminal 210. The AR marker processing unit 340 transmits the extracted image data of the AR marker 107 together with the identification ID to the server 110.

地磁気処理ユニット350は、端末210の地磁気検出手段216で検出された地磁気情報(磁気方位、磁束密度など)を入力し、この検出された地磁気情報を識別IDとともにサーバ110に送信する。ちなみに、本実施形態での地磁気検出手段216は、前記のタブレットなどの端末210にオプションで搭載するものを想定している。このような地磁気検出手段216は、端末210のOS(オペレーティングシステム)が公開しているAPI(Application Programming Interface)を活用する磁気方位センサを構築することで容易に実現することができる。   The geomagnetism processing unit 350 inputs the geomagnetic information (magnetic orientation, magnetic flux density, etc.) detected by the geomagnetism detecting means 216 of the terminal 210, and transmits the detected geomagnetic information together with the identification ID to the server 110. Incidentally, it is assumed that the geomagnetism detection means 216 in this embodiment is optionally mounted on the terminal 210 such as the tablet. Such a geomagnetism detecting means 216 can be easily realized by constructing a magnetic direction sensor utilizing an API (Application Programming Interface) published by the OS (operating system) of the terminal 210.

オドメトリ情報処理ユニット360は、移動体102のアクチュエータ204に連動する各駆動輪103a,103a(図2参照)に配置された前記の回転角センサ(図示省略)からの回転信号パルスを検出する。オドメトリ情報処理ユニット360は、回転信号パルスの発生数に基づいて換算される駆動輪103a,103aの個別の走行距離を、オドメトリ情報としてサーバ110へ送信する。   The odometry information processing unit 360 detects a rotation signal pulse from the rotation angle sensor (not shown) disposed on each of the drive wheels 103a and 103a (see FIG. 2) linked to the actuator 204 of the moving body 102. The odometry information processing unit 360 transmits the individual travel distances of the drive wheels 103a and 103a, which are converted based on the number of rotation signal pulses, to the server 110 as odometry information.

走行可能領域抽出手段370は、端末210の撮像手段208による撮像画像から移動体102の走行が可能な領域を抽出する。
具体的には、走行可能領域抽出手段370は、撮像画像に基づく画像判定によって、床面と壁面との境界線を算出し、この境界線よりも床面側を走行可能領域として設定する。この際、撮像画像内に移動体102の走行を妨げる障害物が映り込んでいる場合には、画像判定によって、障害物を避けるように走行可能領域が設定される。
The travelable region extracting unit 370 extracts a region in which the mobile object 102 can travel from the image captured by the image capturing unit 208 of the terminal 210.
Specifically, the travelable area extracting unit 370 calculates a boundary line between the floor surface and the wall surface by image determination based on the captured image, and sets the floor surface side of the boundary line as a travelable area. At this time, if an obstacle that hinders the traveling of the moving body 102 is reflected in the captured image, the travelable area is set by the image determination so as to avoid the obstacle.

仮想線生成手段380は、前記の走行可能領域内で、仮想線14(図6(c)参照)を生成する。この仮想線14は、サーバ110から送信される後記の走行指令と、端末210の撮像手段208から送信される撮像画像とに基づいて生成される。仮想線生成手段380は、後記するように、例えばベジェ曲線法によって生成される。   The virtual line generation means 380 generates the virtual line 14 (see FIG. 6C) within the travelable area. The virtual line 14 is generated based on a travel command described later transmitted from the server 110 and a captured image transmitted from the imaging unit 208 of the terminal 210. As will be described later, the virtual line generation unit 380 is generated by, for example, the Bezier curve method.

走行制御手段390は、仮想線14(図6(c)参照)に沿って移動体102が走行するように、各駆動輪103a,103a(図2参照)を独立に駆動するアクチュエータ204を制御する。   The traveling control means 390 controls the actuators 204 that independently drive the driving wheels 103a and 103a (see FIG. 2) so that the moving body 102 travels along the virtual line 14 (see FIG. 6C). .

以上のような移動体制御装置108は、CPU(Central Processing Unit)等のプロセッサ、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)などで構成することができる。   The mobile control device 108 as described above includes a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory) in which a program is written, a RAM (Random Access Memory) for temporary storage of data, and the like. be able to.

≪サーバ≫
図3に示すように、サーバ110は、通信器400と、処理装置402と、記憶装置404と、を備えている。本実施形態でのサーバ110としては、例えば、無線ネットワークを介して移動体制御装置108と接続されるクラウドサーバ、移動体102の走行路104を備える施設内のサーバなどが挙げられる。
<< Server >>
As illustrated in FIG. 3, the server 110 includes a communication device 400, a processing device 402, and a storage device 404. Examples of the server 110 in the present embodiment include a cloud server connected to the mobile control device 108 via a wireless network, and a server in a facility that includes the travel path 104 of the mobile 102.

通信器400は、サーバ110と、移動体制御装置108との間の通信を行う。
記憶装置404は、例えば、ハードディスク装置、DVD、CDROMなどのコンピュータ読み取り可能な読み取り装置で構成されている。
この記憶装置404は、地図情報データベース450と、ARマーカ情報データベース451と、ビーコン情報データベース452と、地磁気マップ情報データベース453と、で主に構成されている。
The communication device 400 performs communication between the server 110 and the mobile control device 108.
The storage device 404 is configured by a computer-readable reading device such as a hard disk device, a DVD, or a CDROM.
The storage device 404 mainly includes a map information database 450, an AR marker information database 451, a beacon information database 452, and a geomagnetic map information database 453.

地図情報データベース450には、移動体102(図1参照)の走行路104(図1参照)のルート、形状、及び走行路104の周辺の様子を示す地図が記憶されている。   The map information database 450 stores a map showing the route and shape of the travel path 104 (see FIG. 1) of the moving body 102 (see FIG. 1) and the surroundings of the travel path 104.

ARマーカ情報データベース451には、各ARマーカ107(図1参照)の埋め込み情報と、設置位置座標(例えば緯度・軽度)とが記憶されている。   The AR marker information database 451 stores embedding information of each AR marker 107 (see FIG. 1) and installation position coordinates (for example, latitude and lightness).

ビーコン情報データベース452には、各ビーコン送信機106(図1参照)の送信周波数と、設置位置座標(例えば緯度・経度)とが記憶されている。また、ビーコン情報データベース452には、地図情報データベース450に記憶される地図に対応させて、各地図を、例えば100×100の桝目に区画したそれらの桝目ごとの各ビーコン送信機106(図1参照)のビーコン情報(ビーコン電波の受信強度及び周波数)が記憶されている。ちなみに、各地図のビーコン情報は、予め桝目ごとに測定されたものである。これらの桝目ごとのビーコン情報は相互に異なっており、ビーコン情報が特定されることでこれを測定した地図上の位置が明らかになる。なお、地図の区画は、前記の100×100に限定されるものではなく、地図の大きさに応じて適宜に設定することができる。   The beacon information database 452 stores the transmission frequency of each beacon transmitter 106 (see FIG. 1) and installation position coordinates (for example, latitude and longitude). Further, in the beacon information database 452, each beacon transmitter 106 (see FIG. 1) for each of the cells divided into 100 × 100 cells, for example, corresponding to the map stored in the map information database 450. ) Beacon information (reception intensity and frequency of beacon radio waves) is stored. By the way, the beacon information of each map is measured in advance for each cell. The beacon information for each cell is different from each other, and the position on the map where the beacon information is measured becomes clear by identifying the beacon information. The map section is not limited to the 100 × 100, and can be set as appropriate according to the size of the map.

地磁気マップ情報データベース453には、地図情報データベース450に記憶される地図に対応させて、各地図を、例えば100×100の桝目に区画したそれらの桝目ごとの地磁気が記憶されている。ちなみに、各地図の地磁気は、予め桝目ごとに測定されたものである。これらの桝目ごとの地磁気は相互に異なっており、地磁気が特定されることでこれを測定した地図上の位置が明らかになる。なお、地図の区画は、前記の100×100に限定されるものではなく、地図の大きさに応じて適宜に設定することができる。   The geomagnetism map information database 453 stores the geomagnetism for each of the squares obtained by dividing each map into, for example, 100 × 100 squares, corresponding to the maps stored in the map information database 450. By the way, the geomagnetism of each map is measured in advance for each square. The geomagnetism of each square is different from each other, and the location on the map where the geomagnetism is measured becomes clear by identifying the geomagnetism. The map section is not limited to the 100 × 100, and can be set as appropriate according to the size of the map.

本実施形態での処理装置402は、移動体制御装置108が送信した各種情報データを、通信器400を介して入力する。また、処理装置402は、入力した各種情報データに基づいて記憶装置404を参照し、移動体102が現在位置から目的地まで移動する経路を決定する。そして、処理装置402は、決定した経路を、通信器400を介して移動体制御装置108に送信する。   The processing device 402 in this embodiment inputs various information data transmitted by the mobile control device 108 via the communication device 400. Further, the processing device 402 refers to the storage device 404 based on the various information data that has been input, and determines a route along which the moving body 102 moves from the current position to the destination. Then, the processing device 402 transmits the determined route to the mobile control device 108 via the communication device 400.

処理装置402は、具体的には、現在位置特定ユニット410と、目的地特定ユニット412と、経路決定ユニット414と、を備えている。   Specifically, the processing device 402 includes a current position specifying unit 410, a destination specifying unit 412, and a route determining unit 414.

現在位置特定ユニット410は、移動体制御装置108からの各種情報データに基づいて記憶装置404を参照し、移動体102が現在位置を算出する。
具体的には、移動体制御装置108からの情報データが、移動体102が現在位置で撮像したARマーカ107の撮像画像のデータである場合には、現在位置特定ユニット410は、記憶装置404のARマーカ情報データベース451を参照する。これにより現在位置特定ユニット410は、移動体102の現在位置である撮像画像のARマーカ107(図1参照)の座標を特定する。
The current position specifying unit 410 refers to the storage device 404 based on various information data from the moving body control device 108, and the moving body 102 calculates the current position.
Specifically, when the information data from the moving body control device 108 is data of the captured image of the AR marker 107 captured by the moving body 102 at the current position, the current position specifying unit 410 stores the data in the storage device 404. The AR marker information database 451 is referred to. Thereby, the current position specifying unit 410 specifies the coordinates of the AR marker 107 (see FIG. 1) of the captured image that is the current position of the moving body 102.

また、移動体制御装置108からの情報データが、ビーコン情報(ビーコン電波の受信強度及び周波数)である場合には、現在位置特定ユニット410は、記憶装置404のビーコン情報データベース452を参照する。これにより現在位置特定ユニット410は、ビーコン情報に対応する地図上の移動体102の現在位置を特定する。   Further, when the information data from the mobile control device 108 is beacon information (reception intensity and frequency of beacon radio waves), the current position specifying unit 410 refers to the beacon information database 452 of the storage device 404. Thereby, the current position specifying unit 410 specifies the current position of the moving body 102 on the map corresponding to the beacon information.

また、移動体制御装置108からの情報データが、地磁気情報である場合には、現在位置特定ユニット410は、記憶装置404の地磁気マップ情報データベース453を参照する。これにより現在位置特定ユニット410は、地磁気情報に対応する地磁気マップ上の移動体102の現在位置を特定する。   Further, when the information data from the mobile control device 108 is geomagnetic information, the current position specifying unit 410 refers to the geomagnetic map information database 453 of the storage device 404. Thereby, the current position specifying unit 410 specifies the current position of the moving body 102 on the geomagnetic map corresponding to the geomagnetic information.

目的地特定ユニット412は、移動体制御装置108からの前記の目的地情報に基づいて地図情報データベース450を参照し、移動体102の目的地を特定する。   The destination specifying unit 412 refers to the map information database 450 based on the destination information from the mobile body control device 108 and specifies the destination of the mobile body 102.

経路決定ユニット414は、現在位置特定ユニット410と目的地特定ユニット412とが特定した現在位置と目的地とに基づいて、記憶装置404の地図情報データベース450を参照し、現在位置から目的地に至る経路を決定する。この経路決定は、一般に公開されている地図の経路検索に使用される公知のアルゴリズムを使用することができる。
そして、経路決定ユニット414で決定された経路は、通信器400を介して移動体制御装置108に送信される。
The route determination unit 414 refers to the map information database 450 of the storage device 404 on the basis of the current position and the destination specified by the current position specifying unit 410 and the destination specifying unit 412 to reach the destination from the current position. Determine the route. For this route determination, a publicly known algorithm used for route search of a publicly available map can be used.
Then, the route determined by the route determination unit 414 is transmitted to the mobile control device 108 via the communication device 400.

以上のような処理装置402は、CPU(Central Processing Unit)等のプロセッサ、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(RandomAccess Memory)などで構成することができる。   The processing device 402 as described above can be configured by a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory) in which a program is written, a RAM (Random Access Memory) for temporary storage of data, and the like. .

<移動体制御システムの動作>
次に、移動体制御システム100の制御工程を示しながら動作について説明する。
図4は、本実施形態に係る移動体制御システム100が適用される領域を例示する地図である。図5は、本実施形態に係る移動体制御システム100による移動体102(図1参照)の走行制御処理の手順を示すフロー図である。
<Operation of mobile control system>
Next, the operation will be described while showing the control process of the moving body control system 100.
FIG. 4 is a map illustrating an area to which the moving body control system 100 according to this embodiment is applied. FIG. 5 is a flowchart showing the procedure of the traveling control process of the moving body 102 (see FIG. 1) by the moving body control system 100 according to the present embodiment.

図4に示すように、移動体制御システム100が適用される一例としての領域は、1F(一階)の領域αと、2F(2階)の領域βとで構成されている。
図4中の「現在位置A」は、移動体102の出発地を意味している。そして、この図4に示す例では、1F(一階)の現在位置Aからエレベータを介して2F(2階)の目的地Bに向かう経路R1からR7を移動体制御システム100が設定する場合を想定している。このような経路R1からR7は、図4中のビーコン、ARマーカ、及び/又は図4中、図示しない地磁気に基づいて以下に説明するように移動体制御システム100が決定する。
As shown in FIG. 4, an example area to which the moving body control system 100 is applied includes a 1F (first floor) area α and a 2F (second floor) area β.
“Current position A” in FIG. 4 means the departure place of the moving body 102. In the example shown in FIG. 4, the mobile body control system 100 sets a route R <b> 1 to R <b> 7 from the current position A on the first floor (first floor) to the destination B on the second floor (second floor) via the elevator. Assumed. Such a path | route R1-R7 is determined by the mobile body control system 100 so that it may demonstrate below based on the beacon in FIG. 4, an AR marker, and / or the geomagnetism which is not shown in FIG.

図5に示すように、移動体制御システム100の制御工程は、サーバ110によるステップS501からステップS503の経路決定工程と、移動体制御装置108によるステップS505及びステップS506の仮想線生成工程と、移動体制御装置108によるステップS507の移動体102の走行制御工程と、を有している。   As shown in FIG. 5, the control process of the mobile body control system 100 includes a route determination process from step S501 to step S503 by the server 110, a virtual line generation process in steps S505 and S506 by the mobile body control apparatus 108, and a movement And the travel control step of the moving body 102 in step S507 by the body control device 108.

経路決定工程においては、サーバ110は、前記のように、移動体102の現在位置を特定する(ステップS501)。なお、前記した図4中の「現在位置A」は、移動体102の出発地を意味しているが、ステップS501における現在位置は、出発地(出発地点)と相違することもある。つまり、移動体102が現実の出発地から所定の経路を進んだ後の現在位置は、前記の出発地(出発地点)を意味しない。   In the route determination step, the server 110 specifies the current position of the moving body 102 as described above (step S501). Note that “current position A” in FIG. 4 described above means the departure place of the moving body 102, but the current position in step S501 may be different from the departure place (departure point). That is, the current position after the moving body 102 has traveled a predetermined route from the actual departure point does not mean the departure point (departure point).

この経路決定工程では、端末210、移動体制御装置108、及びサーバ110が起動した状態で移動体102が「現在位置」に位置すると、端末210の撮像手段208は移動体102の直近に位置するARマーカ107が映り込んだ撮像画像を撮像する。また、端末210の地磁気検出手段216は、出発地における地磁気を検出する。移動体制御装置108は、ビーコン送信機106からのビーコン情報(ビーコン電波の受信強度及び周波数)をサーバ110に送信する。   In this route determination step, when the mobile object 102 is positioned at the “current position” with the terminal 210, the mobile object control device 108, and the server 110 activated, the imaging unit 208 of the terminal 210 is positioned in the immediate vicinity of the mobile object 102. A captured image in which the AR marker 107 is reflected is captured. Further, the geomagnetism detecting means 216 of the terminal 210 detects the geomagnetism at the departure place. The mobile control device 108 transmits beacon information (reception intensity and frequency of beacon radio waves) from the beacon transmitter 106 to the server 110.

また、移動体制御装置108は、端末210からのARマーカ情報と地磁気情報とをサーバ110に送信する。サーバ110は、前記のように、記憶装置404の地図情報データベース450、ARマーカ情報データベース451、ビーコン情報データベース452及び地磁気マップ情報データベース453のうちの少なくとも一つを参照する。これによりサーバ110は、ARマーカ情報、ビーコン情報及び地磁気情報のうちの少なくとも一つに基づいて、移動体102の「現在位置」を特定する。
なお、本実施形態での「ARマーカ情報」及び「ビーコン情報」に供されるARマーカ及びビーコンのそれぞれは、特許請求の範囲にいう「位置伝達標識」を構成する。
In addition, the mobile control device 108 transmits AR marker information and geomagnetic information from the terminal 210 to the server 110. As described above, the server 110 refers to at least one of the map information database 450, the AR marker information database 451, the beacon information database 452, and the geomagnetic map information database 453 of the storage device 404. Thereby, the server 110 specifies the “current position” of the moving body 102 based on at least one of the AR marker information, the beacon information, and the geomagnetic information.
Each of the AR marker and the beacon provided for the “AR marker information” and the “beacon information” in the present embodiment constitutes a “position transmission sign” in the claims.

次に、移動体制御システム100は、サーバ110によって、移動体102から目的地情報を受信する(ステップS502参照)。
ちなみに、移動体102からの目的地情報は、移動体102のユーザが端末210の入力手段212を介して入力されるものを想定している。このような移動体102からの目的地情報は、前記したように、移動体制御装置108の入力情報処理ユニット310を介してサーバ110に送信される。
Next, the mobile body control system 100 receives the destination information from the mobile body 102 by the server 110 (see step S502).
Incidentally, the destination information from the mobile unit 102 is assumed to be input by the user of the mobile unit 102 via the input unit 212 of the terminal 210. Such destination information from the moving body 102 is transmitted to the server 110 via the input information processing unit 310 of the moving body control device 108 as described above.

移動体制御システム100は、サーバ110が、前記のように、現在位置から目的地までの走行経路を決定する(ステップS503)。
そして、サーバ110は、移動体102に対する目的地への走行指令を移動体制御装置108に出力する(ステップS504参照)。
In the moving body control system 100, the server 110 determines the travel route from the current position to the destination as described above (step S503).
Then, the server 110 outputs a traveling command to the destination for the moving body 102 to the moving body control device 108 (see step S504).

目的地への走行指令を入力した移動体制御装置108は、これを切っ掛けに、端末210の撮像手段208による撮像画像に基づいて、移動体102の走行可能領域を抽出する(ステップS505参照)。この走行可能領域は、前記のように、移動体制御装置108の走行可能領域抽出手段370によって抽出される。
本実施形態の移動体制御システム100においては、移動体制御装置108によって抽出された走行可能領域は、端末210に出力されて表示手段214に表示される。
The mobile body control device 108 that has input the travel command to the destination extracts the travelable area of the mobile body 102 based on the image captured by the imaging means 208 of the terminal 210 (see step S505). As described above, the travelable area is extracted by the travelable area extraction unit 370 of the moving body control device 108.
In the mobile body control system 100 of the present embodiment, the travelable area extracted by the mobile body control device 108 is output to the terminal 210 and displayed on the display unit 214.

図6(a)から(c)は、移動体102の撮像手段208によって撮像された経路の撮像画像10である。
図6(a)に示すように、端末210の表示手段214には、撮像手段208による実際の撮像画像10に重ねて、走行可能領域11が表示される。図6(a)中、符号17は、障害物である。
また、本実施形態の移動体制御システム100においては、抽出された走行可能領域11の中央部を経路に沿って延びるようにAR(Augmented Reality:拡張現実)線Lが設定される。このAR線Lは、図6(a)中、点線矢印で示している。
表示手段214に走行可能領域11が表示される切っ掛けとしては、ユーザによる入力手段212への表示要求の入力が挙げられる。
FIGS. 6A to 6C show a captured image 10 of a route imaged by the imaging unit 208 of the moving body 102. FIG.
As shown in FIG. 6A, the travelable area 11 is displayed on the display unit 214 of the terminal 210 so as to overlap the actual captured image 10 by the imaging unit 208. In FIG. 6A, reference numeral 17 denotes an obstacle.
Further, in the mobile body control system 100 of the present embodiment, an AR (Augmented Reality) line L is set so as to extend along the route in the center of the extracted travelable area 11. The AR line L is indicated by a dotted arrow in FIG.
An example of a chance that the travelable area 11 is displayed on the display unit 214 is an input of a display request to the input unit 212 by the user.

また、走行可能領域11は、予めARマーカ107に盛り込まれた情報であってもよい。このような走行可能領域11は、ARマーカ107が撮像画像10に映り込んだ際に、撮像画像10に重ねて走行可能領域11が表示される。   Further, the travelable area 11 may be information included in the AR marker 107 in advance. When the AR marker 107 is reflected in the captured image 10, the travelable region 11 is displayed so as to overlap the captured image 10.

また、ARマーカ107によって、走行可能領域11が表示手段214に表示された場合には、所定時間経過後に(例えば数秒後に)、図6(b)に示す選択画面12に切り換わる。この選択画面12には、複数のタッチパネルスイッチ13が設定されている。そしてこれらのタッチパネルスイッチ13を介して、走行可能領域11のオンオフの切り替えや、選択画面12から通常画面への切り替えができるようになっている。なお、図6(b)中、符号Lは、AR線Lである。   Further, when the travelable area 11 is displayed on the display unit 214 by the AR marker 107, the screen is switched to the selection screen 12 shown in FIG. 6B after a predetermined time has elapsed (for example, several seconds later). A plurality of touch panel switches 13 are set on the selection screen 12. Via the touch panel switch 13, the travelable area 11 can be switched on and off, and the selection screen 12 can be switched to the normal screen. In FIG. 6B, the symbol L is the AR line L.

再び図5に戻って、移動体制御システム100は、移動体制御装置108によって、走行可能領域11(図6(a)参照)内に、前記のAR線Lを設定する(ステップS506参照)。このAR線Lは、移動体制御装置108の走行可能領域抽出手段370が、走行可能領域11の中央部に設定する。
次いで、移動体制御装置108の仮想線生成手段380は、AR線Lを滑らか加工することによって仮想線14を形成する(ステップS507参照)。
ここでの「滑らか加工」としては、AR線Lの角部に丸みをつける加工法であれば、特に制限はなく、例えば、スプライン曲線法、ベジェ曲線法などを挙げることができる。中でもベジェ曲線法が好ましい。
図6(c)では、ベジェ曲線法によって形成した滑らかな仮想線14を例示した。
Returning to FIG. 5 again, the moving body control system 100 sets the AR line L in the travelable area 11 (see FIG. 6A) by the moving body control device 108 (see step S506). This AR line L is set at the center of the travelable area 11 by the travelable area extracting means 370 of the mobile body control device 108.
Next, the virtual line generation unit 380 of the moving body control device 108 forms the virtual line 14 by smoothly processing the AR line L (see step S507).
The “smooth processing” here is not particularly limited as long as it is a processing method for rounding the corners of the AR line L, and examples thereof include a spline curve method and a Bezier curve method. Of these, the Bezier curve method is preferable.
FIG. 6C illustrates a smooth virtual line 14 formed by the Bezier curve method.

サーバ110が設定した図4に示す経路R1からR7(以下、目的経路Rという)は、目的地に向かう分岐路15においては、角部を形成する。
これに対して、仮想線生成手段380は、図6(c)に示す撮像画像10に基づいて分岐路15を画像判定した際に、これまで目的経路Rに基づいて走行した走行軌跡の最後の通過点16をベジェ曲線法の制御点Bに設定する。また、仮想線生成手段380は、例えば分岐路15の侵入口に向かう目的経路Rのうち、角部から離れた任意の点をベジェ曲線法の制御点Bに設定する。そして、仮想線生成手段380は、制御点Bと制御点Bとの間で延びる目的経路R上の任意の点をベジェ曲線法の制御点Bに設定する。
Routes R1 to R7 (hereinafter referred to as destination route R) shown in FIG.
On the other hand, the virtual line generation unit 380 determines the last of the travel trajectory that has traveled based on the target route R so far when the image of the branch path 15 is determined based on the captured image 10 illustrated in FIG. The passing point 16 is set to the control point B 0 of the Bezier curve method. The virtual line generation means 380, for example among the objective path R toward the penetration opening of the branch path 15 is set to any point away from the corner to the control point B 2 of the Bezier curve method. The virtual line generation unit 380 sets an arbitrary point on the target route R extending between the control point B 0 and the control point B 2 as the control point B 1 of the Bezier curve method.

本実施形態での仮想線生成手段380は、制御点BからBに基づく2次のベジェ曲線を仮想線14とする。このベジェ曲線は、3次以上とすることもできる。
ちなみに、制御点をB0、B1、・・・BN−1とするN次のベジェ曲線は、次式で表現される。
The virtual line generation means 380 in the present embodiment uses a quadratic Bezier curve based on the control points B 0 to B 2 as the virtual line 14. This Bezier curve may be cubic or higher.
Incidentally, an Nth-order Bezier curve with control points B0, B1,... BN −1 is expressed by the following equation.

Figure 2019135579
Figure 2019135579

また、ここで、Jni(t)はブレンディング関数であり、次式で示される。 Here, J ni (t) is a blending function and is represented by the following equation.

Figure 2019135579
Figure 2019135579

また、巨視的には直線とみなせる目的経路Rにおいても、微視的には折れ線状に形成される。本実施形態での仮想線生成手段380は、微視的に折れ線状に形成される目的経路Rにおいてもベジェ曲線法にて滑らかな仮想線14を形成することができる。   Also, the target route R that can be regarded as a straight line macroscopically is formed in a polygonal line shape microscopically. The virtual line generation means 380 in the present embodiment can form the smooth virtual line 14 by the Bezier curve method even in the target route R that is microscopically formed in a polygonal line shape.

再び図5に戻って、移動体制御システム100は、移動体制御装置108によって、仮想線14に沿うように移動体102の走行を制御する(ステップS508参照)。
そして、移動体制御システム100は、サーバ110によって、移動体102の現在位置を特定する(ステップS509参照)。この移動体102の現在位置の特定は、ステップS501と同様の工程で行うことができる。
Returning to FIG. 5 again, the moving body control system 100 controls the traveling of the moving body 102 along the virtual line 14 by the moving body control device 108 (see step S508).
And the mobile body control system 100 specifies the present position of the mobile body 102 by the server 110 (refer step S509). The current position of the moving body 102 can be specified in the same process as step S501.

次いで、サーバ110は、特定した現在位置が目的地を含むエリアか否かを判断する(ステップS510参照)。そして、現在位置が目的地を含むエリアでない場合には(ステップS509のNo)、ステップS504に戻ってサーバ110による目的地への走行指令が続行される。   Next, the server 110 determines whether or not the identified current position is an area including the destination (see step S510). If the current position is not an area including the destination (No in step S509), the process returns to step S504, and the travel command to the destination by the server 110 is continued.

これに対して、現在位置が目的地を含むエリアである場合には(ステップS510のYes)、サーバ110は、移動体102への停止指令を移動体制御装置108に送信する(ステップS511)。そして、移動体制御装置108は、移動体102から走行制御終了要求信号を受信するのを待って(ステップS512のYes)、移動体102の走行制御処理を終了する。   On the other hand, when the current position is an area including the destination (Yes in step S510), the server 110 transmits a stop command to the moving body 102 to the moving body control device 108 (step S511). Then, the moving body control device 108 waits for reception of the travel control end request signal from the moving body 102 (Yes in step S512), and ends the travel control processing of the moving body 102.

<作用効果>
次に、本実施形態の奏する作用効果について説明する。
<Effect>
Next, functions and effects achieved by the present embodiment will be described.

本実施形態によれば、滑らかな仮想線14に沿って移動体102の走行が制御されるので、移動体102が運転中にふらついたり、運転行動が急変化することが避けられる。これにより移動体制御システム100は、従来の走行システムと異なって点字ブロックなどを要することなく、移動体102のユーザに対する快適性を確保することができる。そして、このふらつきが抑制されることで、屋内などのように狭い環境であっても移動体102が周囲に存在する物品とぶつかることもない。   According to the present embodiment, since the traveling of the moving body 102 is controlled along the smooth virtual line 14, it is possible to prevent the moving body 102 from fluctuating during driving and sudden changes in driving behavior. Thereby, the mobile body control system 100 can ensure the comfort for the user of the mobile body 102 without requiring a Braille block etc. unlike the conventional traveling system. Further, by suppressing the wobbling, the moving body 102 does not collide with an article existing in the surroundings even in a narrow environment such as indoors.

また、本実施形態によれば、走行可能領域11に仮想線14が設定されるので、移動体の走行が途中で妨げられることがない。これにより、移動体102は、よりスムーズに出発地か目的地に移動することができ、移動体102の快適性がさらに向上する。   Moreover, according to this embodiment, since the virtual line 14 is set to the driving | running | working possible area | region 11, driving | running | working of a mobile body is not prevented on the way. Thereby, the moving body 102 can move more smoothly from the starting point to the destination, and the comfort of the moving body 102 is further improved.

また、本実施形態によれば、端末210の表示手段214によって、仮想線14を視覚的に確認することができる。つまり、移動体102のユーザは、事前に移動経路を確認することができる。これにより移動体制御システム100に対する信頼性が向上する。   Further, according to the present embodiment, the virtual line 14 can be visually confirmed by the display unit 214 of the terminal 210. That is, the user of the moving body 102 can confirm the movement route in advance. Thereby, the reliability with respect to the mobile body control system 100 improves.

また、また、本実施形態によれば、ビーコンによって走行中の移動体102の位置を正確に把握することができる。これにより移動体102は、より正確に目的経路をふらつきなく正確に走行することができる。   Moreover, according to this embodiment, the position of the moving body 102 that is traveling can be accurately grasped by the beacon. Thereby, the moving body 102 can travel more accurately and accurately on the destination route without wobbling.

また、本実施形態によれば、例えばベジェ曲線法などによって仮想線14を生成するので、より滑らかな走行経路形成することができる。これにより移動体102の快適性がさらに一段と向上する。   Moreover, according to this embodiment, since the virtual line 14 is produced | generated by the Bezier curve method etc., a smoother driving | running route can be formed, for example. Thereby, the comfort of the moving body 102 is further improved.

また、本実施形態によれば、測定した地磁気と地磁気マップとを照らし合わせることで移動体102の位置を特定することができる。つまり、場所に固有の地磁気を応用することで、移動体制御システム100は、移動体102の位置をより正確に特定することができる。   Moreover, according to this embodiment, the position of the mobile body 102 can be specified by comparing the measured geomagnetism with the geomagnetic map. That is, the mobile body control system 100 can specify the position of the mobile body 102 more accurately by applying the geomagnetism specific to the place.

また、本実施形態によれば、地磁気検出手段216が端末210に組み込まれているので、別途に地磁気検出手段216を備えるものと比較して、移動体制御システム100及び移動体102の構成を簡素化することができる。   In addition, according to the present embodiment, since the geomagnetism detection unit 216 is incorporated in the terminal 210, the configurations of the mobile body control system 100 and the mobile body 102 are simplified as compared with the case where the geomagnetism detection unit 216 is separately provided. Can be

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、種々の形態で実施することができる。
前記実施形態では、所定の施設内で電動車椅子の走行を制御する移動体制御システム100について説明したが、本発明は工場内での電動運搬車を制御する移動体制御システムに適用することもできる。また、本発明は、自動車の走行を屋外エリアで制御する移動体制御システムに適用することもできる。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, It can implement with a various form.
In the above-described embodiment, the mobile body control system 100 that controls the traveling of the electric wheelchair in a predetermined facility has been described. However, the present invention can also be applied to a mobile body control system that controls an electric vehicle in a factory. . The present invention can also be applied to a mobile control system that controls driving of an automobile in an outdoor area.

また、前記実施形態では、サーバ110が、ビーコン情報、ARマーカ情報、及び/又地磁気情報に基づいて目的経路Rを設定するものについて説明したが、本発明における目的経路Rの設定はこれに限定されない。
したがって、本発明における他の目的経路Rとしては、例えば、撮像画像中に画像判定で検出される、路上の白線などに沿う基準線を目的経路Rとするものが挙げられる。この場合、目的経路Rがベジェ曲線法による仮想線の生成のための対象となる。
In the above embodiment, the server 110 sets the destination route R based on the beacon information, the AR marker information, and / or the geomagnetic information. However, the setting of the destination route R in the present invention is limited to this. Not.
Accordingly, as another target route R in the present invention, for example, a route in which a reference line along a white line on the road, etc., detected by image determination in the captured image is used as the target route R can be mentioned. In this case, the target route R is a target for generating a virtual line by the Bezier curve method.

また、前記実施形態では、移動体102とサーバ110とが分離した構成となっているが、サーバ110は移動体102に搭載することもできる。   In the embodiment, the mobile body 102 and the server 110 are separated from each other. However, the server 110 can be mounted on the mobile body 102.

10 撮像画像
11 走行可能領域
13 タッチパネルスイッチ
14 仮想線
100 移動体制御システム
102 移動体
106 ビーコン送信機
107 ARマーカ
108 移動体制御装置
110 サーバ
208 撮像手段
210 端末(移動端末)
212 入力手段
214 表示手段
216 地磁気検出手段
370 走行可能領域抽出手段
380 仮想線生成手段
390 走行制御手段
L AR線
R 経路
DESCRIPTION OF SYMBOLS 10 Captured image 11 Travelable area 13 Touch panel switch 14 Virtual line 100 Mobile body control system 102 Mobile body 106 Beacon transmitter 107 AR marker 108 Mobile body control apparatus 110 Server 208 Imaging means 210 Terminal (mobile terminal)
212 Input means 214 Display means 216 Geomagnetic detection means 370 Travelable area extraction means 380 Virtual line generation means 390 Travel control means L AR line R path

Claims (9)

移動体に搭載される撮像手段と、
前記移動体を所定の走行経路に沿って誘導する滑らかな仮想線を前記撮像手段による撮像画像に基づいて生成する仮想線生成手段と、
前記仮想線に沿って前記移動体が走行するように制御する走行制御手段と、
を有することを特徴とする移動体制御システム。
Imaging means mounted on a moving body;
Virtual line generation means for generating a smooth virtual line for guiding the moving body along a predetermined traveling route based on a captured image by the imaging means;
Travel control means for controlling the mobile body to travel along the virtual line;
A moving body control system comprising:
前記撮像画像に基づいて前記移動体の走行可能領域を抽出する走行可能領域抽出手段をさらに有し、
前記仮想線生成手段は、前記走行可能領域内に前記仮想線を生成することを特徴とする請求項1に記載の移動体制御システム。
The vehicle further has a travelable area extracting means for extracting a travelable area of the moving body based on the captured image,
The mobile body control system according to claim 1, wherein the virtual line generation unit generates the virtual line in the travelable area.
前記仮想線を表示する表示手段をさらに有することを特徴とする請求項1又は請求項2に記載の移動体制御システム。   The mobile body control system according to claim 1, further comprising display means for displaying the virtual line. 前記走行制御手段は、前記移動体の移動領域の複数箇所に配置された位置伝達標識から取得される情報に基づいて、前記移動体の走行を制御することを特徴とする請求項1から請求項3のいずれか1項に記載の移動体制御システム。   The said travel control means controls the travel of the said mobile body based on the information acquired from the position transmission mark arrange | positioned in the multiple places of the movement area | region of the said mobile body. 4. The moving body control system according to claim 1. 前記仮想線生成手段は、ベジェ曲線法によって滑らかな仮想線を生成することを特徴とする請求項1から請求項4のいずれか1項に記載の移動体制御システム。   The mobile body control system according to any one of claims 1 to 4, wherein the virtual line generation unit generates a smooth virtual line by a Bezier curve method. 前記移動体に搭載される地磁気測定手段をさらに有し、
前記走行制御手段は、
前記地磁気測定手段から出力される所定位置での地磁気と、
前記移動体の移動領域とこの移動領域における複数箇所の地磁気とを対応付けるように予め作成された地磁気マップと、
に基づいて、前記移動体の走行を制御することを特徴とする請求項1から請求項5のいずれか1項に記載の移動体制御システム。
Further comprising geomagnetic measurement means mounted on the moving body,
The travel control means includes
Geomagnetism at a predetermined position output from the geomagnetism measuring means;
A geomagnetism map prepared in advance so as to associate the moving area of the moving body with the geomagnetism of a plurality of locations in the moving area;
The moving body control system according to any one of claims 1 to 5, wherein the traveling of the moving body is controlled based on the control.
前記仮想線を表示する表示手段をさらに有し、
前記地磁気測定手段は、前記表示手段とともに前記移動体に搭載される移動端末に配置されていることを特徴とする請求項6に記載の移動体制御システム。
It further has display means for displaying the virtual line,
The mobile body control system according to claim 6, wherein the geomagnetism measuring unit is disposed in a mobile terminal mounted on the mobile body together with the display unit.
請求項1から請求項7のいずれか1項に記載の移動体制御システムを備えたことを特徴とする移動体。   A moving body comprising the moving body control system according to any one of claims 1 to 7. 移動体を所定の走行経路に沿って誘導する滑らかな仮想線を撮像手段による撮像画像に基づいて生成する仮想線生成工程と、
前記仮想線に沿って前記移動体が走行するように制御する走行制御工程と、
を有することを特徴とする移動体制御方法。
A virtual line generation step of generating a smooth virtual line for guiding the moving body along a predetermined travel route based on an image captured by the imaging unit;
A travel control step for controlling the mobile body to travel along the virtual line;
A moving body control method comprising:
JP2018017985A 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method Expired - Fee Related JP6774445B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018017985A JP6774445B2 (en) 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method
CN201910100417.8A CN110119141B (en) 2018-02-05 2019-01-31 Mobile body control system, electric wheelchair as mobile body, and mobile body control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018017985A JP6774445B2 (en) 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method

Publications (2)

Publication Number Publication Date
JP2019135579A true JP2019135579A (en) 2019-08-15
JP6774445B2 JP6774445B2 (en) 2020-10-21

Family

ID=67520435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018017985A Expired - Fee Related JP6774445B2 (en) 2018-02-05 2018-02-05 Mobile control system, mobile and mobile control method

Country Status (2)

Country Link
JP (1) JP6774445B2 (en)
CN (1) CN110119141B (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078447A (en) * 2019-11-20 2021-05-27 国立大学法人 鹿児島大学 Floor feeding poultry house management system
JP2022059815A (en) * 2020-10-02 2022-04-14 本田技研工業株式会社 Moving body control device, moving body, moving body control method, and program
JP2022146888A (en) * 2021-03-22 2022-10-05 株式会社リコー Display system, communication system, display control method, and program
WO2023204025A1 (en) * 2022-04-20 2023-10-26 パナソニックIpマネジメント株式会社 Movement management system, movement management method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237799B2 (en) * 2019-10-29 2023-03-13 株式会社東芝 Travel control device and operation system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950596A (en) * 1995-08-04 1997-02-18 Mitsubishi Motors Corp Vehicle guiding device
JPH1186182A (en) * 1997-09-01 1999-03-30 Honda Motor Co Ltd Automatic driving control system
JP2004313587A (en) * 2003-04-18 2004-11-11 Mikishii:Kk Automatic traveling wheelchair, wheelchair automatic traveling system, and automatic traveling method for wheelchair
JP2007328486A (en) * 2006-06-07 2007-12-20 Yaskawa Electric Corp Moving robot
JP2014505934A (en) * 2010-12-30 2014-03-06 アイロボット コーポレイション Mobile robot system
WO2014091611A1 (en) * 2012-12-13 2014-06-19 株式会社日立製作所 Autonomous travelling apparatus
JP2016162191A (en) * 2015-03-02 2016-09-05 トヨタ自動車株式会社 Travel control device
JP2017520841A (en) * 2014-06-19 2017-07-27 ▲無▼▲錫▼知谷▲網▼▲絡▼科技有限公司Chigoo Interactive Technology Co., Ltd. Method and apparatus for real-time positioning of target and map construction

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5093024B2 (en) * 2008-09-23 2012-12-05 株式会社豊田自動織機 Position display system for moving objects
JP5218479B2 (en) * 2010-06-10 2013-06-26 株式会社安川電機 Mobile system
CN101984382B (en) * 2010-10-15 2014-06-18 重庆市电力公司检修分公司 Method for intelligently inspection substation equipment by using robot
CN102085875B (en) * 2010-11-25 2012-05-30 中国民航大学 Intelligent baggage car and control method thereof
CN102183958B (en) * 2011-04-12 2014-04-23 中国民航大学 Autonomous guiding vehicle and control method thereof
CN102521566B (en) * 2011-11-25 2013-07-24 中国科学院光电技术研究所 Low-power-consumption real-time road automatic identifying device for ground independent equipment
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
CN104919509A (en) * 2013-03-11 2015-09-16 本田技研工业株式会社 Server device, congestion prediction information display system, congestion prediction information distribution method, congestion prediction information display method, and program
KR101455236B1 (en) * 2013-04-19 2014-11-07 주식회사 제이엠랩 Mobile apparatus for providing augmented reality and method thereof
CN106415688B (en) * 2014-05-20 2019-04-05 本田技研工业株式会社 Driving performance appraisal procedure and driving performance assess device
WO2015178119A1 (en) * 2014-05-23 2015-11-26 本田技研工業株式会社 Travel assist device and method of controlling travel assist device
KR20160019760A (en) * 2014-08-12 2016-02-22 엘지전자 주식회사 Mobile terminal and control method for the mobile terminal
CN106471441A (en) * 2014-08-25 2017-03-01 X开发有限责任公司 Method and system for displaying augmented reality of virtual representations of robotic device actions
KR101682880B1 (en) * 2015-03-19 2016-12-20 현대자동차주식회사 Vehicle and remote vehicle manipulating system comprising the same
JP5973610B1 (en) * 2015-03-27 2016-08-23 本田技研工業株式会社 Control equipment for unmanned work vehicles
CN104739519B (en) * 2015-04-17 2017-02-01 中国科学院重庆绿色智能技术研究院 Force feedback surgical robot control system based on augmented reality
CN106575402A (en) * 2015-06-26 2017-04-19 深圳市赛亿科技开发有限公司 Smart shopping guide system
JP2017102601A (en) * 2015-11-30 2017-06-08 本田技研工業株式会社 Automatic travel system, automatic travel vehicle provided with the automatic travel system, method of controlling automatic travel system, and control program therefor
JP6304777B2 (en) * 2016-05-17 2018-04-04 本田技研工業株式会社 Moving body
CN106123892A (en) * 2016-06-22 2016-11-16 武汉科技大学 A kind of robot localization method based on wireless sensor network Yu earth magnetism map
CN106289257A (en) * 2016-07-27 2017-01-04 无锡知谷网络科技有限公司 Indoor orientation method and alignment system
CN106338289A (en) * 2016-08-11 2017-01-18 张满仓 Robot-based indoor positioning and navigation system and method
CN106485233B (en) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 Method and device for detecting travelable area and electronic equipment
CN106584472A (en) * 2016-11-30 2017-04-26 北京贝虎机器人技术有限公司 Method and device for controlling autonomous mobile equipment
CN107272685B (en) * 2017-06-21 2021-01-08 国机智能技术研究院有限公司 Method and system for controlling turning of robot
CN107554642B (en) * 2017-08-03 2019-07-02 求实科技集团有限公司 A kind of active leading type navigating robot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950596A (en) * 1995-08-04 1997-02-18 Mitsubishi Motors Corp Vehicle guiding device
JPH1186182A (en) * 1997-09-01 1999-03-30 Honda Motor Co Ltd Automatic driving control system
JP2004313587A (en) * 2003-04-18 2004-11-11 Mikishii:Kk Automatic traveling wheelchair, wheelchair automatic traveling system, and automatic traveling method for wheelchair
JP2007328486A (en) * 2006-06-07 2007-12-20 Yaskawa Electric Corp Moving robot
JP2014505934A (en) * 2010-12-30 2014-03-06 アイロボット コーポレイション Mobile robot system
WO2014091611A1 (en) * 2012-12-13 2014-06-19 株式会社日立製作所 Autonomous travelling apparatus
JP2017520841A (en) * 2014-06-19 2017-07-27 ▲無▼▲錫▼知谷▲網▼▲絡▼科技有限公司Chigoo Interactive Technology Co., Ltd. Method and apparatus for real-time positioning of target and map construction
JP2016162191A (en) * 2015-03-02 2016-09-05 トヨタ自動車株式会社 Travel control device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
井上 豊、池田 剛、山本 潔、幸島 明男、山下 倫央、麻生 英樹、車谷 浩一: "ComPassビーコンを用いたスマートフォン上での屋内自律型測位システム", 情報処理学会研究報告.UBI,[ユビキタスコンピューティングシステム], vol. 2008(18), JPN6019052024, 27 February 2008 (2008-02-27), JP, pages 195 - 202, ISSN: 0004256599 *
町田 理、町田 直哉、柳澤 政生、戸川 望: "VNS:可視グラフに基づく屋内環境ナビゲーションシステム", マルチメディア,分散,協調とモバイルシンポジウム2013論文集, vol. 2013, JPN6019052025, 3 July 2013 (2013-07-03), JP, pages 688 - 701, ISSN: 0004190322 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078447A (en) * 2019-11-20 2021-05-27 国立大学法人 鹿児島大学 Floor feeding poultry house management system
JP7376078B2 (en) 2019-11-20 2023-11-08 国立大学法人 鹿児島大学 Free-range chicken house management system
JP2022059815A (en) * 2020-10-02 2022-04-14 本田技研工業株式会社 Moving body control device, moving body, moving body control method, and program
JP7366373B2 (en) 2020-10-02 2023-10-23 本田技研工業株式会社 Mobile object control device, mobile object, mobile object control method, and program
JP2022146888A (en) * 2021-03-22 2022-10-05 株式会社リコー Display system, communication system, display control method, and program
JP7447922B2 (en) 2021-03-22 2024-03-12 株式会社リコー Display system, communication system, display control method and program
WO2023204025A1 (en) * 2022-04-20 2023-10-26 パナソニックIpマネジメント株式会社 Movement management system, movement management method, and program

Also Published As

Publication number Publication date
CN110119141A (en) 2019-08-13
JP6774445B2 (en) 2020-10-21
CN110119141B (en) 2022-11-15

Similar Documents

Publication Publication Date Title
JP6774445B2 (en) Mobile control system, mobile and mobile control method
US10118614B2 (en) Detailed map format for autonomous driving
JP6603253B2 (en) Mobile object control system and mobile object control method
JP4771147B2 (en) Route guidance system
EP4296721A2 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN110392908B (en) Electronic device for generating map data and method of operating the same
US7096120B2 (en) Method and arrangement for guiding a user along a target path
CN110419211A (en) Information processing unit, information processing method and message handling program
WO2017057053A1 (en) Information processing device, information processing method
KR20120049927A (en) Autonomous mobile device
WO2017029759A1 (en) Display control device, display device, and display control method
JP2020184148A (en) Information processing device and information processing method
JP6025814B2 (en) Operating device and autonomous mobile system
CN113885506B (en) Robot obstacle avoidance method and device, electronic equipment and storage medium
US11645789B2 (en) Map driven augmented reality
CN111051818B (en) Providing navigation directions
US20220155092A1 (en) Method of navigating a visually impaired user, a navigation system for the same, and a guiding robot
US11656089B2 (en) Map driven augmented reality
JP4381205B2 (en) Navigation device and map display method in the device
KR101950713B1 (en) Apparatus of detecting indoor position using lacation map image and method thereof
CN114265397A (en) Interaction method and device for mobile robot, mobile robot and storage medium
WO2021104317A1 (en) Robot for detecting air cleanliness and method for detecting air cleanliness
CN109725642A (en) Self-service machine system and its air navigation aid and device
JP7366373B2 (en) Mobile object control device, mobile object, mobile object control method, and program
US20230384871A1 (en) Activating a Handheld Device with Universal Pointing and Interacting Device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201002

R150 Certificate of patent or registration of utility model

Ref document number: 6774445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees