JP2020035092A - Environment digitizing device - Google Patents
Environment digitizing device Download PDFInfo
- Publication number
- JP2020035092A JP2020035092A JP2018159562A JP2018159562A JP2020035092A JP 2020035092 A JP2020035092 A JP 2020035092A JP 2018159562 A JP2018159562 A JP 2018159562A JP 2018159562 A JP2018159562 A JP 2018159562A JP 2020035092 A JP2020035092 A JP 2020035092A
- Authority
- JP
- Japan
- Prior art keywords
- numerical value
- vehicle
- unit
- output
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、環境数値化装置に係り、特に、車両の周辺環境を数値化して出力する環境数値化装置に関する。 The present invention relates to an environment quantifying device, and more particularly to an environment quantifying device that quantifies and outputs a surrounding environment of a vehicle.
車両の周辺環境を数値化することにより、周辺環境に適合した車両又は車両搭載機器の制御を行うことが提案されている。 It has been proposed to control a vehicle or a vehicle-mounted device suitable for the surrounding environment by quantifying the surrounding environment of the vehicle.
特許文献１には、車載カメラによって取得した画像情報から車両の乗員が注目する車外の対象物を視線方向で検出し、検出した対象物に関する質問を音声認識し、当該対象物に関する情報を提供する運転支援装置の発明が開示されている。 Japanese Patent Application Laid-Open No. H11-163873 discloses a method in which an object outside a vehicle, which is noticed by an occupant of a vehicle, is detected in a line-of-sight direction from image information acquired by a vehicle-mounted camera, a question about the detected object is voice-recognized, and information on the object is provided. An invention of a driving assistance device is disclosed.
しかしながら、特許文献１に記載の発明は、画像情報からのみ周辺環境を数値化するので、画像情報に含まれない事項は処理できない。従って、画像情報に反映されていない地域固有の情報を含めて車両の周辺情報を数値化することが困難であるというおそれがあった。 However, the invention described in Patent Document 1 digitizes the surrounding environment only from the image information, and cannot process items not included in the image information. Therefore, there is a possibility that it is difficult to quantify the peripheral information of the vehicle including the information unique to the area that is not reflected in the image information.
本発明は、上記問題に鑑みてなされたものであり、画像情報のみならず地域固有の情報を用いて車両の周辺環境を数値化する環境数値化装置を実現することを目的とする。 The present invention has been made in view of the above problems, and has as its object to realize an environment quantifying device that quantifies the surrounding environment of a vehicle using not only image information but also information unique to a region.
上記目的を達成するために、請求項１に記載の環境数値化装置は、車両の周辺の画像情報を取得する画像情報取得部と、前記画像情報から抽出した対象物の属性を特定する特定部と、前記車両が位置する地域についての地域情報を取得する地域情報取得部と、前記地域情報から抽出した地域の特徴を示す単語の出現頻度に基づいて、前記地域の特徴を推定する推定部と、前記特定部により特定された前記対象物の属性と、前記推定部により推定された前記地域の特徴との組み合わせに基づいて、前記車両の周辺の環境を数値化する数値化部と、を備えている。 In order to achieve the above object, an environment quantifying device according to claim 1, wherein an image information obtaining unit that obtains image information around a vehicle, and a specifying unit that specifies an attribute of a target object extracted from the image information A region information acquisition unit that acquires region information about a region where the vehicle is located, and an estimation unit that estimates the characteristics of the region based on the frequency of appearance of words indicating the characteristics of the region extracted from the region information. And a numerical unit for quantifying the environment around the vehicle based on a combination of the attribute of the target object specified by the specifying unit and the feature of the area estimated by the estimating unit. ing.
また、請求項２に記載の環境数値化装置は、請求項１に記載の環境数値化装置において、前記特定部は、前記対象物を示す単語を属性別に登録した辞書を参照して前記対象物の属性を特定する。 Further, in the environmental quantifying device according to claim 2, in the environmental quantifying device according to claim 1, the specifying unit refers to the dictionary in which words indicating the object are registered by attribute and the object is referred to. Identify the attributes of
また、請求項３に記載の環境数値化装置は、請求項１に記載の環境数値化装置において、前記特定部は、前記画像情報から抽出した前記対象物の個数に応じて前記対象物の属性を特定する。 The environmental quantifying device according to claim 3 is the environmental quantifying device according to claim 1, wherein the specifying unit determines an attribute of the object according to a number of the objects extracted from the image information. To identify.
また、請求項４に記載の環境数値化装置は、請求項１〜３のいずれか１項に記載の環境数値化装置において、前記属性の各々は、前記属性の各々に共通する傾向の強弱に応じた数値が予め設定され、前記地域の特徴は、該特徴の強弱に応じた数値が予め設定され、前記数値化部は、前記属性に対して設定された数値の最大値を下位の桁にし、前記地域の特徴に対して設定された数値の最大値を上位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を下位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を上位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする。 According to a fourth aspect of the present invention, there is provided the environmental quantification device according to any one of the first to third aspects, wherein each of the attributes has a tendency to be common to each of the attributes. A numerical value according to the strength of the characteristic is set in advance, and the digitizing unit sets the maximum value of the numerical value set for the attribute to a lower digit. The nominal maximum value with the maximum value of the numerical value set for the feature of the region as the upper digit, and the numerical value set for the attribute specified by the specifying unit as the lower digit, are estimated by the estimating unit. The percentage of the real numerical value with respect to the nominal maximum value is set as a numerical value indicating the environment around the vehicle, based on the real numerical value having the numerical value set in the feature of the area as the upper digit.
また、請求項５に記載の環境数値化装置は、請求項１〜３のいずれか１項に記載の環境数値化装置において、前記属性の各々は、前記属性の各々に共通する傾向の強弱に応じた数値が予め設定され、前記地域の特徴は、該特徴の強弱に応じた数値が予め設定され、前記数値化部は、前記属性に対して設定された数値の最大値を上位の桁にし、前記地域の特徴に対して設定された数値の最大値を下位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を上位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を下位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする。 According to a fifth aspect of the present invention, in the environment quantifying apparatus according to any one of the first to third aspects, each of the attributes has a tendency to be common to each of the attributes. A numerical value according to the strength of the characteristic is set in advance, and the digitizing unit sets the maximum value of the numerical value set for the attribute to a higher digit. The nominal maximum value having the maximum value of the numerical value set for the feature of the region as the lower digit, and the numerical value set for the attribute specified by the specifying unit as the upper digit, and is estimated by the estimating unit. The percentage of the real numerical value with respect to the nominal maximum value is set as a numerical value indicating the environment around the vehicle based on the real numerical value having the numerical value set as the characteristic of the area as the lower digit.
また、請求項６に記載の環境数値化装置は、請求項１〜５のいずれか１項に記載の環境数値化装置において、前記数値化部が出力した数値に基づいて、前記車両の照明機器の制御を行う機器制御部をさらに備えている。 According to a sixth aspect of the present invention, in the environmental digitizing device according to any one of the first to fifth aspects, the lighting device of the vehicle is based on a numerical value output by the digitizing unit. Is further provided.
また、請求項７に記載の環境数値化装置は、請求項６に記載の環境数値化装置において、前記機器制御部は、前記数値化部が出力した数値に基づいて、前記車両の周辺環境の様子を色情報で出力するように前記車両の照明機器を制御する。 The environmental quantification device according to claim 7 is the environmental quantification device according to claim 6, wherein the device control unit is configured to control a surrounding environment of the vehicle based on a numerical value output by the quantification unit. The lighting device of the vehicle is controlled so as to output the state as color information.
また、請求項８に記載の環境数値化装置は、請求項６に記載の環境数値化装置において、前記機器制御部は、前記数値化部が出力した数値に基づいて、前記車両の周辺環境の様子を音声又は文字、図形、記号若しくはこれらの結合による視覚情報で出力するように車両の表示機器を制御する。 The environmental quantification device according to claim 8 is the environmental quantification device according to claim 6, wherein the device control unit is configured to control a surrounding environment of the vehicle based on a numerical value output by the quantification unit. The display device of the vehicle is controlled so as to output the state by voice or visual information based on characters, graphics, symbols or a combination thereof.
また、請求項９に記載の環境数値化装置は、請求項１〜８のいずれか１項に記載の環境数値化装置において、前記画像情報取得部は、前記車両の車載カメラを用いて前記画像情報を取得する。 Further, the environmental quantification device according to claim 9 is the environmental quantification device according to any one of claims 1 to 8, wherein the image information acquisition unit uses the vehicle-mounted camera of the vehicle to generate the image. Get information.
本発明によれば、画像情報のみならず地域固有の情報を用いて車両の周辺環境を数値化する環境数値化装置を実現することができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to implement | achieve the environmental quantification apparatus which digitizes the surrounding environment of a vehicle using the information peculiar to an area as well as image information.
［第1の実施の形態］
以下、図面を参照して本発明の第1の実施の形態を詳細に説明する。図１は、本実施の形態に係る環境数値化装置１００の一例を示したブロック図である。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an example of an environment quantifying device 100 according to the present embodiment.
図１に示すように、本実施の形態に係る環境数値化装置１００は、車載カメラ又はスマートホン等の撮像装置によって取得した画像情報を処理する画像情報処理スレッド１０と、インターネット等の公的ネットワークを介して取得した地域情報を処理する地域情報処理スレッド３０とを含む。画像情報処理スレッド１０と地域情報処理スレッド３０との各々に入力された情報は、要素抽出部１１０において各々の情報に含まれる要素が抽出される。要素抽出部１１０で抽出された、画像情報処理スレッド１０の要素及び地域情報処理スレッド３０の要素は、数値演算処理部１２０において数値化されて機器制御部１４０に出力される。機器制御部１４０は、数値演算処理部１２０が出力した数値に基づいて、車両の周辺環境の様子を色情報で出力するように照明機器１５０を制御する。 As shown in FIG. 1, an environment quantifying device 100 according to the present embodiment includes an image information processing thread 10 for processing image information acquired by an imaging device such as a vehicle-mounted camera or a smartphone, and a public network such as the Internet. And a regional information processing thread 30 for processing regional information acquired via the. With respect to the information input to each of the image information processing thread 10 and the area information processing thread 30, an element included in each information is extracted by the element extraction unit 110. The elements of the image information processing thread 10 and the elements of the regional information processing thread 30 extracted by the element extraction unit 110 are digitized by the numerical operation processing unit 120 and output to the device control unit 140. The device control unit 140 controls the lighting device 150 based on the numerical value output by the numerical calculation processing unit 120 so as to output the state of the surrounding environment of the vehicle as color information.
以下、各スレッドについて、構成を説明する。画像情報処理スレッド１０は、狭域周辺情報取得部１２により、車載カメラ等の撮像装置を制御して、車両周辺の画像情報を取得する。そして、狭域周辺情報取得部１２が取得した画像情報は、画像情報入力部１４により、要素抽出部１１０の画像分析ＡＰＩ（Application Programming Interface）１６に入力される。 Hereinafter, the configuration of each thread will be described. The image information processing thread 10 controls an imaging device such as an in-vehicle camera by the narrow area peripheral information acquisition unit 12 to acquire image information around the vehicle. Then, the image information acquired by the narrow area peripheral information acquisition unit 12 is input to the image analysis API (Application Programming Interface) 16 of the element extraction unit 110 by the image information input unit 14.
画像分析ＡＰＩ１６は、一例としてGoogle Cloud Vision等の画像処理のWebサービスの機能を外部から利用するためのインターフェースである。後述するように画像分析ＡＰＩ１６では、車載カメラ等の撮像装置で取得した画像情報に含まれる対象物を各々特定する。または、画像分析ＡＰＩ１６に代えて、画像処理エンジンを備えたハードウェアによって、車載カメラ等の撮像装置で取得した画像情報に含まれる対象物を各々特定してもよい。 The image analysis API 16 is an interface for externally using a Web service function of image processing such as Google Cloud Vision, for example. As will be described later, the image analysis API 16 specifies an object included in image information acquired by an imaging device such as a vehicle-mounted camera. Alternatively, instead of the image analysis API 16, each of the objects included in the image information acquired by the imaging device such as the vehicle-mounted camera may be specified by hardware including an image processing engine.
画像分析ＡＰＩ１６による分析結果は、分析結果出力部１８を介して数値演算処理部１２０の対象物分類部２０に入力される。対象物分類部２０では、例えば、画像分析ＡＰＩ１６で特定した対象物を人工物（都市化に係るもの）と自然物（田舎に係るもの）とに分類し、当該対象物の出現頻度を集計する。そして対象物分類部２０による対象物分類の結果は、後述するように、地域情報処理スレッド３０の特徴判別部４０が出力した地域の特徴及び都市規模の判別結果と共に、数値出力部に入力される。 The analysis result by the image analysis API 16 is input to the object classification unit 20 of the numerical operation processing unit 120 via the analysis result output unit 18. The object classification unit 20 classifies, for example, the objects specified by the image analysis API 16 into man-made objects (those related to urbanization) and natural objects (those related to the countryside), and totals the frequency of appearance of the target objects. Then, the result of the object classification by the object classification unit 20 is input to the numerical value output unit together with the determination result of the area size and the city scale output by the characteristic determination unit 40 of the regional information processing thread 30 as described later. .
地域情報処理スレッド３０は、広域周辺情報取得部３２により、車両を中心とした広域な周辺情報を取得する。具体的には、Google（登録商標）又はYahoo!（登録商標）等のWebサービスにより、広域周辺情報を取得する。 The local information processing thread 30 obtains wide-area peripheral information centered on the vehicle by the wide-area peripheral information acquisition unit 32. Specifically, wide area peripheral information is acquired by a Web service such as Google (registered trademark) or Yahoo! (registered trademark).
位置情報入力部３４では、取得した広域周辺情報及び車両の現在位置の情報を要素抽出部１１０のローカルサーチＡＰＩ３６に入力する。ローカルサーチＡＰＩ３６は、一例としてYahoo! Open Local Platform等の地域情報に含まれる対象物を検索するWebサービスの機能を外部から利用するためのインターフェースである。または、ローカルサーチＡＰＩ３６に代えて、検索エンジンを備えたハードウェアによって、地域情報に含まれる対象物を検索してもよい。 The position information input unit 34 inputs the acquired wide area peripheral information and information on the current position of the vehicle to the local search API 36 of the element extraction unit 110. The local search API 36 is an interface for externally using a Web service function for searching for an object included in local information such as Yahoo! Open Local Platform. Alternatively, instead of the local search API 36, an object included in the local information may be searched by hardware including a search engine.
ローカルサーチＡＰＩ３６による分析結果は、分析結果出力部３８を介して数値演算処理部１２０の特徴判別部４０に入力される。特徴判別部４０では、ローカルサーチＡＰＩ３６で検索した対象物の出現頻度を集計して地域の特徴及び都市規模の判別をする。そして特徴判別部４０による地域の特徴及び都市規模の判別結果は、画像情報処理スレッド１０の対象物分類部２０による対象物分類の結果と共に数値出力部５０に入力され、例えば、車両の周辺環境の都市化の程度が数値化されて出力される。 The analysis result by the local search API 36 is input to the feature determination unit 40 of the numerical calculation processing unit 120 via the analysis result output unit 38. The feature discriminating unit 40 discriminates a regional feature and a city size by summing up the appearance frequency of the target object searched by the local search API 36. Then, the result of the determination of the regional feature and the city size by the feature determination unit 40 is input to the numerical value output unit 50 together with the result of the object classification by the object classification unit 20 of the image information processing thread 10. The degree of urbanization is quantified and output.
図２は、本実施の形態に係る環境数値化装置１００の処理の流れの一例を示したフローチャートである。ステップ２００では、メイン情報である画像情報を画像情報入力部１４により、要素抽出部１１０の画像分析ＡＰＩ１６に入力する。 FIG. 2 is a flowchart illustrating an example of a processing flow of the environment quantifying device 100 according to the present embodiment. In step 200, image information, which is main information, is input to the image analysis API 16 of the element extraction unit 110 by the image information input unit 14.
ステップ２０２では、画像分析ＡＰＩ１６により画像情報に含まれる対象物を文字列として抽出する。例えば、画像情報に樹木が含まれる場合は「樹木」という文字列（単語）を出力し、画像情報に店舗が含まれる場合には「店舗」という文字列を出力する。 In step 202, the object included in the image information is extracted as a character string by the image analysis API 16. For example, when a tree is included in the image information, a character string (word) “tree” is output, and when a store is included in the image information, a character string “store” is output.
ステップ２０４は、数値演算処理部１２０の対象物分類部２０での処理に相当し、複数の辞書を用いて、ステップ２０２で文字列として抽出された対象物を集計する。複数の辞書の各々の構成は、一例として、以下のようにする。 Step 204 corresponds to the processing in the object classification unit 20 of the numerical calculation processing unit 120, and totals the objects extracted as character strings in step 202 using a plurality of dictionaries. The configuration of each of the plurality of dictionaries is, for example, as follows.
辞書１に田舎という属性に関する単語（例えば「小川」、「森林」等の自然物）を登録し、辞書２に市街地という属性に関する単語（例えば「住宅」、「スクールゾーン」等の人工物）を登録し、そして辞書５に大都会という属性に関する単語（例えば「オフィス街」、「超高層ビル」等の人工物）を登録する。 Words relating to the attribute of the countryside (for example, natural objects such as "brook" and "forest") are registered in the dictionary 1, and words relating to the attribute of the city area (for example, artificial objects such as "house" and "school zone") are registered in the dictionary 2. Then, words related to the attribute of the big city (for example, artificial objects such as “office district” and “skyscraper”) are registered in the dictionary 5.
上記のように複数の辞書を構成すると、辞書１は開発度が最も低い環境に関する単語を登録し、辞書２は辞書１よりも開発度が高い環境に関する単語を登録し、最後の辞書５（５＝ｎ−１）は開発度が最も高い環境に関する単語を登録する。換言すれば、各々の辞書は、開発度という共通する傾向に基づいて構成されており、各々の辞書に付帯された数字は、登録単語における当該傾向の強弱を示し、数字が大きいほど当該傾向が強い。 When a plurality of dictionaries are configured as described above, the dictionary 1 registers words related to the environment with the lowest development degree, the dictionary 2 registers words related to the environment with a higher development degree than the dictionary 1, and the last dictionary 5 (5 = N-1) registers words relating to the environment with the highest degree of development. In other words, each dictionary is configured based on a common tendency of the degree of development, and the number attached to each dictionary indicates the strength of the tendency in the registered word. strong.
複数の辞書を使用する場合、複数の辞書に開発度の高低（傾向の強弱）のような尺度を付けることにより、ステップ２０２で抽出された単語を最も多く記載している辞書、言い換えればステップ２０２で抽出された単語のヒット件数が最も多い辞書に係る開発度の尺度が、画像情報が示す周辺環境の開発度の尺度であると判断できる。ステップ２０４では、単語のヒット件数の集計を行い、ヒット件数が最大の辞書を特定することにより、対象物の属性を特定する。例えば、辞書１でのヒット件数が最大であれば辞書１について「１」を出力して対象物の属性を田舎と特定し、辞書２でのヒット件数が最大であれば辞書２について「２」を出力して対象物の属性を市街地と特定し、辞書５でのヒット件数が最大であれば辞書５について「５」を出力して対象物の属性を大都会と特定する。その他、ヒット件数が最大でなかった辞書は、各々の辞書について「０」を出力する。また、いずれの辞書でもヒットしなかった場合も「出力なし」として「０」を出力する。その結果、後述するステップ２１２でのマトリックスの生成に係るメイン情報の集計（ｂ）には、いずれの辞書でもヒットしなかった場合は「００００００」、辞書１でのヒット件数が最大の場合は「０１００００」、辞書２でのヒット件数が最大の場合は「００２０００」、辞書５でのヒット件数が最大の場合は「０００００５」が、各々マトリックスの１列目からセットされる。 When a plurality of dictionaries are used, a plurality of dictionaries are assigned a scale such as the degree of development (the tendency of the tendency), so that the dictionary most describing the words extracted in step 202, in other words, step 202 It can be determined that the measure of the degree of development related to the dictionary with the largest number of hits of the word extracted in step 1 is the measure of the degree of development of the surrounding environment indicated by the image information. In step 204, the number of hits of the word is counted, and the attribute of the object is specified by specifying the dictionary having the largest number of hits. For example, if the number of hits in the dictionary 1 is the maximum, “1” is output for the dictionary 1 and the attribute of the object is identified as countryside, and if the number of hits in the dictionary 2 is the maximum, “2” for the dictionary 2 Is output to specify the attribute of the object as an urban area, and if the number of hits in the dictionary 5 is the maximum, "5" is output for the dictionary 5 to specify the attribute of the object as a big city. In addition, the dictionary in which the number of hits is not the maximum outputs “0” for each dictionary. If no hit is found in any of the dictionaries, "0" is output as "no output". As a result, in the aggregation (b) of the main information related to the generation of the matrix in step 212 described later, “000000” when no hit is found in any dictionary, and “000000” when the number of hits in dictionary 1 is the maximum. 010000 "," 002000 "when the number of hits in the dictionary 2 is the largest, and" 0000005 "when the number of hits in the dictionary 5 is the largest, from the first column of the matrix.
ステップ２０６では、サブ情報である広域周辺情報及び車両の現在位置の情報を要素抽出部１１０のローカルサーチＡＰＩ３６に入力する。車両の現在位置の情報は、ＧＰＳ（Global Positioning System）等によって取得する。ステップ２０８では、広域周辺情報に含まれる対象物を検索して、ヒットした文字列（単語）を出力する。 In step 206, the wide area peripheral information and the information on the current position of the vehicle, which are sub-information, are input to the local search API 36 of the element extraction unit 110. Information on the current position of the vehicle is acquired by a GPS (Global Positioning System) or the like. In step 208, a search is made for an object included in the wide area peripheral information, and a character string (word) that has been hit is output.
ステップ２１０では出力単語数（ｘ）を集計して地域の特徴である開発度の強弱（尺度）を決定する。例えば、「ビル」、「大通り」及び「立体交差」等の地域の開発度の強弱が判断できる単語数の多さで、換言すれば、開発度の尺度が判断できる単語の出現頻度によって、地域の特徴である開発度の強弱を推定する。具体的には、一例として、開発度の尺度が判断できる単語がない場合（第０類）は「０」を出力する。同単語が少し（例えば１＜ｘ≦２０）の場合（第１類）は「１」を出力し、同単語が多い（例えば８０≦ｘ＜１００）の場合（第４類）は「４」を出力し、同単語が大量（例えば１００≦ｘ）の場合（第５類）は「５」を出力する。 In step 210, the number of output words (x) is totaled to determine the strength (scale) of the development degree which is a characteristic of the region. For example, the number of words that can determine the degree of development of a region such as “building”, “avenue”, and “overpass” can be determined. Estimate the degree of development, which is a feature of. Specifically, as an example, when there is no word for which the scale of the development degree can be determined (class 0), “0” is output. If the same word is small (for example, 1 <x ≦ 20) (first type), “1” is output, and if the same word is large (for example, 80 ≦ x <100) (fourth type), “4” is output. Is output, and when the number of words is large (for example, 100 ≦ x) (fifth class), “5” is output.
図２のステップ２１０では、第０類から第５類まで、地域の特徴の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第４類の出力値「４」を出力した場合は、他の出力値は「０」となり、第５類の出力値「５」を出力した場合は、他の出力値は「０」となる。その結果、後述するステップ２１２でのマトリックスの生成に係るサブ情報の集計（ａ）には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１行目からセットされる。 In step 210 of FIG. 2, each output value is listed in order from class 0 to class 5 in order to specify what the output value is based on the scale of the characteristic of the region. When an output value “0” of class 0 is output, an output value according to another scale (hereinafter abbreviated as “other output value”) is “0”. Similarly, when the first type output value “1” is output, the other output values are “0”. Further, when the output value of the fourth type is “4”, the other output value is “0”, and when the output value of the fifth type is “5”, the other output value is “0”. Becomes As a result, in the summation (a) of the sub-information related to the generation of the matrix in step 212 described later, “000000” in the case of class 0, “010000” in the case of class 1, and “010000” in the case of class 4 “000040” is set in the fifth category, and “000005” is set in the first row of the matrix.
ステップ２１２では、数値演算処理部１２０において、メイン情報とサブ情報とをマトリックスに集計する。図２に示したマトリックスは、２桁目（下位の桁）にステップ２０４でのメイン情報の出力値（ｂ）を、１桁目（上位の桁）にステップ２１０でのサブ情報の出力値（ａ）を、各々セットした２桁の数値Ｃ(n)を記載する。マトリックスに記載される数値Ｃ(n)は、具体的には下記の式のようになる。数値Ｃ(n) は、一見、１０進法の体裁であるが、下位の桁のｂが最大値であるsupｂ（＝ｎ−１）を超えると桁が１つ繰り上がるｎ進法である。従って、数値Ｃ(n)の添え字（ｎ）は、数値Ｃ(n)がｎ進法であることを示している。
Ｃ(n)＝ａ×１０＋ｂ
In step 212, the numerical information processing section 120 totalizes the main information and the sub information in a matrix. In the matrix shown in FIG. 2, the output value (b) of the main information in step 204 is placed in the second digit (lower digit), and the output value (sub) of the sub information in step 210 is placed in the first digit (upper digit). In a), a two-digit numerical value C (n) set for each is described. The numerical value C (n) described in the matrix is specifically represented by the following equation. At first glance, the numerical value C (n) is in decimal notation, but when the lower-order digit b exceeds the maximum value sup b (= n−1), the digit is incremented by one. . Therefore, the numerical subscripts C (n) (n) shows that numerical C (n) is an n-ary.
C (n) = a × 10 + b
前述のように、メイン情報の出力値（ｂ）は、ヒット件数が最大でなかった辞書について「０」となり、サブ情報の出力値（ａ）は、該当しない尺度について「０」を出力する。従って、ヒット件数が最大であった辞書に係る出力値（ｂ）及び該当する尺度に係る出力値（ａ）以外の出力値（ａ）、（ｂ）はすべて「０」となるが、図２のステップ２１２では、マトリックスの態様を明示するために、各セルを「００」以外のとり得る値で埋めている。 As described above, the output value (b) of the main information is “0” for the dictionary in which the number of hits is not the maximum, and the output value (a) of the sub information outputs “0” for the scale that does not correspond. Therefore, the output values (a) and (b) other than the output value (b) related to the dictionary having the largest number of hits and the output value (a) related to the corresponding scale are all “0”. In step 212, each cell is filled with possible values other than "00" in order to clarify the form of the matrix.
数値Ｃ(n)の想定され得る最大値（以下、「名目最大値Ｄ(n)」と称する）は、出力値（ｂ）の最大値をsupｂ、出力値（ａ）の最大値をsupａとすると、下記の式のようになる。出力値（ｂ）の最大値supｂは開発度という傾向が最も強い場合の数値であり、出力値（ａ）最大値supａは、地域の開発度という特徴が最も強い場合の数値である。
Ｄ(n)＝supａ×１０＋supｂ
Supposed maximum value may numeric C (n) (hereinafter, referred to as "nominal maximum D (n)"), the output value the maximum value of (b) sup b, the maximum value of the output value (a) sup Assuming a, the following equation is obtained. The maximum value sup b of the output value (b) is a numerical value when the tendency of the development degree is the strongest, and the maximum value sup a of the output value (a) is a numerical value when the characteristic of the development degree of the region is the strongest.
D (n) = sup a × 10 + sup b
具体的には、ステップ２０４で上限値であるｎ−１（ｎ−１＝５）を出力し、ステップ２１０で上限値である５（第５類）を出力した場合であり、図２のマトリックスにおいて符号Ｄ(n)で示した「５５」である。かかる場合は、周辺環境の開発度（都市化）が最も亢進した状態を示している。 More specifically, the upper limit value n-1 (n-1 = 5) is output in step 204, and the upper limit value 5 (fifth class) is output in step 210. Is "55" indicated by the symbol D (n) . In such a case, the state of development (urbanization) of the surrounding environment is the highest.
ステップ２１２のマトリックスにおいて、下位の桁はヒット件数が最大であった辞書に係る出力値（ｂ）であり、かつ上位の桁が該当する特徴の強弱に係る出力値（ａ）である数値Ｃ(n)が、実測された最大値（以下、「実測最大値」と略記）supＣ(n)となる。具体的には、図２のステップ２１２における実測最大値supＣ(n)である「１１」は、メイン情報において辞書１でのヒット件数が最大であり、サブ情報において特徴の強弱に係る数値が「１」（第１類）の場合である。実測最大値supＣ(n)は、メイン情報でどの辞書が最大のヒット件数か、サブ情報で該当する特徴の尺度が何であるかによって変化する。 In the matrix of step 212, the lower digit is the output value of the dictionary number of hits was maximal (b), and the value, the output value according to the strength of the features the upper digit corresponds (a) C ( n) is the actually measured maximum value (hereinafter abbreviated as “actually measured maximum value”) sup C (n) . Specifically, “11” which is the actually measured maximum value sup C (n) in step 212 in FIG. 2 indicates that the number of hits in the dictionary 1 in the main information is the maximum, and the numerical value related to the strength of the feature in the sub information is This is the case of “1” (first type). The actually measured maximum value sup C (n) changes depending on which dictionary has the maximum number of hits in the main information and what the corresponding feature scale is in the sub information.
ステップ２１４では、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々をｎ進法から１０進法に変換する。上述のようにｎ＝supｂ＋１であるから、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々の１０進数である実測最大値supＣ(10)及び名目最大値Ｄ(10)は、下記の式のようになる。
supＣ(10)＝ａ×ｎ＋ｂ
Ｄ(10)＝supａ×ｎ＋supｂ
In step 214, each of the measured maximum value sup C (n) and the nominal maximum value D (n) is converted from n-ary to decimal. Since n = sup b + 1 as described above, the actually measured maximum value sup C (10) and the nominal maximum value D (10 ), which are the decimal numbers of the actually measured maximum value sup C (n) and the nominal maximum value D (n) , respectively. ) Becomes like the following formula.
sup C (10) = a × n + b
D (10) = sup a × n + sup b
ステップ２１６では、名目最大値Ｄ(10)に対する実測最大値supＣ(10)の百分率resultを下記の式のように算出する。
result＝（supＣ(10)／Ｄ(10)）×１００
In step 216, the percentage result of the measured maximum value sup C (10) with respect to the nominal maximum value D (10) is calculated by the following equation.
result = ( sup C (10) / D (10) ) × 100
上記の百分率resultは、車両の周辺環境の開発度（都市化）の指標であり、百分率resultが高ければ、周辺環境の開発度は高く、百分率resultが低ければ、周辺環境の開発度は低い。 The percentage result is an index of the degree of development (urbanization) of the surrounding environment of the vehicle. If the percentage result is high, the degree of development of the surrounding environment is high. If the percentage result is low, the degree of development of the surrounding environment is low.
ステップ２１８では、ステップ２１６で算出した百分率resultを出力して、処理を終了する。 In step 218, the percentage result calculated in step 216 is output, and the process ends.
以上説明したように、図２に示した処理によれば、画像情報（メイン情報）から得られた特徴と、地域情報（サブ情報）から得られた特徴とに基づいて、周辺環境の開発度の程度を数値化できる。上記のようにして得られた周辺環境の開発度の程度は、後述するように、車両の機器の制御等に用いることができる。 As described above, according to the processing shown in FIG. 2, the degree of development of the surrounding environment is determined based on the features obtained from the image information (main information) and the features obtained from the local information (sub information). Can be quantified. The degree of development of the surrounding environment obtained as described above can be used for control of vehicle equipment and the like as described later.
図３は、図２に示した場合の変形例の一例を示したフローチャートである。図３に示した処理は、メイン情報である画像情報から文字列として抽出された対象物を集計する際に使用する辞書が辞書Ａ及び辞書Ｂの２つである点で図２に示した処理と相違するが、その他については、図２に示した処理と略同じである。具体的には、図３のステップ３００、３０２の処理は、図２のステップ２００、２０２の処理と同じであり、図３のステップ３０６〜３１８の処理は、図２のステップ２０６〜２１８の処理と略同じなので、これらについての詳細な説明は省略する。 FIG. 3 is a flowchart showing an example of a modified example of the case shown in FIG. The processing illustrated in FIG. 3 is different from the processing illustrated in FIG. 2 in that two dictionaries, dictionaries A and B, are used when counting objects extracted as character strings from image information that is main information. However, the rest is substantially the same as the processing shown in FIG. Specifically, the processing in steps 300 and 302 in FIG. 3 is the same as the processing in steps 200 and 202 in FIG. 2, and the processing in steps 306 to 318 in FIG. 3 is the processing in steps 206 to 218 in FIG. Since these are substantially the same, detailed descriptions thereof will be omitted.
ステップ３０４で使用する辞書Ａは、一例として、都市及び大都会に関する単語（例えば、「ビル」、「ショッピングモール」、「オフィス街」、「超高層ビル」等の都市属性）を登録し、同じくステップ３０４で使用する辞書Ｂは、一例として、田舎及び市街地に関する単語（例えば「小川」、「あぜ道」、「住宅」、「スクールゾーン」等の田舎属性）を登録する。 The dictionary A used in step 304 registers words related to a city and a big city (for example, city attributes such as “building”, “shopping mall”, “office district”, and “skyscraper”). The dictionary B used in step 304 registers words related to the country and the city area (for example, country attributes such as “brook”, “aze road”, “house”, and “school zone”).
ステップ３０４では、辞書Ａ及び辞書Ｂの各々のどちらがどの程度の件数で対象物をヒットさせたかによって、周辺環境の開発度の強弱を推定する。ステップ３０４に示したように、辞書Ａ及び辞書Ｂの各々のヒット件数の割合に応じて、一例として、第０類から第１１類までの１２段階の尺度を設定し、辞書Ａ及び辞書Ｂの各々を用いた結果が、１２段階のどの尺度に相当するかを判定する。 In step 304, the degree of development of the surrounding environment is estimated based on which of the dictionary A and the dictionary B caused the object to be hit and in what number. As shown in step 304, according to the ratio of the number of hits in each of the dictionary A and the dictionary B, as an example, a scale of 12 levels from the 0th to the 11th is set, and the dictionaries of the dictionaries A and B are set. It is determined which of the 12 levels corresponds to the result using each.
具体的には、辞書Ａ及び辞書Ｂのいずれにおいても対象物がヒットしなかった場合（第０類）は「０」を出力する。辞書Ａによるヒットが０％で、辞書Ｂによるヒットが１００％の場合（第１類）は「１」を出力する。辞書Ａによるヒットが１０％で、辞書Ｂによるヒットが９０％の場合（第２類）は「２」を出力する。辞書Ａによるヒットが９０％で、辞書Ｂによるヒットが１０％の場合（第１０類）は「１０」を出力する。そして、辞書Ａによるヒットが１００％で、辞書Ｂによるヒットが０％の場合（第１１類）は「１１」を出力する。 Specifically, if the object does not hit in either dictionary A or dictionary B (class 0), “0” is output. When the hit by the dictionary A is 0% and the hit by the dictionary B is 100% (first type), “1” is output. If the hit by the dictionary A is 10% and the hit by the dictionary B is 90% (second type), “2” is output. If the hit by dictionary A is 90% and the hit by dictionary B is 10% (Class 10), "10" is output. Then, when the hit by the dictionary A is 100% and the hit by the dictionary B is 0% (class 11), “11” is output.
図３のステップ３０４では、第０類から第１１類まで、各々の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第１０類の出力値「１０」を出力した場合は、他の出力値は「０」となり、第１１類の出力値「１１」を出力した場合は、他の出力値は「０」となる。その結果、後述するステップ３１２でのマトリックスの生成に係るメイン情報の集計（ｂ）には、第０類の場合は「０００００００００００」、第１類の場合は「０１０００００００００」、第１０類の場合は「０００００００００１００」、第１１類の場合は「００００００００００１１」が、各々マトリックスの１列目からセットされる。 In step 304 of FIG. 3, each output value is listed in order to clearly indicate what the output value of each scale from the 0th to 11th classes is. Is output, the output value of another scale (hereinafter abbreviated as “other output value”) is “0”. Similarly, when the first type output value “1” is output, the other output values are “0”. When the output value of class 10 is “10”, the other output value is “0”. When the output value of class 11 is “11”, the other output value is “0”. Becomes As a result, the total (b) of the main information relating to the generation of the matrix in step 312 to be described later is “000000000000” in the case of the first class, “0100000000000” in the case of the first class, and “000000000100”, and in the case of the eleventh class, “0000000000011” are set from the first column of the matrix.
ステップ３１４では、図２のステップ２１４と同様に、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々をｎ進法から１０進法に変換する。しかしながら、図３の場合、出力値（ｂ）の最大値supｂは１１なので、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々は１２進数である。従って、１０進数である実測最大値supＣ(10)及び名目最大値Ｄ(10)は、下記の式を用いて算出される。
supＣ(10)＝ａ×１２＋ｂ
Ｄ(10)＝supａ×１２＋supｂ
In step 314, similarly to step 214 in FIG. 2, each of the actually measured maximum value sup C (n) and the nominal maximum value D (n) is converted from n-ary to decimal. However, in the case of FIG. 3, since the maximum value sup b of the output value (b) is 11, each of the actually measured maximum value sup C (n) and the nominal maximum value D (n) is a decimal number. Therefore, the measured maximum value sup C (10) and the nominal maximum value D (10) , which are decimal numbers, are calculated using the following equations.
sup C (10) = a × 12 + b
D (10) = sup a × 12 + sup b
以後、ステップ３１６では、図２のステップ２１６と同様に百分率resultが算出され、ステップ３１８では、図２のステップ２１８と同様に算出した百分率resultを出力して、処理を終了する。 Thereafter, in step 316, the percentage result is calculated in the same manner as in step 216 in FIG. 2, and in step 318, the calculated percentage result is output in the same manner as in step 218 in FIG. 2, and the process ends.
以上説明したように、メイン情報から抽出された文字列を集計するための辞書は、周辺環境の開発度に応じて複数備えてもよいし、開発度が低い場合（田舎属性）の単語を登録した辞書と、開発度が高い場合（都市属性）の単語を登録した辞書とを備えていてもよい。前者の場合は、対象物の文字列を最も多く登録している辞書によって周辺環境の開発度を判定し、後者の場合は、どちらの辞書に抽出した対象物の文字列がどの程度含まれるかによって、周辺環境の開発度を判定することができる。 As described above, a plurality of dictionaries for summing up the character strings extracted from the main information may be provided in accordance with the degree of development of the surrounding environment, or words having a low degree of development (country attribute) are registered. And a dictionary in which words with a high degree of development (city attribute) are registered. In the former case, the degree of development of the surrounding environment is determined based on the dictionary in which the target object's character strings are registered most frequently.In the latter case, which dictionary contains the extracted object's character strings and how much is included Thus, the degree of development of the surrounding environment can be determined.
図４は、本実施の形態に係る環境数値化装置１００が出力した百分率resultにより、機器制御部１４０が、車両の照明機器１５０である室内灯、インストルメントパネル及びナビゲーション装置のバックライトをどのような色調で制御するかを示したチャートの一例である。図４の縦軸は都市の規模の大小を示し、横軸は自然と人工物との対比を示している。 FIG. 4 shows how the device control unit 140 controls the interior light, the instrument panel, and the backlight of the navigation device, which are the lighting device 150 of the vehicle, based on the percentage result output from the environment quantifying device 100 according to the present embodiment. 6 is an example of a chart showing whether to control with a different color tone. The vertical axis in FIG. 4 indicates the size of the city, and the horizontal axis indicates the contrast between nature and man-made objects.
図４はモノクロ画像なので判別しがたいが、都市規模が大きくなるに従って色の鮮やかさを示す彩度が段階的に変化する。一例として、都市規模が小さい場合は彩度を低く、都市規模が大きな場合は彩度を大きくする。また、自然が豊富な環境では色相を緑寄りにし、人工物が多い環境では色相を青寄りにする。 Since FIG. 4 is a monochrome image, it is difficult to distinguish it, but the saturation indicating the vividness of the color changes stepwise as the city scale increases. As an example, when the city scale is small, the saturation is low, and when the city scale is large, the saturation is large. In an environment rich in nature, the hue is greenish, and in an environment with many man-made objects, the hue is bluedish.
本実施の形態では、周辺環境の開発度の程度を百分率resultで示すので、百分率resultに応じて、図４の直線１３０のように室内灯等の機器の光の彩度及び色相を変化させる。直線１３０に示したように室内灯やインストルメントパネルのバックライト等である照明機器１５０の光の色調を変化させることにより、車両の乗員に周辺環境がどのような状態であるかを、暗に覚知させることができる。また、車両の周辺環境の様子を音声ガイダンス又はインストルメントパネル上に文字、図形、記号若しくはこれらの結合による視覚情報等で乗員に通知するように車両の表示装置を制御してもよい。 In the present embodiment, the degree of development of the surrounding environment is indicated by the percentage result, and accordingly, the saturation and hue of light of a device such as an interior light are changed as indicated by a straight line 130 in FIG. 4 according to the percentage result. As shown by the straight line 130, by changing the color tone of the light of the lighting device 150 such as the interior light or the backlight of the instrument panel, the state of the surrounding environment for the occupant of the vehicle can be darkened. Can be awakened. Further, the display device of the vehicle may be controlled so as to notify the occupant of the situation of the environment around the vehicle by voice guidance or characters, graphics, symbols or visual information based on a combination thereof on the instrument panel.
以上説明したように、本実施の形態では、画像情報と、ネットワークを介して取得した地域情報とから抽出した事項に基づいて車両の周辺環境を数値化するので、画像情報のみを用いた場合よりも、周辺環境の特性を正確に数値化することが可能になる。 As described above, in the present embodiment, the surrounding environment of the vehicle is quantified based on the items extracted from the image information and the regional information acquired via the network, so that the case where only the image information is used is used. However, the characteristics of the surrounding environment can be accurately quantified.
［第２の実施の形態］
続いて、本発明の第２の実施の形態について説明する。本実施の形態では、一例として、車両の周辺環境の、桜の花見等の観光が可能な尺度を数値化して出力する。
[Second embodiment]
Subsequently, a second embodiment of the present invention will be described. In the present embodiment, as an example, a sightseeing scale such as cherry blossom viewing of the surrounding environment of a vehicle is quantified and output.
図５（Ａ）は、撮像装置が取得した画像情報の一例であり、図５（Ｂ）は、画像処理においてＡＩが認識する画像の一例を示している。画像処理では処理速度を確保するため、撮像装置が取得した画像情報よりもかなり画素が粗い状態で画像情報が扱われる。 FIG. 5A shows an example of image information acquired by the imaging device, and FIG. 5B shows an example of an image recognized by the AI in the image processing. In the image processing, in order to secure a processing speed, the image information is handled in a state where pixels are considerably coarser than the image information acquired by the imaging device.
図６は、画像処理によって、対象物を抽出した場合の一例を示している。図６では、「樹木」と「ピンクの花」という事項が抽出されているが、「ピンクの花」が何であるかは判別できていない。 FIG. 6 shows an example of a case where a target is extracted by image processing. In FIG. 6, items “tree” and “pink flower” are extracted, but it is not possible to determine what the “pink flower” is.
また、画素が細かい状態で画像処理が可能であっても、桜には、梅及び桃等の視覚的に類似性が高い花が存在する。従って、画像情報のみからでは、当該画像情報に含まれる対象物が、桜の花であるか否かを判定することは困難である。 Also, even if image processing is possible with fine pixels, cherry blossoms have flowers with high visual similarity, such as plums and peaches. Therefore, it is difficult to determine whether or not the object included in the image information is a cherry blossom from only the image information.
図７は、梅、桃及び桜の各々の東海地方での開花時期を示した表である。図7に示したように、梅、桃及び桜の開花時期は相違するので、時期的要件を参照することにより、図６に含まれる「ピンク花」の限定に資することができる。 FIG. 7 is a table showing the flowering time of plum, peach and cherry in the Tokai region. As shown in FIG. 7, since the flowering time of plum, peach and cherry blossoms is different, it is possible to contribute to the limitation of the “pink flower” included in FIG. 6 by referring to the timing requirement.
図８は、桜の花の判定において参照できるサブ情報の一例を示している。車両のシステムの内蔵時計は開花季節の判定等の時期的要件の判断指標となり得る。ＧＰＳによって検出した車両の現在位置の情報は、第1の実施の形態で取得するサブ情報（地域情報）に車両の周辺環境に桜の名所が存在するか否かを判断する場合に用いることができる。また、ニュースＡＰＩから得た報道内容に桜の開花に係るキーワードが存在するか否かを判定してもよい。 FIG. 8 shows an example of sub-information that can be referred to in the determination of cherry blossoms. The built-in clock of the vehicle system can be an index for determining timing requirements such as the determination of the flowering season. The information on the current position of the vehicle detected by the GPS can be used in the sub information (regional information) acquired in the first embodiment to determine whether or not there is a famous cherry blossom in the surrounding environment of the vehicle. . Alternatively, it may be determined whether or not a keyword related to flowering of cherry blossoms exists in the news content obtained from the news API.
画像認識からのみでは桜の開花が判断できない場合は、時期的要件、名所の存在及び開花の報道等を参照して、開花している桜の木の存在を推定することができる。 When the flowering of the cherry tree cannot be determined only from the image recognition, the presence of the flowering cherry tree can be estimated by referring to the timing requirements, the presence of famous places, the report of the flowering, and the like.
図９は、後述する図１０のステップ１０８におけるサブ情報の前処理、ステップ１１０におけるサブ情報の集計によって生成されるマトリックスの一例である。図９に示したマトリックスに記載された各数値は、下位の桁に上述の内蔵時計及びニュースＡＰＩに基づく季節の判定（時期的要件）の集計結果に基づく数値をセットし、上位の桁にGoogle（登録商標）又はYahoo!（登録商標）等のWebサービスにより取得した広域周辺情報に基づく桜の名所の出現頻度に係る数値をセットしたものである。 FIG. 9 is an example of a matrix generated by preprocessing of the sub-information in step 108 of FIG. As for each numerical value described in the matrix shown in FIG. 9, a numerical value based on a totaled result of the seasonal judgment (temporal requirement) based on the built-in clock and the news API described above is set in a lower digit, and a Googler is set in a higher digit. (Registered trademark) or Yahoo! (Registered trademark) is a numerical value related to the frequency of appearance of famous places of cherry blossoms based on wide area information acquired by Web services such as Yahoo!
季節の判定の集計は、前述の図２のステップ２１０と類似の処理が行われる。ニュースＡＰＩの情報から内蔵時計が示す現時点での桜の開花の状態を示す単語（例えば、「開花」、「五分咲き」、「満開」等）を抽出し、抽出した単語の出現頻度で桜の開花時期の尺度を決定する。具体的には、一例として、桜の開花の状態を示す単語がない場合（第０類）は「０」を出力する。同単語が少し（例えば１＜ｘ≦２０）の場合（第１類）は「１」を出力し、同単語が多い（例えば８０≦ｘ＜１００）の場合（第４類）は「４」を出力し、同単語が大量（例えば１００≦ｘ）の場合（第５類）は「５」を出力する。 Processing similar to step 210 in FIG. 2 described above is performed for counting the seasons. A word (eg, "flowering", "half-flowering", "full bloom", etc.) indicating the current state of flowering of the cherry blossoms indicated by the internal clock is extracted from the information of the news API, and the flowering of the cherry blossoms is performed based on the frequency of the extracted words Determine the time scale. Specifically, as an example, when there is no word indicating the state of flowering of the cherry tree (class 0), “0” is output. If the same word is small (for example, 1 <x ≦ 20) (first type), “1” is output, and if the same word is large (for example, 80 ≦ x <100) (fourth type), “4” is output. Is output, and when the number of words is large (for example, 100 ≦ x) (fifth class), “5” is output.
名所判定は、前述の図２のステップ２０６〜２１０と類似の処理が行われる。具体的にはサブ情報である広域周辺情報及びＧＰＳによる車両の現在位置の情報を要素抽出部１１０のローカルサーチＡＰＩ３６に入力し、広域周辺情報に含まれる対象物を検索して、ヒットした文字列（単語）を出力する。 For the famous place determination, a process similar to the above-described steps 206 to 210 in FIG. 2 is performed. Specifically, the wide area peripheral information as sub information and the information of the current position of the vehicle by GPS are input to the local search API 36 of the element extracting unit 110, and the object included in the wide area peripheral information is searched, and the character string that has been hit is obtained. (Word) is output.
そして桜の名所に係る出力単語数（ｘ）を集計して桜の名所の存在の尺度を決定する。例えば、「桜並木」、「庭園」及び「公園」等の桜の名所と思われる単語の出現頻度で桜の名所存在の尺度を決定する。具体的には、一例として、桜の名所の存在を示す単語がない場合（第０類）は「０」を出力する。同単語が少し（例えば１＜ｘ≦２０）の場合（第１類）は「１」を出力し、同単語が多い（例えば８０≦ｘ＜１００）の場合（第４類）は「４」を出力し、同単語が大量（例えば１００≦ｘ）の場合（第５類）は「５」を出力する。 Then, the number of output words (x) related to the famous cherry blossoms is counted to determine the scale of the existence of the famous cherry blossoms. For example, a measure of the presence of famous cherry blossoms is determined based on the frequency of appearance of words that are considered to be famous cherry blossoms, such as “rows of cherry trees”, “garden”, and “park”. Specifically, as an example, if there is no word indicating the existence of a famous cherry blossom (class 0), “0” is output. If the same word is small (for example, 1 <x ≦ 20) (first type), “1” is output, and if the same word is large (for example, 80 ≦ x <100) (fourth type), “4” is output. Is output, and when the number of words is large (for example, 100 ≦ x) (fifth class), “5” is output.
図９では、季節の判定及び名所判定における第０類から第５類まで、各々の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第４類の出力値「４」を出力した場合は、他の出力値は「０」となり、第５類の出力値「５」を出力した場合は、他の出力値は「０」となる。 In FIG. 9, the output values are listed in order to clearly indicate what the output values according to each scale are from 0 to 5 in the season determination and the sightseeing determination. When an output value “0” of the 0th class is output, an output value according to another scale (hereinafter, abbreviated as “other output value”) is “0”. Similarly, when the first type output value “1” is output, the other output values are “0”. Further, when the output value of the fourth type is “4”, the other output value is “0”, and when the output value of the fifth type is “5”, the other output value is “0”. Becomes
その結果、図９に示したマトリックスの生成に係る季節の判定には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１列目からセットされる。 As a result, in the determination of the season related to the generation of the matrix shown in FIG. 9, “000000” in the case of class 0, “010000” in the case of class 1, “0000040” in the case of class 4, In the case of class 5, "000005" is set from the first column of each matrix.
また、図９に示したマトリックスの生成に係る桜の名所判定には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１行目からセットされる。 In addition, in the determination of the sights of cherry blossoms related to the generation of the matrix shown in FIG. 9, “000000” in the case of Class 0, “010000” in the case of Class 1, “0000040” in the case of Class 4, and In the case of the class, “000005” is set from the first row of the matrix.
上述のように生成したマトリックスから、図２のステップ２１２と同様に名目最大値Ｆ(n) 及び実測最大値supＥ(n)を抽出し、１０進数に変換した名目最大値Ｆ(10) に対する１０進法に変換した実測最大値supＥ(10)の百分率ｘを算出し、図１０のステップ１１２に示したように、サブ情報（ｘ）の集計としてまとめる。 From matrices generated as described above, to extract the same manner nominal maximum value F in step 212 of FIG. 2 (n) and the measured maximum sup E (n), for the nominal maximum value was converted to decimal F (10) The percentage x of the measured maximum value sup E (10) converted to the decimal system is calculated, and summarized as the sum of the sub information (x) as shown in step 112 of FIG.
図１０のステップ１１２では、算出した百分率に応じて桜の名所及び開花の尺度を決定する。具体的には、一例として、百分率ｘが０の場合（第０類）は「０」を出力する。百分率ｘが１以上２０未満の場合（第１類）は「１」を出力し、百分率ｘが８０以上１００未満の場合（第４類）は「４」を出力し、百分率ｘが１００の場合（第５類）は「５」を出力する。 In step 112 of FIG. 10, the sights of cherry blossoms and the scale of flowering are determined according to the calculated percentage. Specifically, as an example, when the percentage x is 0 (class 0), “0” is output. When the percentage x is 1 or more and less than 20 (the first type), “1” is output. When the percentage x is 80 or more and less than 100 (the fourth type), “4” is output, and when the percentage x is 100. (Class 5) outputs "5".
図１０のステップ１１２では、第０類から第５類まで、各々の尺度に係る出力値がいかなるものかを明示するために、各出力値が列記されているが、実際には、尺度が第０類の出力値「０」を出力した場合は、他の尺度に係る出力値（以下、「他の出力値」と略記）は「０」となる。同様に、第１類の出力値「１」を出力した場合は、他の出力値は「０」となる。また、第４類の出力値「４」を出力した場合は、他のる出力値は「０」となり、第５類の出力値「５」を出力した場合は、他の出力値は「０」となる。従って、後述するステップ１１４でのマトリックスの生成に係るサブ情報の集計（ａ）には、第０類の場合は「００００００」、第１類の場合は「０１００００」、第４類の場合は「００００４０」、第５類の場合は「０００００５」が、各々マトリックスの１行目からセットされる。 In step 112 of FIG. 10, each output value is listed in order to clearly indicate what the output value of each scale from the 0th to the 5th class is. When an output value “0” of class 0 is output, an output value according to another scale (hereinafter abbreviated as “other output value”) is “0”. Similarly, when the first type output value “1” is output, the other output values are “0”. Further, when the output value of the fourth type is “4”, the other output value is “0”, and when the output value of the fifth type is “5”, the other output value is “0”. ". Therefore, the total (a) of the sub-information related to the generation of the matrix in step 114 described later is “000000” in the case of class 0, “010000” in the case of class 1, and “40000” in the case of class 4. 000040 ", and in the case of the fifth category," 000005 "are set from the first row of the matrix.
続いて、図１０を用いて、車両の周辺環境に桜の花が開花している名所が存在する尺度を出力する処理を説明する。ステップ２００では、メイン情報である画像情報を画像情報入力部１４により、要素抽出部１１０の画像分析ＡＰＩ１６に入力する。 Next, a process of outputting a scale indicating that there is a famous place where cherry blossoms are blooming in the surrounding environment of the vehicle will be described with reference to FIG. In step 200, image information, which is main information, is input to the image analysis API 16 of the element extraction unit 110 by the image information input unit 14.
ステップ１０２では、画像分析ＡＰＩ１６により対象物であるピンクの花を図６のように検出する。そして、ステップ１０４では、ステップ１０２で検出したピンクの花の件数をカウントする。桜（及び梅、桃等のバラ科の植物）は複数の花が集合するので、図６に示したように、複数の花の集合が１件のピンクの花として検出される。 In step 102, the image analysis API 16 detects a pink flower as an object as shown in FIG. In step 104, the number of pink flowers detected in step 102 is counted. Since cherry blossoms (and rose plants such as plums and peaches) are composed of a plurality of flowers, as shown in FIG. 6, a set of a plurality of flowers is detected as one pink flower.
ステップ１０６では、ピンクの花の検出件数に応じた尺度に係る数値を出力する。一例として、検出なし（検出数＝０）の場合は「０」を出力し、検出数が１〜３の場合は「１」を出力し、検出数が４〜５の場合は「２」を出力し、検出数が最大（例えば１０以上）の場合は「５」を出力する。従って、本実施の形態では、画像情報から抽出した対象物の個数に応じて対象物の属性（花が多い、花が少ない）を特定する。 In step 106, a numerical value according to a scale corresponding to the number of detected pink flowers is output. As an example, “0” is output when no detection is performed (detection number = 0), “1” is output when the detection number is 1 to 3, and “2” is output when the detection number is 4 to 5. When the number of detections is maximum (for example, 10 or more), “5” is output. Therefore, in the present embodiment, the attributes of the object (many flowers, few flowers) are specified according to the number of objects extracted from the image information.
前述のように、桜の名所及び開花の尺度に係る数値は、いずれかの尺度に係る数値を出力した場合、他の尺度については「０」を出力した。ピンクの花の検出件数に応じた尺度に係る数値も同様に、いずれかの検出数に係る数値を出力した場合、他の検出数については「０」を出力する。その結果、後述するステップ１１４でのマトリックスの生成に係るメイン情報の集計（ｂ）には、検出数が０の場合は「００００００」、検出数が１〜３の場合は「０１００００」、検出数が４〜５の場合は「００２０００」、検出数が最大の場合は「０００００５」が、各々マトリックスの１列目からセットされる。 As described above, as for the numerical value relating to the scale of the famous spot of cherry blossoms and flowering, when a numerical value relating to any one of the scales is output, “0” is output regarding the other scales. Similarly, when a numerical value related to a scale corresponding to the number of detected pink flowers is output as a numerical value related to any of the detected numbers, “0” is output for the other detected numbers. As a result, in the counting (b) of the main information relating to the generation of the matrix in step 114 described later, “000000” when the number of detections is 0, “010000” when the number of detections is 1 to 3, Are set to "002000" when the number of detections is 4 to 5, and "000005" when the number of detections is maximum, from the first column of the matrix.
ステップ１１４では、図１０に示したようなマトリックスを生成する。図１０に示したマトリックスに記載された各数値は、下位の桁にピンクの花の検出件数に応じた尺度の数値をセットし、上位の桁に図９を用いて前述した桜の名所及び開花の尺度に係る数値をセットしたものである。 In step 114, a matrix as shown in FIG. 10 is generated. For each numerical value described in the matrix shown in FIG. 10, a numerical value of a scale corresponding to the number of pink flowers detected is set in the lower digit, and the cherry blossom sights and flowering described above with reference to FIG. It is a numerical value related to the scale.
ステップ１１４では、図２のステップ２１２と同様に、マトリックスを生成して実測最大値supＣ(n)及び名目最大値Ｄ(n)を抽出する。 In step 114, similarly to step 212 in FIG. 2, a matrix is generated to extract the measured maximum value sup C (n) and the nominal maximum value D (n) .
ステップ１１６では、図２のステップ２１４と同様に、実測最大値supＣ(n)及び名目最大値Ｄ(n)の各々をｎ進法から１０進法に変換する。 In step 116, similarly to step 214 in FIG. 2, each of the measured maximum value sup C (n) and the nominal maximum value D (n) is converted from n-ary to decimal.
以後、ステップ１１８では、図２のステップ２１６と同様に百分率resultが算出され、ステップ１２０では、図２のステップ２１８と同様に算出した百分率resultを出力して、処理を終了する。 Thereafter, in step 118, the percentage result is calculated as in step 216 of FIG. 2, and in step 120, the calculated percentage result is output as in step 218 of FIG. 2, and the process ends.
以上説明したように、本実施の形態に係る環境数値化装置によれば、画像情報と、ネットワークを介して取得した地域情報とから抽出した事項に基づいて車両の周辺環境に開花した（換言すれば「観賞価値がある」）桜が存在する尺度を数値化して出力することができる。出力した数値は、第1の実施の形態のように、室内灯等の色調制御に用いてもよいし、観賞価値がある桜が存在することを音声ガイダンス又はインストルメントパネル上に文字、図形、記号若しくはこれらの結合による視覚情報等で乗員に通知するようにしてもよい。 As described above, according to the environment quantifying device according to the present embodiment, the environment around the vehicle has flowered based on the items extracted from the image information and the regional information acquired via the network (in other words, ("Appreciative value"). It is possible to numerically output a scale where cherry blossoms exist. The output numerical value may be used for controlling the color tone of an interior light or the like as in the first embodiment, or may indicate that there is a cherry blossom having an ornamental value by providing a voice guidance or a character, a graphic, or the like on the instrument panel. The occupant may be notified by a sign or visual information based on a combination thereof.
本実施の形態では、桜を対象としたが、梅又は桃であってもよい。図１１は、桜のみならず梅及び桃についても観賞価値のある存在を検出する場合の一例を示した説明図である。図１１に示したように、画像情報からピンクの花を検出した場合、内蔵時計、ＧＰＳ及びニュースＡＰＩを用いて検出したピンク花が何であるかを特定し、特定した花について、上述の図９、１０に示した処理を行って観賞価値のある存在の尺度を数値化する。 In this embodiment, cherry blossoms are used, but plums or peaches may be used. FIG. 11 is an explanatory diagram showing an example of a case where not only cherry blossoms but also plums and peaches are detected as having an ornamental value. As shown in FIG. 11, when a pink flower is detected from the image information, what the detected pink flower is by using the built-in clock, the GPS, and the news API is specified. The processing shown in FIG. 10 is performed to quantify the scale of existence having an ornamental value.
また、画像情報から抽出する対象をピンクの花ではなく、赤い葉とし、時期的要件を秋季とすることにより、観賞価値のある紅葉の存在を検出することもできる。 In addition, if the target to be extracted from the image information is not a pink flower but a red leaf and the time requirement is autumn, it is possible to detect the presence of an ornamental-valued autumn leaf.
以上説明したように、本実施の形態では、画像情報と、ネットワークを介して取得した地域情報と、時期的要件とから抽出した事項と、に基づいて車両の周辺環境を数値化する。画像情報から抽出する対象を、「ピンクの花」、「赤い葉」等に設定することにより、桜、梅、桃、又は紅葉等の鑑賞価値がある存在を周辺環境から正確に抽出して、その存在の程度を数値化することが可能になる。 As described above, in the present embodiment, the surrounding environment of a vehicle is quantified based on image information, local information acquired via a network, and items extracted from temporal requirements. By setting the target to be extracted from the image information to "pink flowers", "red leaves", etc., it is possible to accurately extract appreciable values such as cherry blossoms, plums, peaches, or autumn leaves from the surrounding environment, It becomes possible to quantify the degree of its existence.
上述の第1の実施の形態及び本実施の形態では、マトリックスを生成する際に、当該マトリックスの各セルの数値は、下位の桁をメイン情報に係る数値とし、上位の桁をサブ情報に係る数値とした。しかしながら、かかる態様に限定されるものではなく、当該マトリックスの各セルの数値を、下位の桁をサブ情報に係る数値とし、上位の桁をメイン情報に係る数値としてもよい。 In the first embodiment and the present embodiment described above, when generating a matrix, the numerical value of each cell of the matrix is such that the lower digit is a numerical value related to the main information and the upper digit is a numerical value related to the sub information. Numeric values were used. However, the present invention is not limited to such an embodiment, and the numerical value of each cell of the matrix may be such that the lower digit is a numerical value related to the sub information and the upper digit is a numerical value related to the main information.
１〜５ 辞書
１０ 画像情報処理スレッド
１２ 狭域周辺情報取得部
１４ 画像情報入力部
１６ 画像分析ＡＰＩ
１８ 分析結果出力部
２０ 対象物分類部
３０ 地域情報処理スレッド
３２ 広域周辺情報取得部
３４ 位置情報入力部
３６ ローカルサーチＡＰＩ
３８ 分析結果出力部
４０ 特徴判別部
５０ 数値出力部
１００ 環境数値化装置
１１０ 要素抽出部
１２０ 数値演算処理部
１３０ 直線
１４０ 機器制御部
１５０ 照明機器
Ａ、Ｂ 辞書
Ｃ(n) 数値
Ｄ(10)、Ｄ(n)、Ｆ(10)、Ｆ(n) 名目最大値
supＣ(10) 、supＣ(n)、 supＥ(10)、 supＥ(n) 実測最大値
supａ、supｂ 最大値
result、ｘ 百分率
1 to 5 dictionary 10 image information processing thread 12 narrow area peripheral information acquisition unit 14 image information input unit 16 image analysis API
18 Analysis result output unit 20 Object classification unit 30 Regional information processing thread 32 Wide area peripheral information acquisition unit 34 Location information input unit 36 Local search API
38 Analysis result output unit 40 Feature discrimination unit 50 Numerical output unit 100 Environmental digitizing device 110 Element extraction unit 120 Numerical calculation processing unit 130 Straight line 140 Device control unit 150 Lighting equipment A, B Dictionary C (n) Numerical value D (10) , D (n) , F (10) , F (n) nominal maximum
sup C (10) , sup C (n) , sup E (10) , sup E (n) measured maximum value
sup a, sup b maximum value
result, x percentage
Claims (9)
前記画像情報から抽出した対象物の属性を特定する特定部と、
前記車両が位置する地域についての地域情報を取得する地域情報取得部と、
前記地域情報から抽出した地域の特徴を示す単語の出現頻度に基づいて、前記地域の特徴を推定する推定部と、
前記特定部により特定された前記対象物の属性と、前記推定部により推定された前記地域の特徴との組み合わせに基づいて、前記車両の周辺の環境を数値化する数値化部と、
を備えた環境数値化装置。 An image information acquisition unit that acquires image information around the vehicle,
A specifying unit that specifies an attribute of the target object extracted from the image information;
A region information acquisition unit that acquires region information about a region where the vehicle is located,
An estimating unit that estimates the feature of the area based on the frequency of appearance of words indicating the feature of the area extracted from the area information;
An attribute of the object specified by the specifying unit, based on a combination of the characteristics of the area estimated by the estimating unit, based on a numerical value of the environment around the vehicle,
Environmental digitizing device equipped with.
前記数値化部は、前記属性に対して設定された数値の最大値を下位の桁にし、前記地域の特徴に対して設定された数値の最大値を上位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を下位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を上位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする請求項１〜３のいずれか１項に記載の環境数値化装置。 For each of the attributes, a value corresponding to the strength of the tendency common to each of the attributes is set in advance, and for the feature of the region, a value corresponding to the strength of the feature is set in advance,
The digitizing unit sets a maximum value of a numerical value set for the attribute to a lower digit, and sets a maximum value of a numerical value set for the feature of the region to an upper digit, and a nominal maximum value. The numerical value set in the attribute specified by the specifying unit is a lower digit, and based on the real numerical value in which the numerical value set in the feature of the area estimated by the estimating unit is the upper digit, the nominal maximum value The environmental quantification device according to any one of claims 1 to 3, wherein a percentage of the real numerical value with respect to (i) is a numerical value indicating an environment around the vehicle.
前記数値化部は、前記属性に対して設定された数値の最大値を上位の桁にし、前記地域の特徴に対して設定された数値の最大値を下位の桁とする名目最大値と、前記特定部が特定した属性に設定された数値を上位の桁にし、前記推定部により推定された前記地域の特徴に設定された数値を下位の桁とする実数値とに基づいて、前記名目最大値に対する前記実数値の百分率を前記車両の周辺の環境を示す数値とする請求項１〜３のいずれか１項に記載の環境数値化装置。 For each of the attributes, a value corresponding to the strength of the tendency common to each of the attributes is set in advance, and for the feature of the region, a value corresponding to the strength of the feature is set in advance,
The digitizing unit sets a maximum value of a numerical value set for the attribute to an upper digit, and a nominal maximum value to set a maximum value of a numerical value set for the characteristic of the region to a lower digit, Based on the numerical value set to the attribute specified by the specifying unit as a high-order digit, and based on a real number with the numerical value set to the feature of the area estimated by the estimating unit as a low-order digit, the nominal maximum value The environmental quantification device according to any one of claims 1 to 3, wherein a percentage of the real numerical value with respect to (i) is a numerical value indicating an environment around the vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018159562A JP7052642B2 (en) | 2018-08-28 | 2018-08-28 | Environmental digitizer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018159562A JP7052642B2 (en) | 2018-08-28 | 2018-08-28 | Environmental digitizer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020035092A true JP2020035092A (en) | 2020-03-05 |
| JP7052642B2 JP7052642B2 (en) | 2022-04-12 |
Family
ID=69668170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018159562A Active JP7052642B2 (en) | 2018-08-28 | 2018-08-28 | Environmental digitizer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7052642B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004362314A (en) * | 2003-06-05 | 2004-12-24 | Ntt Data Corp | Retrieval information registration device, information retrieval device, and retrieval information registration method |
| JP2005319837A (en) * | 2004-05-06 | 2005-11-17 | Pioneer Electronic Corp | Device, method and program for adjusting environment, and recording medium with the program recorded therein |
| JP2010097518A (en) * | 2008-10-20 | 2010-04-30 | Omron Corp | Counter, counting method, and counting program |
| JP2015191355A (en) * | 2014-03-27 | 2015-11-02 | 株式会社日本総合研究所 | Regional information discovery system by mobile body and method therefor |
| US20160358190A1 (en) * | 2015-06-04 | 2016-12-08 | The Nielsen Company (Us), Llc | Methods and apparatus to estimate a population of a consumer segment in a geographic area |
| JP2018005611A (en) * | 2016-07-04 | 2018-01-11 | 株式会社Ｎｔｔドコモ | Information processing equipment |
-
2018
- 2018-08-28 JP JP2018159562A patent/JP7052642B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004362314A (en) * | 2003-06-05 | 2004-12-24 | Ntt Data Corp | Retrieval information registration device, information retrieval device, and retrieval information registration method |
| JP2005319837A (en) * | 2004-05-06 | 2005-11-17 | Pioneer Electronic Corp | Device, method and program for adjusting environment, and recording medium with the program recorded therein |
| JP2010097518A (en) * | 2008-10-20 | 2010-04-30 | Omron Corp | Counter, counting method, and counting program |
| JP2015191355A (en) * | 2014-03-27 | 2015-11-02 | 株式会社日本総合研究所 | Regional information discovery system by mobile body and method therefor |
| US20160358190A1 (en) * | 2015-06-04 | 2016-12-08 | The Nielsen Company (Us), Llc | Methods and apparatus to estimate a population of a consumer segment in a geographic area |
| JP2018005611A (en) * | 2016-07-04 | 2018-01-11 | 株式会社Ｎｔｔドコモ | Information processing equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7052642B2 (en) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136170B (en) | Remote sensing image building change detection method based on convolutional neural network | |
| Zheng et al. | A new source of multi-spectral high spatial resolution night-time light imagery—JL1-3B | |
| US8515673B2 (en) | Crime risk assessment system | |
| CN108287843B (en) | Method and device for searching interest point information and navigation equipment | |
| CN105022835B (en) | A kind of intelligent perception big data public safety recognition methods and system | |
| US8290705B2 (en) | Mobile navigation system with graphic crime-risk display | |
| CN110363134B (en) | Human face shielding area positioning method based on semantic segmentation | |
| CN106681996B (en) | The method and apparatus for determining interest region in geographic range, point of interest | |
| CN104199840B (en) | Intelligent place name identification technology based on statistical model | |
| CN110866494B (en) | Urban group extraction method and system based on optical remote sensing image | |
| CN106250845A (en) | Flame detecting method based on convolutional neural networks and device | |
| KR101228017B1 (en) | The method and apparatus for image recognition based on position information | |
| CN111325240A (en) | Weed-related computer-executable method and computer system | |
| US20120195506A1 (en) | Regional information extraction method, region information output method and apparatus for the same | |
| WO2023065798A1 (en) | Dynamic road event processing method and apparatus, device, and medium | |
| Pafi et al. | Measuring the accessibility of urban green areas | |
| JP4906705B2 (en) | Method and apparatus for automatically identifying a region of interest in a digital map | |
| CN106897432B (en) | System and method for crawling landmark information in electronic map | |
| Lefebvre et al. | Monitoring the morphological transformation of Beijing old city using remote sensing texture analysis | |
| CN114565057A (en) | Machine learning-based grading field identification method and device, storage medium and terminal | |
| CN113378668A (en) | Method, device and equipment for determining accumulated water category and storage medium | |
| JP2020035092A (en) | Environment digitizing device | |
| JPWO2019082381A1 (en) | Image extraction apparatus, image extraction method, and image extraction program | |
| CN107436925A (en) | A kind of POI data search method and correlating method | |
| Zhang et al. | The color analysis of building façades: Based on the panoramic street view images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210406 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7052642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |