JP2018194541A - Information searching system and method, and information searching program - Google Patents

Information searching system and method, and information searching program Download PDF

Info

Publication number
JP2018194541A
JP2018194541A JP2018060578A JP2018060578A JP2018194541A JP 2018194541 A JP2018194541 A JP 2018194541A JP 2018060578 A JP2018060578 A JP 2018060578A JP 2018060578 A JP2018060578 A JP 2018060578A JP 2018194541 A JP2018194541 A JP 2018194541A
Authority
JP
Japan
Prior art keywords
information
target event
subject
detection algorithm
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018060578A
Other languages
Japanese (ja)
Other versions
JP6843439B2 (en
Inventor
直樹 野呂
Naoki Noro
直樹 野呂
洋平 高良
Yohei Takara
洋平 高良
史識 安藤
Fuminori Ando
史識 安藤
雄大 藤森
Takahiro Fujimori
雄大 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EBA JAPAN CO Ltd
Original Assignee
EBA JAPAN CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EBA JAPAN CO Ltd filed Critical EBA JAPAN CO Ltd
Priority to CN201880002479.9A priority Critical patent/CN109313126A/en
Priority to EP18801650.5A priority patent/EP3474000A4/en
Priority to RU2018143646A priority patent/RU2724786C1/en
Priority to KR1020187034735A priority patent/KR102273128B1/en
Priority to PCT/JP2018/018219 priority patent/WO2018212078A1/en
Priority to US16/309,927 priority patent/US10832088B2/en
Priority to CA3026633A priority patent/CA3026633C/en
Publication of JP2018194541A publication Critical patent/JP2018194541A/en
Application granted granted Critical
Publication of JP6843439B2 publication Critical patent/JP6843439B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

To automatically search for detection algorithm information for acquiring spectral data necessary for determining an object event from a subject.SOLUTION: When searching for detection algorithm information necessary for determining an object event from a photographed subject 10, an information searching system receives input of information on an object event in the subject to be newly determined, refers to three or more steps of first degree of association between object events in the subject stored in an algorithm database 3 and the detection algorithm information, and searches for one or more pieces of detection algorithm information on the basis of the input information on the object event.SELECTED DRAWING: Figure 13

Description

本発明は、被写体から目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズム情報や、これを撮影する撮影装置の各種撮影条件を自動的に探索する上で好適な情報探索システム及び方法、情報探索プログラムに関するものである。   The present invention provides an information search system suitable for automatically searching for detection algorithm information for acquiring spectrum data necessary for discriminating a target event from a subject and various shooting conditions of a shooting apparatus for shooting the spectrum data. And a method and an information search program.

従来より、被写体の撮影画像を波長毎に分光して分析することにより、被写体について所望の事象を判別するスペクトル撮像装置が提案されている。スペクトル撮像装置は、紫外から可視、更には赤外に至るまでの波長領域について、0.1nm〜100nmの波長分解能で数十バンド以上に亘り分光可能な高波長分解分光情報(以下、ハイパースペクトルデータ)を取得することができる。このようなハイパースペクトルデータを活用することで、例えば食品の鮮度、建築構造物の欠陥、植物の光合成、鉱物中に含まれる化学元素、肌の水分やシミ等を高精度に分析することが可能となる。即ち、このスペクトル撮像装置によれば、単に被写体のみを撮像することに終始するのではなく、その被写体における目的事象までを検知することが可能となる。   2. Description of the Related Art Conventionally, a spectral imaging apparatus has been proposed that discriminates a desired event for a subject by analyzing a captured image of the subject for each wavelength. The spectral imaging device is a high wavelength resolution spectroscopic information (hereinafter referred to as hyperspectral data) capable of performing spectroscopy over several tens of bands with a wavelength resolution of 0.1 nm to 100 nm in the wavelength range from ultraviolet to visible and further to infrared. ) Can be obtained. By utilizing such hyperspectral data, it is possible to analyze, for example, food freshness, building structure defects, plant photosynthesis, chemical elements contained in minerals, moisture and stains on the skin with high accuracy. It becomes. That is, according to the spectrum imaging apparatus, it is possible to detect not only the subject but also the target event in the subject, instead of simply capturing only the subject.

このようなハイパースペクトルデータを取得することができるスペクトル撮像装置の例が、例えば特許文献1、2に開示されている。   Examples of spectral imaging devices that can acquire such hyperspectral data are disclosed in Patent Documents 1 and 2, for example.

特許文献1には、人体内の腫瘍部位を目的事象としたスペクトル撮像装置が開示されている。この特許文献1の開示技術によれば、癌細胞内に蓄積される成分に応じた蛍光波長に焦点を当てて検出を行うことにより、腫瘍部位と非腫瘍部位を識別するものである。   Patent Document 1 discloses a spectrum imaging apparatus that uses a tumor site in a human body as a target event. According to the technology disclosed in Patent Document 1, a tumor site and a non-tumor site are identified by performing detection while focusing on the fluorescence wavelength corresponding to the component accumulated in the cancer cell.

また、特許文献2には、被写体が果実であるか否かを判別するための情報処理装置が開示されている。果実の基準特徴量を予め取得しておき、実際に撮像した被写体の分光画像の特徴量との比較に基づいて、被写体が果実であるか否かを判別する。この基準特徴量は何れもスペクトルデータに基づいている。   Patent Document 2 discloses an information processing apparatus for determining whether or not a subject is a fruit. A reference feature amount of the fruit is acquired in advance, and it is determined whether or not the subject is a fruit based on a comparison with the feature amount of the spectral image of the actually captured subject. These reference feature amounts are all based on spectrum data.

他には、ハイパースペクトルデータを画像解析に着目した技術も開示されている(例えば、特許文献3参照。)。   In addition, a technique that focuses on image analysis of hyperspectral data is also disclosed (see, for example, Patent Document 3).

国際公開13/002350号公報International Publication No. 13/002350 特開2017−3495号公報JP 2017-3495 A 特開2015−166682号公報Japanese Patent Laying-Open No. 2015-166682

しかしながら、この被写体における目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズムを研究するのは多くの時間と労力を要し、しかも技術的な知見も必要となる。   However, studying a detection algorithm for acquiring spectrum data necessary for discriminating a target event in this subject requires a lot of time and labor, and also requires technical knowledge.

例えば上述した人体内の腫瘍部位のスペクトルデータを得るための検出アルゴリズムは、癌細胞内に蓄積されるプロトポルフィリンIXが635nmの蛍光を発し、フォトープロトポルフィリンが675nmの蛍光を発光する点に着目し、これらの蛍光を検知可能な検出アルゴリズムを組むことになる。このような検出アルゴリズムを組む上では、これら癌細胞内に蓄積される成分が何であるのか、またいかなる波長の蛍光を発光するのか等の技術的知見が必要とされ、更にこれらの蛍光のみを精度よく抽出して的確な識別を行うための各種検討に多くの時間と労力が必要となる。   For example, the detection algorithm for obtaining the spectrum data of the tumor site in the human body mentioned above pays attention to the fact that protoporphyrin IX accumulated in cancer cells emits fluorescence of 635 nm, and photoprotoporphyrin emits fluorescence of 675 nm. Therefore, a detection algorithm capable of detecting these fluorescences is assembled. In constructing such a detection algorithm, it is necessary to have technical knowledge such as what is the component accumulated in these cancer cells and what wavelength of fluorescence is emitted, and furthermore, only these fluorescence is accurately detected. A lot of time and effort are required for various studies to extract well and identify accurately.

このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを容易に取得することができる技術が従来より望まれていた。しかしながら、特許文献1〜3には、被写体の目的事象に応じて最適な検出アルゴリズムを取得するための技術は特段開示されていない。   For this reason, there has been a demand for a technique that can easily acquire an optimal detection algorithm each time new target events of a subject occur one after another. However, Patent Documents 1 to 3 do not specifically disclose a technique for acquiring an optimal detection algorithm according to a target event of a subject.

また、実際に被写体を撮像する撮像装置を設計する上での条件や、被写体を撮影する上での条件(以下、これらを撮影条件と総称する)を自動的に探索することで開発コストの削減や、開発期間の短縮化を図る必要もあるが、特許文献1〜3にはかかる要請に対応できる技術は特段開示されていない。   Also, development costs can be reduced by automatically searching for conditions for designing an imaging device that actually captures the subject and conditions for photographing the subject (hereinafter collectively referred to as imaging conditions). In addition, although it is necessary to shorten the development period, Patent Documents 1 to 3 do not disclose any technology that can meet such a request.

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、被写体から目的事象を判別する上で必要なスペクトルデータを取得するための検出アルゴリズム情報や、これを撮影する撮影装置の撮影条件を自動的に探索することが可能な情報探索システム及び方法、情報探索プログラムを提供することにある。   Therefore, the present invention has been devised in view of the above-described problems, and the object of the present invention is detection algorithm information for obtaining spectrum data necessary for discriminating a target event from a subject, An object of the present invention is to provide an information search system and method, and an information search program capable of automatically searching for shooting conditions of a shooting device that takes this.

本発明者らは、上述した課題を解決するために、撮影した被写体から目的事象を判別する上で必要な検出アルゴリズム情報を探索する上で、新たに判別すべき被写体の目的事象に関する情報の入力を受け付け、第1連関データベースに記憶されている被写体の各目的事象と、検出アルゴリズム情報との3段階以上の第1連関度を参照し、上記入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索させる情報探索システム及び方法、情報探索プログラムを発明した。   In order to solve the above-mentioned problems, the inventors input information related to a target event of a subject to be newly determined when searching for detection algorithm information necessary for determining the target event from a photographed subject. 1 or more based on the input information about the target event, referring to the first degree of association of three or more stages of each target event of the subject stored in the first association database and the detection algorithm information. Invented an information search system and method, and an information search program for searching for detection algorithm information.

本発明に係る情報探索システムは、撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索手段とを備えることを特徴とする。   An information search system according to the present invention is an information search system that searches for detection algorithm information of spectrum data necessary for discriminating a target event from a photographed subject, and includes three target events of the subject and the detection algorithm information. A first association database in which first and higher degrees of association are stored in advance, target event input means for inputting information on a target event of a subject to be newly determined, and the first association database. Search means for searching for one or more detection algorithm information based on the information related to the target event input through the target event input means with reference to the first association degree is provided.

本発明に係る情報探索システムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、被写体の各目的事象と、各撮影条件との3段階以上の第1連関度が予め記憶されている第1連関データベースと、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索手段とを備えることを特徴とする。   An information search system according to the present invention is an information search system for searching for shooting conditions of a shooting device for discriminating a target event from a shot subject, and includes three or more stages of each target event of a subject and each shooting condition. A first association database in which a degree of association is stored in advance; a target event input means for inputting information relating to a target event of a subject to be newly determined; and the first association in which the first association database is stored. And a search means for searching for one or more photographing conditions based on information about the target event input through the target event input means.

本発明に係る情報探索プログラムは、撮影した被写体から目的事象を判別する上で必要な検出アルゴリズム情報を探索する情報探索プログラムにおいて、新たに判別すべき被写体の目的事象に関する情報の入力を受け付ける目的事象入力ステップと、第1連関データベースに記憶されている被写体の各目的事象と、検出アルゴリズム情報との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップとをコンピュータに実行させることを特徴とする。   The information search program according to the present invention is an information search program for searching detection algorithm information necessary for determining a target event from a photographed subject, and a target event that receives input of information related to a target event of a subject to be newly determined Referring to the first association degree in three or more stages of the input step, each object event of the subject stored in the first association database, and the detection algorithm information, it relates to the object event input in the object event input step And a search step for searching for one or more detection algorithm information based on the information.

本発明に係る情報探索プログラムは、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、第1連関データベースに記憶されている、被写体の各目的事象と、各撮影条件との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップとをコンピュータに実行させることを特徴とする。   An information search program according to the present invention is an information search program for searching for shooting conditions of a shooting device for determining a target event from a shot subject. The target event input in the target event input step with reference to the first relevance in three or more stages of the input step, each target event of the subject, and each shooting condition stored in the first link database And a search step for searching for one or more imaging conditions based on the information on the computer.

本発明に係る情報探索方法は、撮影した被写体から目的事象を判別する上で必要な検出アルゴリズム情報を探索する情報探索方法において、新たに判別すべき被写体の目的事象に関する情報の入力を受け付ける目的事象入力ステップと、第1連関データベースに記憶されている被写体の各目的事象と、検出アルゴリズム情報との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップとを有し、これらの各ステップはコンピュータが実行することを特徴とする。   The information search method according to the present invention is an information search method for searching detection algorithm information necessary for determining a target event from a photographed subject, and a target event for receiving input of information on a target event of a subject to be newly determined Referring to the first association degree in three or more stages of the input step, each object event of the subject stored in the first association database, and the detection algorithm information, it relates to the object event input in the object event input step And a search step for searching for one or more detection algorithm information based on the information, each step being executed by a computer.

本発明に係る情報探索方法は、撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索方法において、新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、第1連関データベースに記憶されている、被写体の各目的事象と、各撮影条件との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップとを有し、これらの各ステップはコンピュータが実行することを特徴とする。   The information search method according to the present invention is an information search method for searching for shooting conditions of a shooting device for determining a target event from a shot subject. The target event input in the target event input step with reference to the first relevance in three or more stages of the input step, each target event of the subject, and each shooting condition stored in the first link database And a search step for searching for one or more photographing conditions based on the information on the information, and each step is executed by a computer.

上述した構成からなる本発明によれば、これから判別すべき被写体の目的事象に応じたスペクトルデータの最適な検出アルゴリズム情報を容易に取得することが可能となる。このため、次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。   According to the present invention having the above-described configuration, it is possible to easily acquire optimal detection algorithm information of spectrum data corresponding to a target event of a subject to be determined. For this reason, each time new target events of a subject are born one after another, it is possible to reduce the burden of labor for studying an optimal detection algorithm, and to shorten the time.

本発明を適用した第1実施形態に係る情報探索システムの全体構成を示すブ ロック図である。1 is a block diagram showing an overall configuration of an information search system according to a first embodiment to which the present invention is applied. 情報探索システムを構成する探索装置のブロック図である。It is a block diagram of the search device which comprises an information search system. 情報探索システムを構成するスペクトル撮像装置のブロック図である。It is a block diagram of the spectrum imaging device which comprises an information search system. スペクトル撮像装置における制御部の詳細な構成を説明するための図である。It is a figure for demonstrating the detailed structure of the control part in a spectrum imaging device. 撮影装置のブロック構成例を示す図である。It is a figure which shows the block structural example of an imaging device. 情報探索プログラムの処理動作手順を示すフローチャートである。It is a flowchart which shows the processing operation procedure of an information search program. ある果実の鮮度をスペクトルデータを介して判別する例について説明するための図である。It is a figure for demonstrating the example which discriminate | determines the freshness of a certain fruit via spectrum data. 被写体の参照用目的事象と、検出アルゴリズム情報とを第1連関度により互いを関係付けたネットワークを示す図である。It is a figure which shows the network which linked | related the objective event for a reference of a to-be-photographed object, and detection algorithm information with the 1st relevance degree. 被写体の目的事象に加え、これら照明系、撮像系の各種パラメータを第1連関度により関連付けた例を示す図である。It is a figure which shows the example which linked | related the various parameters of these illumination systems and the imaging system with 1st relevance in addition to the objective event of a to-be-photographed object. 第1連関度の他の例について説明するための図である。It is a figure for demonstrating the other example of 1st relevance. 被写体の参照用目的事象と、撮影条件とを第1連関度により互いを関係付けたネットワークを示す図である。It is a figure which shows the network which linked | related the objective event for reference of a to-be-photographed object, and imaging | photography conditions with the 1st correlation. 被写体の参照用目的事象及び参照用撮影条件と、撮影条件とを第1連関度により互いを関係付けたネットワークを示す図である。It is a figure which shows the network which linked | related the objective event for reference of a to-be-photographed, reference | standard imaging | photography conditions, and imaging | photography conditions with the 1st relevance. 被写体の目的事象の入力から撮影装置の撮影条件を取得するまでのデータフロー図である。FIG. 6 is a data flow diagram from input of a target event of a subject to acquisition of imaging conditions of the imaging apparatus. 本発明を適用した第2実施形態に係る情報探索システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the information search system which concerns on 2nd Embodiment to which this invention is applied. 複数の検出アルゴリズム情報等の組み合わせに対する撮影条件が3段階以上の第2連関度により関連付けられた例を示す図である。It is a figure which shows the example with which the imaging conditions with respect to the combination of several detection algorithm information etc. were linked | related by the 3rd or more steps of 2nd linkage. 第2連関度の他の例について説明するための図である。It is a figure for demonstrating the other example of 2nd relevance. 組み合わせの第2連関度の例について説明するための図である。It is a figure for demonstrating the example of the 2nd association degree of a combination. 左側の参照用検出アルゴリズム情報にフィルタの条件を規定し、右側の撮影条件には、撮像素子の条件を規定した例を示す図である。It is a figure which shows the example which prescribed | regulated the conditions of the filter in the detection algorithm information for a left side, and prescribed | regulated the conditions of the image pick-up element in the imaging | photography condition of the right side. スペクトルデータによる目的事象の自動的な判別する上で必要となる第3連関度を示す図である。It is a figure which shows the 3rd relevance required in order to discriminate | determine automatically the target event by spectrum data. 組み合わせに対する被写体の目的事象の判別結果との3段階以上の第3連関度を示す図である。It is a figure which shows the 3rd degree of 3rd relationship or more with the discrimination | determination result of the target event of the object with respect to a combination. 探索すべき設計情報との3段階以上の第4連関度が設定されている例を示す図である。It is a figure which shows the example in which the 4th degree of association of the 3 steps or more with the design information which should be searched is set.

以下、本発明を適用した情報探索システムについて、図面を参照しながら詳細に説明をする。   Hereinafter, an information search system to which the present invention is applied will be described in detail with reference to the drawings.

第1実施形態
図1は、本発明を適用した第1実施形態に係る情報探索システム1の全体構成を示すブロック図である。情報探索システム1は、スペクトル撮像装置4に対して提供すべき検出アルゴリズム情報を探索するものであり、アルゴリズムデータベース3と、このアルゴリズムデータベースに接続された探索装置2と、探索装置2に接続されるスペクトル撮像装置4及び撮影装置5とを備えている。
First Embodiment FIG. 1 is a block diagram showing the overall configuration of an information search system 1 according to a first embodiment to which the present invention is applied. The information search system 1 searches for detection algorithm information to be provided to the spectrum imaging device 4. The information search system 1 is connected to the algorithm database 3, the search device 2 connected to the algorithm database, and the search device 2. A spectral imaging device 4 and an imaging device 5 are provided.

アルゴリズムデータベース3は、スペクトル撮像装置4に対して提供すべき検出アルゴリズム情報に関するデータベースが構築されている。また、アルゴリズムデータベース3は、撮影装置5の撮影条件に関するデータベースが構築されている。このアルゴリズムデータベース3には、公衆通信網を介して送られてきた情報、或いは本システムのユーザによって入力された情報が蓄積される。またアルゴリズムデータベース3は、探索装置2からの要求に基づいて、この蓄積した情報を探索装置2へと送信する。   In the algorithm database 3, a database related to detection algorithm information to be provided to the spectrum imaging device 4 is constructed. In addition, the algorithm database 3 is a database related to shooting conditions of the shooting device 5. The algorithm database 3 stores information sent via a public communication network or information input by a user of this system. The algorithm database 3 transmits the accumulated information to the search device 2 based on a request from the search device 2.

探索装置2は、例えば、パーソナルコンピュータ(PC)等を始めとした電子機器で構成されているが、PC以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。   The search device 2 is composed of electronic devices such as a personal computer (PC), for example. In addition to the PC, the search device 2 is embodied in any other electronic device such as a mobile phone, a smartphone, a tablet terminal, and a wearable terminal. It may be made.

図2は、探索装置2の具体的な構成例を示している。この探索装置2は、探索装置2全体を制御するための制御部24と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部25と、有線通信又は無線通信を行うための通信部26と、最適な検出アルゴリズム情報を探索する探索部27と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部28とが内部バス21にそれぞれ接続されている。さらに、この内部バス21には、実際に情報を表示するモニタとしての表示部23が接続されている。   FIG. 2 shows a specific configuration example of the search device 2. The search device 2 performs wired communication or wireless communication with a control unit 24 for controlling the entire search device 2 and an operation unit 25 for inputting various control commands via operation buttons, a keyboard, and the like. A communication unit 26 for searching, a search unit 27 for searching for optimal detection algorithm information, and a storage unit 28 for storing a program for performing a search to be executed, represented by a hard disk or the like. It is connected. Further, the internal bus 21 is connected to a display unit 23 as a monitor for actually displaying information.

制御部24は、内部バス21を介して制御信号を送信することにより、探索装置2内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部24は、操作部25を介した操作に応じて各種制御用の指令を内部バス21を介して伝達する。   The control unit 24 is a so-called central control unit for controlling each component mounted in the search device 2 by transmitting a control signal via the internal bus 21. Further, the control unit 24 transmits various control commands via the internal bus 21 in accordance with an operation via the operation unit 25.

操作部25は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部25は、上記実行命令がユーザから入力された場合には、これを制御部24に通知する。この通知を受けた制御部24は、探索部27を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。   The operation unit 25 is embodied by a keyboard or a touch panel, and an execution command for executing a program is input from the user. When the execution command is input from the user, the operation unit 25 notifies the control unit 24 of this. Upon receiving this notification, the control unit 24 executes a desired processing operation in cooperation with each component including the search unit 27.

探索部27は、スペクトル撮像装置4により撮像した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する。この探索部27は、探索動作を実行するに当たり、必要な情報として記憶部28に記憶されている各種情報や、アルゴリズムデータベースに記憶されている各種情報を読み出す。この探索部27は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。   The search unit 27 searches for detection algorithm information of spectrum data necessary for discriminating the target event from the subject imaged by the spectrum imaging device 4. The search unit 27 reads various information stored in the storage unit 28 as necessary information and various information stored in the algorithm database when executing the search operation. The search unit 27 may be controlled by artificial intelligence. This artificial intelligence may be based on any known artificial intelligence technology.

表示部23は、制御部24による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部23は、例えば、液晶ディスプレイ(LCD)等によって実現される。   The display unit 23 includes a graphic controller that creates a display image based on control by the control unit 24. The display unit 23 is realized by, for example, a liquid crystal display (LCD).

記憶部28は、ハードディスクで構成される場合において、制御部24による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部28には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部24により読み出されて実行されることになる。   When the storage unit 28 is composed of a hard disk, based on the control by the control unit 24, predetermined information is written to each address and is read out as necessary. The storage unit 28 stores a program for executing the present invention. This program is read by the control unit 24 and executed.

図3は、スペクトル撮像装置4の構成例を示している。スペクトル撮像装置4は、いわゆるマルチスペクトルカメラや、カラーフィルタを交換する方式のカメラや、プリズムを用いた方式のカメラで構成されている。スペクトル撮像装置4は、被写体を撮影し、更にそこから分光画像を取得する。スペクトル撮像装置4は、各撮影位置における2次元分光データから2次元の空間情報と1次元の波長情報とを有する3次元分光データに基づいて分光画像を生成する。スペクトル撮像装置4が生成する分光画像は、波長ごとの被写体の反射率又は透過率を示す複数の二次元画像からなる。この分光画像の例としては、200nm〜13μmの所定の波長範囲の波長域において、0.1nm〜100nmの波長分解能とされていてもよく、バンド毎の分光画像とされている。   FIG. 3 shows a configuration example of the spectrum imaging apparatus 4. The spectrum imaging device 4 is configured by a so-called multispectral camera, a camera with a color filter exchange method, or a camera with a prism. The spectrum imaging device 4 captures a subject and further acquires a spectral image therefrom. The spectral imaging device 4 generates a spectral image based on three-dimensional spectral data having two-dimensional spatial information and one-dimensional wavelength information from the two-dimensional spectral data at each photographing position. The spectral image generated by the spectral imaging device 4 is composed of a plurality of two-dimensional images indicating the reflectance or transmittance of the subject for each wavelength. As an example of this spectral image, in a wavelength range of a predetermined wavelength range of 200 nm to 13 μm, a wavelength resolution of 0.1 nm to 100 nm may be used, and a spectral image for each band.

ちなみに、このスペクトル撮像装置4により撮像される分光画像における波長範囲は、可視光の領域のみならず、赤外領域、近赤外領域、紫外領域の光も含まれる。   Incidentally, the wavelength range in the spectral image captured by the spectral imaging device 4 includes not only the visible light region but also light in the infrared region, near infrared region, and ultraviolet region.

スペクトル撮像装置4は、撮像対象が自ら発する光や被写体10が反射又は透過する光、すなわち被写体10からの撮影光Lを取り込む対物レンズ41と、XYZからなる3軸の直交座標系におけるY軸方向に移動する精密直動ステージ42と、対物レンズ41の像面においてZ軸方向に設けられたスリット開口部43aを配設するためのスリット板43と、スリット開口部43aを通過した光束を平行光とするコリメートレンズ44と、コリメートレンズ44からの平行光を分散させる分散光学素子45と、分散光学素子45から出射された光束を取り込む結像レンズ46と、結像レンズ46の像面上に設けられた撮像素子47と、精密直動ステージ42および撮像素子47を制御し、更に撮像素子47を介して受光された画像データの各種処理を行う制御部48とを備えている。なお、このスペクトル撮像装置4は、特開2015−166682号公報の開示技術を用いるようにしてもよい。   The spectral imaging apparatus 4 includes an objective lens 41 that takes in light emitted by the imaging target itself, light reflected or transmitted by the subject 10, that is, an imaging lens L from the subject 10, and a Y-axis direction in a three-axis orthogonal coordinate system including XYZ. A precision linear motion stage 42 that moves in the direction of Z, a slit plate 43 for disposing a slit opening 43a provided in the Z-axis direction on the image plane of the objective lens 41, and a light beam that has passed through the slit opening 43a as parallel light. A collimating lens 44, a dispersive optical element 45 that disperses parallel light from the collimating lens 44, an imaging lens 46 that captures a light beam emitted from the dispersive optical element 45, and an image surface of the imaging lens 46. Image sensor 47, precision linear motion stage 42 and image sensor 47 are controlled, and each of the image data received through image sensor 47 is also controlled. And a control unit 48 that performs processing. Note that the spectrum imaging device 4 may use the technology disclosed in Japanese Patent Application Laid-Open No. 2015-166682.

精密直動ステージ42は、制御部48による制御の下でスリット板43、コリメートレンズ44、分散光学素子45、結像レンズ46、撮像素子47を一体的にY軸方向に向けて移動させる。   The precision linear motion stage 42 moves the slit plate 43, the collimating lens 44, the dispersion optical element 45, the imaging lens 46, and the imaging element 47 integrally in the Y-axis direction under the control of the control unit 48.

分散光学素子45は、例えば、回折格子、プリズム等により具現化される。分散光学素子は、コリメートレンズ44を通過してくる光束を波長毎の成分に分散させる機能を有している。   The dispersion optical element 45 is embodied by a diffraction grating, a prism, or the like, for example. The dispersion optical element has a function of dispersing the light beam passing through the collimating lens 44 into components for each wavelength.

撮像素子47は、例えばCCDイメージセンサやCMOSイメージセンサ等により構成される。この撮像素子47は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子47により変換された電気信号は、制御部48に送信される。仮に赤外領域、近赤外領域、紫外領域の光を受光するのであれば、それに適した撮像素子47を配設することになる。   The image sensor 47 is constituted by, for example, a CCD image sensor, a CMOS image sensor, or the like. The imaging element 47 converts light imaged on the imaging surface into an electric signal by photoelectric conversion. Then, the electrical signal converted by the image sensor 47 is transmitted to the control unit 48. If light in the infrared region, near-infrared region, and ultraviolet region is received, an image sensor 47 suitable for the light is provided.

図4は、制御部48の更なる詳細な構成を示している。制御部48は、撮像素子47により電気信号を取得するタイミングを制御する撮影制御部481と、精密直動ステージ42のY軸方向における移動方向、移動量、移動タイミングを制御する移動制御部482と、撮像素子47からの電気信号に基づいて分光データを作成する分光データ作成部483と、分光データ作成部483において作成された分光データに基づいて、各種画像処理や校正等を行う画像処理部484とを備えている。なお、この制御部48の一部の構成要素又は全て要素については、独立したパーソナルコンピュータ(PC)内に実装されるものであってもよい。   FIG. 4 shows a further detailed configuration of the control unit 48. The control unit 48 includes an imaging control unit 481 that controls the timing at which an electric signal is acquired by the image sensor 47, and a movement control unit 482 that controls the movement direction, movement amount, and movement timing of the precision linear motion stage 42 in the Y-axis direction. A spectral data creation unit 483 that creates spectral data based on the electrical signal from the image sensor 47, and an image processing unit 484 that performs various image processing, calibration, and the like based on the spectral data created by the spectral data creation unit 483. And. Note that some or all of the components of the control unit 48 may be mounted in an independent personal computer (PC).

分光データ作成部483は、撮像素子47から送信されてきた電気信号に基づいて、1次元の空間情報と1次元の波長情報とを有する2次元分光データを作成し、これを記憶する。分光データ作成部483は、これらの処理を繰り返し実行し、全ての撮影位置の撮影が終了すると、2次元の空間情報と1次元の波長情報とを有する3次元分光データからなるハイパースペクトル画像を得ることが可能となる。   The spectroscopic data creation unit 483 creates two-dimensional spectroscopic data having one-dimensional spatial information and one-dimensional wavelength information based on the electrical signal transmitted from the image sensor 47, and stores this. The spectral data generation unit 483 repeatedly executes these processes, and when imaging at all imaging positions is completed, obtains a hyperspectral image made up of three-dimensional spectral data having two-dimensional spatial information and one-dimensional wavelength information. It becomes possible.

画像処理部484は、分光データ作成部483において作成された波長毎の分光画像を所定の表色系に変換し、色演算処理を行って色解析画像を生成する。また画像処理部484は、生成した色解析画像を所定の表示方法により表示するための処理を行う。この画像処理部484は、校正処理部484−1と、算出部484−2と、色解析画像取得部484−3とを備えている。   The image processing unit 484 converts the spectral image for each wavelength created by the spectral data creation unit 483 into a predetermined color system, performs color calculation processing, and generates a color analysis image. Further, the image processing unit 484 performs processing for displaying the generated color analysis image by a predetermined display method. The image processing unit 484 includes a calibration processing unit 484-1, a calculation unit 484-2, and a color analysis image acquisition unit 484-3.

この校正処理部484−1は、暗電流に起因するノイズ除去、画素間感度偏差補正処理、輝度校正処理、空間内の光源光の照明ムラの補正等を行う。   The calibration processing unit 484-1 performs noise removal due to dark current, inter-pixel sensitivity deviation correction processing, luminance calibration processing, correction of illumination unevenness of light source light in the space, and the like.

算出部484−2は、校正処理部484−1において処理された各波長ごとの分光画像における各分光放射輝度、各分光輝度等を算出する。   The calculation unit 484-2 calculates each spectral radiance, each spectral luminance, and the like in the spectral image for each wavelength processed by the calibration processing unit 484-1.

色解析画像取得部484−3は、校正処理部484−1において校正処理された各種パラメータ、並びに算出部484−2において算出された各分光放射輝度、各分光輝度等を用いて設定された規格の表色系へ変換するための色空間変換処理を行う。   The color analysis image acquisition unit 484-3 is a standard set by using various parameters calibrated by the calibration processing unit 484-1 and each spectral radiance, each spectral luminance, etc. calculated by the calculation unit 484-2. A color space conversion process is performed for conversion to the color system.

色解析画像取得部484−3において色空間変換処理された色解析画像は、図示しないPC等に送られ、ディスプレイ上等に描画される。   The color analysis image subjected to the color space conversion processing by the color analysis image acquisition unit 484-3 is sent to a PC or the like (not shown) and drawn on a display or the like.

図5は、撮影装置5のブロック構成例を示している。撮影装置5は、一般的なデジタルカメラや、マルチスペクトルカメラ、更には携帯電話やスマートフォン、タブレット型端末、ウェラブル端末にそれぞれ実装されるあらゆるデジタルカメラを含むものである。スペクトル撮像装置4は、あらゆる帯域におけるスペクトルデータを検知することができるのに対して、撮影装置5は、通常の可視光の画像撮影に加えて、予め特定した波長領域に限定してスペクトルデータを検知することを意図するものである。この撮影装置5は、結像光学系51と、フィルタ52と、撮像素子53と、信号処理部54とを備えている。   FIG. 5 shows a block configuration example of the photographing apparatus 5. The imaging device 5 includes a general digital camera, a multispectral camera, and any digital camera mounted on a mobile phone, a smartphone, a tablet terminal, or a wearable terminal. The spectral imaging device 4 can detect spectral data in all bands, while the imaging device 5 is limited to a predetermined wavelength region in addition to normal visible light imaging. It is intended to detect. The photographing device 5 includes an imaging optical system 51, a filter 52, an image sensor 53, and a signal processing unit 54.

結像光学系51は、少なくとも1つの撮像レンズ56を有し、被写体10からの光を集光し撮像素子53の撮像面上に像を形成する。   The imaging optical system 51 has at least one imaging lens 56, collects light from the subject 10, and forms an image on the imaging surface of the imaging element 53.

フィルタ52は、被写体10と撮像レンズ56との間に配置される。フィルタ52は、撮像素子53に到達する光の経路上に配置される。フィルタ52は、所定の分光透過率からなる素子である。即ち、このフィルタ52は、予め設定されている波長領域の光のみを透過させ、それ以外の波長領域の光を反射するように作用する。フィルタ52は、実際に透過させたい光の波長及び波長幅に応じてその種類が選択される。フィルタ52は、撮影装置5内に予め固定配置される場合を例にとり説明をするが、これに限定されるものではない。即ち、このフィルタ52は、互いに透過する波長領域が異なる複数のフィルタ52を順次切換可能に構成されていてもよい。   The filter 52 is disposed between the subject 10 and the imaging lens 56. The filter 52 is disposed on the path of light that reaches the image sensor 53. The filter 52 is an element having a predetermined spectral transmittance. That is, the filter 52 functions to transmit only light in a preset wavelength region and reflect light in other wavelength regions. The type of the filter 52 is selected according to the wavelength and wavelength width of light that is actually desired to be transmitted. The filter 52 will be described as an example in which the filter 52 is fixedly arranged in advance in the photographing apparatus 5, but is not limited thereto. That is, the filter 52 may be configured to be able to sequentially switch a plurality of filters 52 having different wavelength regions that transmit each other.

撮像素子53は、CCDイメージセンサやCMOSイメージセンサ等により構成される。この撮像素子53は、撮像面に結像された光を光電変換により電気信号へと変換する。そして、撮像素子53により変換された電気信号は、信号処理部54に送信される。   The image sensor 53 is configured by a CCD image sensor, a CMOS image sensor, or the like. The imaging element 53 converts light imaged on the imaging surface into an electrical signal by photoelectric conversion. Then, the electrical signal converted by the image sensor 53 is transmitted to the signal processing unit 54.

信号処理部54は、撮像素子53から送られてくる電気信号を処理する回路である。この信号処理部54は、撮像素子53によって取得された画像に基づいて、被写体10からの光の波長域ごとに分離された分光分離画像を生成する。また信号処理部54は、取得した電気信号に基づいて、各種焦点制御を行うようにしてもよい。   The signal processing unit 54 is a circuit that processes an electrical signal sent from the image sensor 53. The signal processing unit 54 generates a spectrally separated image separated for each wavelength range of light from the subject 10 based on the image acquired by the image sensor 53. The signal processing unit 54 may perform various focus controls based on the acquired electrical signal.

上述した構成からなる情報探索システム1の第1実施形態における動作について説明をする。   An operation of the information search system 1 having the above-described configuration in the first embodiment will be described.

先ず探索装置2は、スペクトル撮像装置4や撮影装置5に対して提供すべき検出アルゴリズム情報、或いは撮影装置5に対して提供すべき検出アルゴリズム情報を探索する。この探索プロセスにおいては、新たにスペクトル撮像装置4や撮影装置5により撮影しようとする被写体の目的事象をユーザ自身が入力するところから開始する。ここでいう被写体とは、実際にスペクトル撮像装置4や撮影装置5により撮影される対象物を総称するものであり、目的事象とは、スペクトル撮像装置4や撮影装置5を介して判別したい物、又は事を意味する。例えば塩、砂糖の混合物から塩のみを判別したい場合には、被写体は混合物であり、目的事象は塩となる。例えば水と油の混合物から油のみを判別したい場合には、被写体は混合物であり、目的事象は油となる。例えば寿司の鮮度を判別したい場合には、被写体は寿司であり、目的事象は鮮度となる。例えば顔のシミを判別したい場合には、被写体は顔であり、目的事象は、シミである。例えば胃から胃癌を判別したい場合には、被写体は胃であり、目的事象は胃癌である。   First, the search device 2 searches for detection algorithm information to be provided to the spectral imaging device 4 or the imaging device 5 or detection algorithm information to be provided to the imaging device 5. This search process starts when the user himself / herself inputs a target event of a subject to be newly photographed by the spectral imaging device 4 or the photographing device 5. The subject here is a generic term for objects actually photographed by the spectrum imaging device 4 or the imaging device 5, and the target event is an object to be discriminated through the spectrum imaging device 4 or the imaging device 5. Or mean things. For example, when it is desired to distinguish only salt from a mixture of salt and sugar, the subject is a mixture and the target event is salt. For example, when it is desired to discriminate only oil from a mixture of water and oil, the subject is a mixture and the target event is oil. For example, when it is desired to determine the freshness of sushi, the subject is sushi and the target event is freshness. For example, when it is desired to discriminate a spot on the face, the subject is a face and the target event is a spot. For example, when it is desired to discriminate stomach cancer from the stomach, the subject is the stomach and the target event is stomach cancer.

ユーザは、この被写体の目的事象の入力を操作部25を介して手動で行う。この入力において、他の携帯端末やPC等の電子機器において作成した被写体の目的事象のテキストデータをインターネット経由で入力するようにしてもよい。   The user manually inputs the target event of the subject through the operation unit 25. In this input, text data of a target event of a subject created in an electronic device such as another portable terminal or a PC may be input via the Internet.

このようにして送信又は入力された被写体の目的事象は、記憶部28に記憶されることとなる。   The target event of the subject transmitted or input in this way is stored in the storage unit 28.

このようにして被写体の目的事象が入力された後に、実際に情報探索プログラムによる処理動作が実行されていくこととなる。この情報探索プログラムの処理動作フローを図6に示す。   Thus, after the target event of the subject is input, the processing operation by the information search program is actually executed. The processing operation flow of this information search program is shown in FIG.

情報探索プログラムは、ステップS11において入力され、記憶部28に記憶された被写体の目的事象について文言解析を行う。(ステップS12)。この文言解析については、既存のあらゆるテキストマイニング技術、データマイニング技術、言語解析処理技術等を用いるようにしてもよい。   The information search program performs wording analysis on the target event of the subject input in step S11 and stored in the storage unit 28. (Step S12). For this wording analysis, any existing text mining technology, data mining technology, language analysis processing technology, or the like may be used.

次に、この情報探索プログラムは、解析対象の被写体の目的事象を単語、形態素、句、節等、あらゆる文法上の構造単位の中から何れか1以上の単位に亘り、文字列の抽出を行う。例えば被写体の目的事象として、「足の血管」というテキストデータが入力された場合には、「足」、「血管」等といった文字列を抽出することとなり、「顔の水分」というテキストデータが入力された場合には、「顔」、「水分」等といった文字列を抽出することとなる。情報探索プログラムは、この抽出した文字列から、被写体と目的事象をそれぞれ特定する。上述した例の場合、被写体は、「足」、「顔」であり、目的事象は「血管」、「水分」である。通常であれば被写体を構成する文字列が目的事象を構成する文字列よりも前である場合が多いので、抽出した文字列の先頭から被写体、目的事象をそれぞれ特定することとなる。   Next, this information search program extracts the character string of the target event of the subject to be analyzed from any grammatical structural unit such as word, morpheme, phrase, clause, etc., in any one or more units. . For example, when text data “foot blood vessels” is input as the target event of the subject, character strings such as “foot” and “blood vessels” are extracted, and text data “face moisture” is input. In such a case, a character string such as “face” or “moisture” is extracted. The information search program specifies the subject and the target event from the extracted character string. In the example described above, the subject is “foot” and “face”, and the target events are “blood vessel” and “water”. Normally, since the character string constituting the subject is often before the character string constituting the target event, the subject and the target event are specified from the beginning of the extracted character string.

或いは、被写体として「足」、目的事象として「血管」等と予め入力するユーザ側において分類して入力する場合もある。かかる場合には、その入力された被写体、目的事象の文字列をそのまま受け入れることとなる。   Alternatively, there may be cases where the user classifies and inputs “foot” as the subject and “blood vessel” as the target event. In such a case, the input subject and the character string of the target event are accepted as they are.

次に情報探索プログラムは、ステップS13へ移行し、ステップS12において抽出した文字列と連関度の高い検出アルゴリズム情報を探索する。この探索を行う前において、アルゴリズムデータベース3は、参照用の目的事象(以下、参照用目的事象という。)と2種以上に分類された検出アルゴリズム情報の3段階以上の連関度(以下、第1連関度という。)を予め取得しておく。   Next, the information search program moves to step S13 and searches for detection algorithm information having a high degree of association with the character string extracted in step S12. Before this search is performed, the algorithm database 3 stores a reference target event (hereinafter referred to as a reference target event) and three or more levels of relevance (hereinafter referred to as a first target event) classified into two or more types of detection algorithm information. The degree of association is acquired in advance.

ここでいう検出アルゴリズム情報は、実際にスペクトル撮像装置4や撮影装置5により被写体を撮像しても目的事象を判断する上で必要なスペクトルデータを検出するためのアルゴリズムである。例えば、図7に示すように、ある果実の鮮度が波長500nm〜700nmの帯域においてスペクトル強度(反射率)に差が出てくることが既知であるものとする。即ち、ある果実を1日常温で放置した場合、3日常温で放置した場合、5日常温で放置した場合で、スペクトル強度が波長500nm〜700nmの範囲においてスペクトル強度(反射率)が大きく変化することが既知であるものとする。かかる場合には、この波長500nm〜700nmの範囲において分光画像を作成することにより、果実の鮮度を判別することが可能となる。   The detection algorithm information here is an algorithm for detecting spectrum data necessary for determining a target event even if the subject is actually imaged by the spectrum imaging device 4 or the imaging device 5. For example, as shown in FIG. 7, it is known that a certain fruit has a difference in spectral intensity (reflectance) in a wavelength band of 500 nm to 700 nm. That is, when a certain fruit is left to stand at room temperature for 1 day, left to stand at room temperature for 3 days, or left to stand at room temperature for 5 days, the spectrum intensity (reflectance) changes greatly when the spectrum intensity is in the wavelength range of 500 nm to 700 nm. Is known. In such a case, it is possible to determine the freshness of the fruit by creating a spectral image in the wavelength range of 500 nm to 700 nm.

このような目的事象を判別することができる波長範囲の何れかを特徴波長として特定する。図7の例では、波長500nm〜700nmの波長範囲の何れかを特徴波長として特定する。特徴波長は1点で特定してもよいし、複数特定してもよい。特徴波長の決め方としては、例えば上記波長範囲(500nm〜700nm)の中心波長である600nmとしてもよいし、各スペクトル間のスペクトル強度の差分値が最も大きくなる波長としてもよい。また図7において波長が約650nmにおいて、各スペクトルデータにおいて上に凸のピークが形成されているのが分かるが、このような特異点を特徴波長として特定するようにしてもよい。この特徴波長は、被写体の目的事象毎に異なるものであってもよい。   Any one of the wavelength ranges in which such a target event can be identified is specified as the characteristic wavelength. In the example of FIG. 7, any one of the wavelength ranges from 500 nm to 700 nm is specified as the characteristic wavelength. The characteristic wavelength may be specified by one point or a plurality of characteristic wavelengths. As a method of determining the characteristic wavelength, for example, 600 nm which is the central wavelength in the above wavelength range (500 nm to 700 nm) may be used, or a wavelength at which the difference value of the spectrum intensity between the spectra is the largest. In FIG. 7, it can be seen that a convex peak is formed in each spectrum data at a wavelength of about 650 nm. However, such a singular point may be specified as a characteristic wavelength. This characteristic wavelength may be different for each target event of the subject.

これに加えて、この特徴波長を中心とした特徴波長範囲を設定する。特徴波長範囲は、例えば±10nm等のように、予め設定した所定の波長範囲で構成されている。このため、仮に特徴波長が500nmであり、特徴波長範囲が±10nmであれば、実際にスペクトルデータを検出する範囲は、495〜505nmとなる。この特徴波長範囲は、被写体の目的事象毎に異なるものであってもよい。   In addition to this, a characteristic wavelength range centered on this characteristic wavelength is set. The characteristic wavelength range is configured with a predetermined wavelength range set in advance, such as ± 10 nm. For this reason, if the characteristic wavelength is 500 nm and the characteristic wavelength range is ± 10 nm, the range in which spectrum data is actually detected is 495 to 505 nm. This characteristic wavelength range may be different for each target event of the subject.

検出アルゴリズム情報は、更にこれらに加えて、各種演算方法が盛り込まれるものであってもよい。かかる場合には、この特徴波長や特徴波長範囲を説明変数x1、x2、・・・xkとし、これらを演算式に代入することにより得られる目的変数yを介して判別することとなる。即ち、y=f(x1、x2、・・・xk)により得られる目的変数yが検出アルゴリズム情報となりえる。また、これを構成する個々の説明変数x1、x2、・・・xkとしての特徴波長や特徴波長範囲についても同様に検出アルゴリズム情報となりえる。   In addition to these, the detection algorithm information may include various calculation methods. In such a case, the characteristic wavelength and characteristic wavelength range are set as explanatory variables x1, x2,... Xk, and the objective variable y is obtained by substituting these into the arithmetic expression. That is, the objective variable y obtained by y = f (x1, x2,... Xk) can be detection algorithm information. Similarly, the characteristic wavelength and characteristic wavelength range as the individual explanatory variables x1, x2,.

アルゴリズムデータベース3には、このような特徴波長と、特徴波長範囲、場合によっては演算方法やそれを規定する演算式そのものが、被写体の参照用目的事象毎に互いに紐付けられて記憶されている。   The algorithm database 3 stores such characteristic wavelengths, characteristic wavelength ranges, and in some cases, calculation methods and calculation formulas that prescribe them, in association with each other for each reference target event of the subject.

このとき、アルゴリズムデータベース3には、被写体の参照用目的事象と、検出アルゴリズム情報との間の3段階以上の第1連関度に基づいて規定されていてもよい。図8は、被写体の参照用目的事象と、検出アルゴリズム情報との間で3段階以上の第1連関度により互いを関係付けたネットワークを示している。例えば、果実の鮮度は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が970±10nmである場合に第1連関度80%、1170±10nm、880±15nmの2波長である場合に第1連関度60%、547±4nm、588±10nm、939±5nmの3波長でその演算方法がクラスター分析である場合に第1連関度40%、455±12nmである場合に第1連関度20%であることが示されている。毛髪の水分は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が630±5nm、750±10nm、1250±5nmの3波長でその演算方法が線形である場合に第1連関度80%、970±10nmである場合に第1連関度20%であることが示されている。胃の癌は、検出アルゴリズム情報としての特徴波長及び特徴波長範囲が970±10nmである場合に第1連関度20%、230±12nm、400±5nmの2波長でその演算方法がK-meansである場合には第1連関度40%、547±4nm、588±10nm、939±5nmの3波長でその演算方法がクラスター分析である場合に第1連関度80%であることが示されている。この第1連関度は、いわゆるニューラルネットワークにより構成されていてもよい。   At this time, the algorithm database 3 may be defined based on three or more levels of first associations between the object reference event of the subject and the detection algorithm information. FIG. 8 shows a network in which the target event for reference of the subject and the detection algorithm information are related to each other by three or more levels of first association. For example, the freshness of the fruit is the first relation when the characteristic wavelength and the characteristic wavelength range as the detection algorithm information are 970 ± 10 nm, and the first relation is 80%, 1170 ± 10 nm, and 880 ± 15 nm. When the calculation method is cluster analysis at three wavelengths of 60%, 547 ± 4 nm, 588 ± 10 nm, and 939 ± 5 nm, the first association degree is 40%, and when the calculation method is 455 ± 12 nm, the first association degree is 20%. It is shown that there is. When the calculation method is linear at three wavelengths of 630 ± 5 nm, 750 ± 10 nm, and 1250 ± 5 nm as the characteristic wavelength and characteristic wavelength range as detection algorithm information, the moisture content of the hair is 80% first relevance, 970 ± It is shown that the first relevance is 20% when the thickness is 10 nm. For stomach cancer, when the characteristic wavelength and characteristic wavelength range as detection algorithm information is 970 ± 10 nm, the first association is 20%, 230 ± 12 nm, 400 ± 5 nm, and the calculation method is K-means. In some cases, the first association degree is 40%, and the first association degree is 80% when the calculation method is cluster analysis at three wavelengths of 547 ± 4 nm, 588 ± 10 nm, and 939 ± 5 nm. . This first association degree may be configured by a so-called neural network.

この第1連関度は、スペクトル撮像装置4や撮影装置5を介して被写体の目的事象を判別する上で選択する検出アルゴリズム情報の相性、換言すれば、被写体の目的事象を判別する上で選択する検出アルゴリズム情報の的確性を示すものである。上述の例であれば、果実の鮮度を検出するための検出アルゴリズムとして970±10nmである場合に最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。果実の鮮度検出においては、その相性の高さが、1170±10nm、880±15nmの2波長である場合、547±4nm、588±10nm、939±5nmの3波長でその演算方法がクラスター分析である場合、455±12nmである場合の順でこれに続くことが示されている。   The first relevance is selected for determining the target event of the subject, in other words, the compatibility of the detection algorithm information selected for determining the target event of the subject via the spectrum imaging device 4 or the imaging device 5. It shows the accuracy of the detection algorithm information. In the above example, it is shown that the detection algorithm for detecting the freshness of the fruit is most compatible when the detection algorithm is 970 ± 10 nm, and that the discrimination can be performed most effectively and with high accuracy. ing. In the fruit freshness detection, when the compatibility is 2 wavelengths of 1170 ± 10 nm and 880 ± 15 nm, the calculation method is cluster analysis with 3 wavelengths of 547 ± 4 nm, 588 ± 10 nm and 939 ± 5 nm. In some cases, this is shown to follow in the order of 455 ± 12 nm.

また被写体の目的事象の表記方法は、上述に限定されるものではない。例えば図9に示すように被写体が2以上に亘る複合体で構成される場合も同様に第1連関度を介して関連付けられる。図9の例では、被写体としてガラス板の間にプラスチック材料を挟みこんだ複合体を被写体とし、プラスチック材料中のキズを参照用目的事象とした例である。この複合体は、例えば金属と樹脂が互いに複数層に亘って積層された積層体で構成されていてもよいし、砂糖と塩のように互いに混じりあった混合物として構成されるものであってもよい。またセラミックスを母材とし、第2層としてウィスカーを添加したセラミックス基複合材料のような渾然一体となっている複合体であってもよい。   Further, the method of notifying the target event of the subject is not limited to the above. For example, as shown in FIG. 9, when the subject is composed of two or more complexes, they are similarly associated through the first association degree. In the example of FIG. 9, an object is a composite in which a plastic material is sandwiched between glass plates as an object, and a scratch in the plastic material is used as a reference event. This composite may be composed of, for example, a laminate in which a metal and a resin are laminated in a plurality of layers, or may be composed of a mixture mixed with each other such as sugar and salt. Good. Further, it may be a complex body such as a ceramic matrix composite material in which ceramics is used as a base material and whiskers are added as a second layer.

更に金属と異物とからなる複合体中の異物を参照用目的事象としたものであってもよい。かかる例は、複合体の一方が参照用目的事象としたものである。更に被写体が、例えばガラス、プラスチック材料、セラミックスの3以上からなる複合体で構成されるものであってもよい。これらの複合体それぞれに対して参照用目的事象が定義されることとなる。   Furthermore, the foreign object in the composite body which consists of a metal and a foreign material may be used as the reference event. In such an example, one of the complexes is the reference event for reference. Further, the subject may be composed of a composite made of three or more of glass, plastic material, and ceramics, for example. Reference purpose events will be defined for each of these complexes.

このように被写体が複合体で構成される場合においても検出アルゴリズム情報がこれに対して3段階以上の連関度を介して紐付けられることとなる。仮に被写体が金属と異物の複合体で構成される場合、その金属の特徴波長に加え、異物の特徴波長も検出アルゴリズム情報を構成する特徴波長も考慮に入れ、その中から参照用目的事象を抽出する上で好適な条件が予め検討されてこれが連関度として紐付くこととなる。   In this way, even when the subject is composed of a complex, the detection algorithm information is associated with this through three or more levels of association. If the subject is composed of a composite of metal and foreign matter, in addition to the characteristic wavelength of the metal, the feature wavelength of the foreign matter and the characteristic wavelength that constitutes the detection algorithm information are taken into account, and the target event for reference is extracted from them. In this case, a suitable condition is examined in advance, and this is linked as the degree of association.

また被写体が複合体である例としては、金属が例えばマルテンサイト変態の前後の混晶状態を被写体とし、個々の相を参照用目的事象としてもよい。またこれ以外には、被写体自体は、複合体ではなく単相の材料で構成されているが、その単相の材料が時系列的に変化する際の変化後の相を参照用目的事象として捉えるようにしてもよい。   Further, as an example in which the subject is a composite, the mixed crystal state before and after the martensitic transformation may be used as the subject, and individual phases may be used as the reference event. In addition to this, the subject itself is composed of a single-phase material instead of a composite, but the phase after the change when the single-phase material changes in time series is regarded as a reference event. You may do it.

ステップS13に移行後、情報探索プログラムは、ステップS12において抽出した被写体の目的事象を構成する文字列から、検出アルゴリズム情報を1又は2以上に亘り選択する作業を行う。   After shifting to step S13, the information search program performs an operation of selecting one or more detection algorithm information from the character string constituting the target event of the subject extracted in step S12.

このステップS12において抽出した被写体の目的事象を構成する文字列から検出アルゴリズム情報を選択する上で、予め取得した図8に示す被写体の参照用目的事象と検出アルゴリズム情報との第1連関度を参照する。例えば、ステップS12において抽出した被写体の目的事象が「葉の光合成」である場合には、上述した第1連関度を参照した場合、その「葉の光合成」と第1連関度の高い1357±10nmを検出アルゴリズム情報として選択する。第1連関度は低いものの連関性そのものは認められる630±5nm、750±10nm、1250±5nmで演算方法が線形である場合も検出アルゴリズム情報として選択するようにしてもよい。また、これ以外に矢印が繋がっていない検出アルゴリズム情報を選択してもよいことは勿論である。   In selecting the detection algorithm information from the character string constituting the target event of the subject extracted in step S12, refer to the first association degree between the target reference event of the subject and the detection algorithm information shown in FIG. To do. For example, if the target event of the subject extracted in step S12 is “leaf photosynthesis”, 1357 ± 10 nm having a high first association degree with the “leaf photosynthesis” when the first association degree is referred to. Is selected as detection algorithm information. Even when the first relevance is low, the relevance itself is recognized 630 ± 5 nm, 750 ± 10 nm, 1250 ± 5 nm, and the calculation method may be selected as detection algorithm information. Of course, detection algorithm information that is not connected with an arrow may be selected.

また、ステップS12において抽出した被写体の目的事象が「葉の水分」である場合には、被写体の参照用目的事象においてそのような項目は存在しない。かかる場合には、被写体の参照用目的事象としての「葉の光合成」と第1連関度の高い1357±10nmである場合と、630±5nm、750±10nm、1250±5nmで演算方法が線形である場合と、「毛髪の水分」と第1連関度の高い630±5nm、750±10nm、1250±5nmで演算方法が線形である場合と、970±10nmある場合とから、最適な検出アルゴリズム情報を推定するようにしてもよい。その場合には、例えば互いに共通する第1連関度である630±5nmを「葉の水分」の検出アルゴリズム情報として推定するようにしてもよいし、「葉の光合成」、「毛髪の水分」の中で第1連関度が40%以上のものを全て検出アルゴリズム情報として推定するようにしてもよい。また、この「葉の光合成」、「毛髪の水分」と第1連関度が0%を超える全ての検出アルゴリズムについて、それぞれの第1連関度で重み付け平均化した波長を検出アルゴリズム情報として推定するようにしてもよい。   Further, when the target event of the subject extracted in step S12 is “leaf moisture”, such an item does not exist in the reference target event of the subject. In such a case, the calculation method is linear at 1357 ± 10 nm, which is the first association with “photosynthesis of leaves” as a reference event for the subject, and at 630 ± 5 nm, 750 ± 10 nm, and 1250 ± 5 nm. The detection algorithm information that is most suitable for the case where there is a case where the calculation method is linear at 630 ± 5 nm, 750 ± 10 nm, 1250 ± 5 nm, and 970 ± 10 nm, which have the first degree of association with “moisture of hair” May be estimated. In that case, for example, 630 ± 5 nm, which is the first degree of association common to each other, may be estimated as detection algorithm information of “moisture of leaf”, or “photosynthesis of leaf”, “moisture of hair” Among them, all those having a first association degree of 40% or more may be estimated as detection algorithm information. In addition, for all detection algorithms having “photosynthesis of leaves”, “moisture of hair” and the first association degree exceeding 0%, the wavelengths weighted and averaged by the respective first association degrees are estimated as detection algorithm information. It may be.

またステップS12において抽出した被写体の目的事象が「舌の癌」である場合には、被写体の参照用目的事象においてそのような項目は存在しない。「癌」については「胃の癌」が過去の被写体の目的事象として存在するが、「舌」については何ら被写体の参照用目的事象として存在しない。かかる場合には、「胃の癌」の過去の検出アルゴリズム情報に基づいて推定するようにしてもよいし、仮に「舌」に近い部位の「唇」等について過去の検出アルゴリズム情報が存在する場合には、それを参照して推定するようにしてもよい。   If the target event of the subject extracted in step S12 is “tongue cancer”, there is no such item in the reference target event of the subject. Regarding “cancer”, “stomach cancer” exists as a target event of the past subject, but “tongue” does not exist as a reference event for the subject. In such a case, estimation may be made based on the past detection algorithm information of “stomach cancer”, or if there is past detection algorithm information about the “lips” or the like of the part close to the “tongue” May be estimated with reference to it.

更にステップS12において抽出した被写体が砂糖と塩の混合体である場合で、同じく抽出した目的事象が塩であれば、図9に示す第1連関度を参照した場合に、検出アルゴリズム情報としては、波長が230±12nm、400±5nmであって、演算方法がK-mensである場合が優先的に選ばれる。   Furthermore, when the subject extracted in step S12 is a mixture of sugar and salt, and the extracted target event is salt, the detection algorithm information when the first association shown in FIG. The case where the wavelength is 230 ± 12 nm and 400 ± 5 nm and the calculation method is K-mens is preferentially selected.

またステップS12において抽出した被写体が例えば「紙」で、同じく抽出した目的事象が「異物」である場合には、図8、9に示される第1連関度に照らし合わせてもこれに合致する被写体は存在ないが、参照用目的事象としての「異物」は、被写体が「金属」と「異物」の混合体とする場合において存在する。かかる場合には、この被写体が「金属」と「異物」の混合体とし、参照用目的事象が「異物」である場合の第1連関度があえて低い検出アルゴリズム情報を選択するようにしてもよい。   Also, if the subject extracted in step S12 is, for example, “paper” and the extracted target event is “foreign matter”, the subject that matches this even in the light of the first association shown in FIGS. However, the “foreign matter” as the reference event is present when the subject is a mixture of “metal” and “foreign matter”. In such a case, the subject may be a mixture of “metal” and “foreign matter”, and detection algorithm information having a low first association degree when the reference target event is “foreign matter” may be selected. .

即ち、この検出アルゴリズム情報の選択は、第1連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第1連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。   That is, the selection of the detection algorithm information is not limited to the case where the first association degree is selected in descending order, but is selected in the order of the first association degree from the lowest according to the case. Alternatively, any other priority order may be selected.

なお、ステップS12において抽出した被写体の目的事象に対する検出アルゴリズム情報の選択方法は、上述した方法に限定されるものではなく、第1連関度を参照するものであればいかなる方法に基づいて実行するようにしてもよい。また、このステップS13の探索動作では、人工知能を利用して行うようにしてもよい。かかる場合には、第1連関度をニューラルネットワークとみなすようにしてもよい。   Note that the selection method of the detection algorithm information for the target event of the subject extracted in step S12 is not limited to the above-described method, and may be executed based on any method that refers to the first association degree. It may be. Further, the search operation in step S13 may be performed using artificial intelligence. In such a case, the first association degree may be regarded as a neural network.

次にステップS14へ移行し、選択した検出アルゴリズム情報を表示部23を介して表示する。これによりユーザは、表示部23を視認することにより、これから判別しようとする被写体の目的事象に応じた検出アルゴリズム情報を即座に把握することが可能となる。   Next, the process proceeds to step S14, and the selected detection algorithm information is displayed via the display unit 23. Thus, the user can immediately grasp the detection algorithm information corresponding to the target event of the subject to be determined by visually recognizing the display unit 23.

ユーザは、出力された検出アルゴリズム情報に基づいて、スペクトル撮像装置4における画像処理部484の検出アルゴリズムを設定し、或いは撮影装置5の検出アルゴリズムを設定する。この検出アルゴリズムの設定は、特徴波長、特徴波長範囲に加えて、これら特徴波長に基づく色演算処理(以下、特徴波長演算)を施す。例えば被写体の目的事象が、「葉の光合成」であり、検出アルゴリズムとして1357±10nmが選択された場合には、当該波長範囲に含まれる画素については、赤を表示する特徴波長演算を行わせ、当該波長に含まれない画素については白を表示する特徴波長演算を行うようスペクトル撮像装置4や撮影装置5に対して設定する。   The user sets the detection algorithm of the image processing unit 484 in the spectrum imaging device 4 or sets the detection algorithm of the imaging device 5 based on the output detection algorithm information. The detection algorithm is set by performing color calculation processing (hereinafter, characteristic wavelength calculation) based on the characteristic wavelength in addition to the characteristic wavelength and characteristic wavelength range. For example, when the target event of the subject is “leaf photosynthesis” and 1357 ± 10 nm is selected as the detection algorithm, the characteristic wavelength calculation for displaying red is performed for pixels included in the wavelength range, For the pixels not included in the wavelength, the spectral imaging device 4 and the imaging device 5 are set so as to perform a characteristic wavelength calculation for displaying white.

これにより、スペクトル撮像装置4や撮影装置5により被写体としての「葉」を撮像することでその目的事象としての「光合成」を判別する上で必要なスペクトルデータを検出し、これを色解析画像を介して表示することが可能となる。   As a result, the spectral image capturing device 4 or the image capturing device 5 captures the “leaf” as the subject, thereby detecting the spectral data necessary for determining “photosynthesis” as the target event, and using this as the color analysis image. Can be displayed.

特に本発明によれば、このようなスペクトル撮像装置4や撮影装置5によりこれから判別すべき被写体の目的事象に応じたスペクトルデータの最適な検出アルゴリズム情報を容易に取得することが可能となる。次々に新しい被写体の目的事象が生まれる都度、最適な検出アルゴリズムを検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。   In particular, according to the present invention, it is possible to easily acquire optimal detection algorithm information of spectrum data according to the target event of the subject to be determined by the spectrum imaging device 4 or the imaging device 5. Each time new target events of a subject are born one after another, the burden of labor for studying the optimal detection algorithm can be reduced, and the time can be shortened.

また、本発明を適用した情報探索システム1では、3段階以上に設定されている第1連関度を介して最適な検出アルゴリズム情報の探索を行う点に特徴がある。第1連関度は、例えば0〜100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。   In addition, the information search system 1 to which the present invention is applied is characterized in that the optimum detection algorithm information is searched through the first association degree set in three or more stages. The first degree of association can be described by a numerical value of 0 to 100%, for example, but is not limited to this, and may be configured at any stage as long as it can be described by a numerical value of three or more levels. Good.

このような3段階以上の数値で表される第1連関度に基づいて探索することで、複数の検出アルゴリズム情報が選ばれる状況下において、当該第1連関度の高い順に探索して表示することも可能となる。このように第1連関度の高い順にユーザに表示できれば、より可能性の高い検出アルゴリズム情報を優先的に選択することを促すこともできる。一方、第1連関度の低い検出アルゴリズム情報であってもセカンドオピニオンという意味で表示することができ、ファーストオピニオンで上手く分析ができない場合において有用性を発揮することができる。   By searching based on the first relevance expressed by numerical values of three or more levels, search and display in order of the first relevance in a situation where a plurality of detection algorithm information is selected. Is also possible. Thus, if it can be displayed to the user in the order of the first degree of association, it can be urged to preferentially select detection algorithm information with higher possibility. On the other hand, even detection algorithm information with a low first degree of association can be displayed in the sense of a second opinion, and can be useful when analysis cannot be performed well with the first opinion.

これに加えて、本発明によれば、第1連関度が1%のような極めて低い検出アルゴリズム情報も見逃すことなく判断することができる。第1連関度が極めて低い検出アルゴリズム情報であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、検出アルゴリズム情報として役に立つ場合もあることをユーザに対して注意喚起することができる。   In addition, according to the present invention, it is possible to make a determination without overlooking detection algorithm information that is extremely low, such as 1% of the first relevance. Even if the detection algorithm information has a very low degree of first association, it is connected as a small sign, and it may be useful as detection algorithm information tens or hundreds of times. You can call attention.

更に本発明によれば、このような3段階以上の第1連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した第1連関度が1%のものであっても漏れなく拾うことができる反面、被写体の目的事象を好適に検出できる可能性が低い検出アルゴリズム情報を沢山拾ってしまう場合もある。一方、閾値を高くすれば、被写体の目的事象を好適に検出できる可能性が高い検出アルゴリズム情報のみ絞り込むことができる反面、何十回、何百回に一度は好適な解を表示する検出アルゴリズム情報を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。   Furthermore, according to the present invention, there is an advantage that a search policy can be determined in a manner of setting a threshold by performing a search based on the first relevance of three or more stages. If the threshold value is lowered, even if the first relevance is 1%, it can be picked up without omission, but on the other hand, a lot of detection algorithm information with a low possibility of suitably detecting the target event of the subject is picked up. In some cases. On the other hand, if the threshold value is increased, only detection algorithm information that is highly likely to be able to suitably detect the target event of the subject can be narrowed down, but detection algorithm information that displays a suitable solution once every tens or hundreds of times. May be overlooked. It is possible to decide which to place importance on the basis of the idea on the user side and the system side, but it is possible to increase the degree of freedom in selecting points to place such emphasis.

更に本発明では、上述した第1連関度を更新させるようにしてもよい。つまり、図8に示すような被写体の参照用目的事象と、検出アルゴリズム情報を随時更新していく。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。公衆通信網から取得可能なサイト情報や書き込み等を通じて、被写体の参照用目的事象と、検出アルゴリズム情報との関係性について新たな知見が発見された場合には、当該知見に応じて第1連関度を上昇させ、或いは下降させる。例えば、ある被写体の参照用目的事象に対してある程度の第1連関度を有する検出アルゴリズムが、高精度に検出ができることが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第1連関度を更に上昇させる。また、ある被写体の参照用目的事象に対してある程度の第1連関度を有する検出アルゴリズムが、あまり精度よく検出できないことが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第1連関度を下降させる。また、ある被写体の参照用目的事象に対して、今までに無い検出アルゴリズムで高精度に検出ができることが公衆通信網上のサイトを通じて挙がっていた場合、これらの間に新たに第1連関度を設定することで更新するようにしてもよい。   Furthermore, in the present invention, the first association degree described above may be updated. That is, the target event for reference of the subject as shown in FIG. 8 and the detection algorithm information are updated as needed. This update may reflect information provided via a public communication network such as the Internet. When new knowledge about the relationship between the target event for reference of the subject and the detection algorithm information is discovered through site information or writing that can be acquired from the public communication network, the first degree of association is determined according to the knowledge. Is raised or lowered. For example, when a detection algorithm having a certain degree of first association with a target event for a certain subject can be detected with high accuracy through many sites on the public communication network, it is set between them. The first degree of association is further increased. In addition, when there are many cases where a detection algorithm having a certain degree of first association with a target event for a certain subject cannot be detected with high accuracy through a site on the public communication network, it is set between them. The first relevance level is decreased. In addition, when a target event for reference of a subject is detected through a site on the public communication network that it can be detected with high accuracy by an unprecedented detection algorithm, a new first association degree is newly established between them. You may make it update by setting.

この第1連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。   The update of the first degree of association is performed by the system side or the user side based on the contents of research data, papers, conference presentations, newspaper articles, books, etc. by experts other than based on information obtainable from the public communication network. It may be updated artificially or automatically. Artificial intelligence may be used in these update processes.

なお、第1実施形態は、上述した実施の形態に限定されるものではない。入力すべき情報として、被写体の目的事象以外に、上述した照明光の情報や、各種撮像系のパラメータや、ハードウェア上のパラメータステップS11において入力した上で、この検出アルゴリズム情報を探索するようにしてもよい。   The first embodiment is not limited to the above-described embodiment. In addition to the target event of the subject, information to be input is input in the above-described illumination light information, various imaging system parameters, and hardware parameter step S11, and this detection algorithm information is searched. May be.

なお探索装置2は、撮影装置5に対して提供すべき撮影条件を探索するようにしてもよい。情報探索プログラムは、取得した目的事象と連関度の高い撮影条件を探索する。この探索を行う前において、アルゴリズムデータベース3は、図10に示すように参照用目的事象と、撮影条件との第1連関度を予め取得しておく。   The search device 2 may search for shooting conditions to be provided to the shooting device 5. The information search program searches for an imaging condition having a high degree of association with the acquired target event. Prior to performing this search, the algorithm database 3 obtains in advance the first association between the reference event and the shooting conditions as shown in FIG.

ここでいう撮影条件とは、スペクトル撮像装置4や撮影装置5による撮像時の照明光の波長、照射角度、輝度、照明光に設けられる偏光フィルタの条件等からなる照明光の情報や、スペクトル撮像装置4や撮影装置5自体のF値、レンズのNA、焦点距離、使用機種、波長分解能、空間解像度、各分光波長に対する感度、露光時間、オートフォーカスの時間、シャッタースピード、シャッター方式、ホワイトバランス、ブラックバランス、ゲイン等の各種撮像系のパラメータやハードウェア上のパラメータも含まれる。検出アルゴリズム情報としては、上述した特徴波長や特徴波長範囲、演算方法に加えて、上述した各パラメータが追加されていてもよい。また上述した各パラメータは、上述した特徴波長や特徴波長範囲を出す上での一つの条件として規定されるものであってもよい。   The imaging conditions referred to here are information on illumination light including the wavelength, illumination angle, brightness, conditions of a polarization filter provided in the illumination light, and spectrum imaging at the time of imaging by the spectrum imaging device 4 or the imaging device 5. F value of the device 4 and the photographing device 5 itself, lens NA, focal length, model used, wavelength resolution, spatial resolution, sensitivity to each spectral wavelength, exposure time, autofocus time, shutter speed, shutter method, white balance, Various imaging system parameters such as black balance and gain, and hardware parameters are also included. As the detection algorithm information, in addition to the above-described characteristic wavelength, characteristic wavelength range, and calculation method, the above-described parameters may be added. Each parameter described above may be defined as one condition for obtaining the above-described characteristic wavelength or characteristic wavelength range.

このような各種撮影条件について、第1連関度を介して関連付けを行う場合には、仮に波長分解能であれば、96−120dpi、120−144dpi、144−192dpiのように何種類かにランク付けを行い、それぞれのランクについて第1連関度が関連付けられるようにしてもよい。   When associating these various shooting conditions via the first relevance, if the wavelength resolution is assumed, ranking is made into several types such as 96-120 dpi, 120-144 dpi, 144-192 dpi. The first association degree may be associated with each rank.

このような撮影条件を、例えば図10に示すように、「ホワイトバランス○○」、「レンズの配置P」と「フィルタW」の組み合わせ、「フィルタQ」、「フィルタR」と「照明光の角度○○°」の組み合わせ、「フィルタS」と「空間解像度133−140dpi」の組み合わせ、「露光時間○○ns以上」、「露光時間○○ns未満」等のように設定されている。   For example, as shown in FIG. 10, such a photographing condition includes “white balance OO”, a combination of “lens arrangement P” and “filter W”, “filter Q”, “filter R” and “illumination light”. A combination of “angle OO °”, a combination of “filter S” and “spatial resolution 133-140 dpi”, “exposure time XX ns or more”, “exposure time XX ns”, or the like is set.

この撮影条件は、複数の要因の組み合わせで構成されていてもよいし、単独のファクターにより構成されるものであってもよい。また同じ「露光時間」という撮影条件についても、「露光時間○○ns以上」、「露光時間○○ns未満」のように分類された上で、それぞれについて第2連関度が関連付けられていてもよい。また「フィルタQ」は、例えば、フィルタの透過波長が600〜650nm等、「フィルタR」は、例えば、フィルタの透過波長が340〜400nm等、「フィルタS」は、例えば、フィルタの透過波長が1000〜1100nm等のように、それぞれの詳細な条件が割り当てられている。   This photographing condition may be composed of a combination of a plurality of factors, or may be composed of a single factor. Also, the same shooting condition of “exposure time” is classified into “exposure time of OOns or more” and “exposure time of less than OOns”, and the second association degree is associated with each. Good. The “filter Q” has a filter transmission wavelength of 600 to 650 nm, for example, the “filter R” has a filter transmission wavelength of 340 to 400 nm, for example, and the “filter S” has a filter transmission wavelength of, for example, Detailed conditions such as 1000 to 1100 nm are assigned.

被写体の参照用目的事象と、撮影条件が第1連関度を通じて互いに関連付けられている。例えば、「果実の鮮度」に対して「フィルタQ」が第1連関度80%で関連付けられ、「ホワイトバランス○○」に対して第1連関度20%で関連付けられる。「毛髪の水分」は、「フィルタS」と「空間解像度133−140dpi」の組み合わせに対して第1連関度100%で関連付けられ、「レンズの配置P」と「フィルタW」の組み合わせに対して第1連関度40%で関連付けられる。「葉の光合成」は、「ホワイトバランス○○」に対して第1連関度60%で関連付けられ、「露光時間○○ns未満」に対して第1連関度20%で関連付けられる。「胃の癌」は、「レンズ配置P」と「フィルタW」の組み合わせに対して第1連関度80%で関連付けられ、「フィルタS」、「空間解像度133−140dpi」に対して第1連関度40%で関連付けられる。「ガラスの欠陥」は、「フィルタR、照明光の角度○○°」に対して第1連関度100%で関連付けられ、「露光時間○○ns以上」に対して第1連関度20%で関連付けられる。   The object reference event of the subject and the imaging condition are associated with each other through the first degree of association. For example, “filter Q” is associated with “fruit freshness” at a first association degree of 80%, and “white balance OO” is associated with a first association degree of 20%. “Hair moisture” is associated with the combination of “filter S” and “spatial resolution 133-140 dpi” with a first association degree of 100%, and with respect to the combination of “lens arrangement P” and “filter W”. The first association is 40%. “Leaf photosynthesis” is associated with “white balance OO” with a first association degree of 60%, and with “less than exposure time OOns” with a first association degree of 20%. “Stomach cancer” is associated with the combination of “lens arrangement P” and “filter W” with a first association degree of 80%, and the first association with “filter S” and “spatial resolution 133-140 dpi”. Associated with a degree of 40%. “Glass defect” is associated with “filter R, illumination light angle OO °” with a first association degree of 100%, and “exposure time of OOns or more” with a first association degree of 20%. Associated.

この第1連関度は、各参照用目的事象に基づいて判別を行う上での、撮影装置5における撮影条件の相性であり、換言すれば、参照用目的事象、ひいてはこれにより判別する被写体の目的事象に対する撮影装置5における設計や撮影方法の的確性を示すものである。上述の例であれば、「胃の癌」に対する撮影条件として「レンズの配置P」と「フィルタW」の組み合わせが最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。「胃の癌」に対する撮影条件は、「フィルタS」と、「空間解像度133−140dpi」がこれに続くことが示されている。   This first relevance is the compatibility of the photographing conditions in the photographing apparatus 5 in making a determination based on each reference purpose event. In other words, the reference purpose event, and thus the object purpose to be determined by this This shows the accuracy of the design and imaging method in the imaging device 5 for the event. In the above example, the combination of “lens arrangement P” and “filter W” is the most compatible as the imaging condition for “stomach cancer”, so that the most effective and highly accurate discrimination is possible. It has been shown to be. The imaging conditions for “stomach cancer” are shown to be followed by “filter S” and “spatial resolution 133-140 dpi”.

アルゴリズムデータベース3には、このような各撮影条件に対して、上述した参照用目的事象が互いに第1連関度を介して紐付けられて記憶されている。   In the algorithm database 3, the above-described reference event is stored in association with each other through the first association degree for each of these imaging conditions.

情報探索プログラムは、新たに入力された目的事象と相性の高い撮影条件を探索する上で、図10に示す第1連関度を参照するようにしてもよい。例えば、新たに入力された目的事象が「毛髪の水分」である場合には、上述した第1連関度を参照した場合、これに対応する参照用検出アルゴリズム情報と第1連関度の高い「フィルタS」と「空間解像度133−140dpi」を撮影条件として選択する。第1連関度は低いものの連関性そのものは僅かながら認められる「レンズ配置P」と「フィルタW」の組み合わせも撮影条件として選択するようにしてもよい。同様に新たに入力された目的事象が「胃の癌」である場合には、「レンズ配置P」と「フィルタW」の組み合わせが選択されることとなる。   The information search program may refer to the first relevance shown in FIG. 10 when searching for imaging conditions highly compatible with the newly input target event. For example, when the newly input target event is “hair moisture”, when the first association degree is referred to, the reference detection algorithm information corresponding to the first association degree and the “filter” having the first association degree are high. “S” and “Spatial resolution 133-140 dpi” are selected as shooting conditions. A combination of “lens arrangement P” and “filter W” that has a low first relevance but is slightly recognized may be selected as a photographing condition. Similarly, when the newly input target event is “stomach cancer”, a combination of “lens arrangement P” and “filter W” is selected.

なお、この図10に示す形態においても同様に、撮影条件の選択は、第1連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第1連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。   Similarly, in the embodiment shown in FIG. 10, the selection of the shooting condition is not limited to the case where the first association degree is selected in order from the first association degree, and the first association degree is low depending on the case. The items may be selected in order, or may be selected in any other priority order.

図11は、参照用目的事象と、参照用撮影条件の組み合わせに対する撮影条件が3段階以上の第1連関度により関連付けられた例を示している。この参照用撮影条件は、上述した撮影条件と同様の項目で構成される。この図11に示す第1連関度は、操作部25を介して、目的事象に加え、撮影条件の一部が既知の情報として入力される場合の例である。即ち、目的事象と撮影条件の一部は既に決定しているが、残りの撮影条件が決定できないため、この第1連関度を介して探索する例である。   FIG. 11 shows an example in which the reference objective event and the shooting conditions for the combination of the reference shooting conditions are associated with each other by three or more levels of first association. The reference shooting conditions are configured by the same items as the above-described shooting conditions. The first association shown in FIG. 11 is an example in the case where a part of the imaging condition is input as known information in addition to the target event via the operation unit 25. In other words, the target event and part of the shooting conditions are already determined, but the remaining shooting conditions cannot be determined.

図11に示すように、第1連関度を介して左側に参照用目的事象や参照用撮影条件が配列し、第1連関度を介して右側に、実際に探索すべき撮影条件が配列している。   As shown in FIG. 11, reference purpose events and reference imaging conditions are arranged on the left side through the first association degree, and imaging conditions to be actually searched are arranged on the right side through the first association degree. Yes.

参照用目的事象が「果実の鮮度」であり、参照用撮影条件が「フィルタS」である場合に、これらの組み合わせのノードは、「ホワイトバランス○○」が第1連関度70%、「露光時間○○ns以上」が第1連関度40%とされている。また参照用撮影条件が「フィルタS」、「シャッタースピード○○秒」であり、参照用目的事象が「葉の光合成」である場合には、これらの組み合わせのノードは、「ホワイトバランス○○」が第1連関度60%、「露光時間○○ns未満」が第1連関度40%とされている。   When the reference target event is “fruit freshness” and the reference photographing condition is “filter S”, the node of these combinations has “white balance OO” having a first association degree of 70% and “exposure” "Time xx ns or more" is assumed to be 40% of the first relevance. When the reference shooting condition is “filter S”, “shutter speed XX seconds”, and the reference target event is “leaf photosynthesis”, the node of these combinations is “white balance XX”. The first association degree is 60%, and the “exposure time less than OOns” is the first association degree 40%.

このような第1連関度が予め記憶されている場合において、操作部25を介して既知の目的事象と、撮影条件が入力された場合には、第1連関度を参照することにより、撮影条件を探索することができる。例えば、操作部25を介して目的事象として「ガラスの欠陥」が入力され、撮影条件として「照明光の角度○○°」が入力された場合には、それらの組み合わせのノードと連関度が規定されている「レンズの配置」や「フィルタS、空間解像度133−140dpi」等を適宜選択していくこととなる。   In the case where such a first association degree is stored in advance, when a known target event and an imaging condition are input via the operation unit 25, the imaging condition is referred to by referring to the first association degree. Can be explored. For example, when “glass defect” is input as the target event via the operation unit 25 and “illumination light angle OO °” is input as the imaging condition, the combination node and association degree are defined. "Lens arrangement", "Filter S, Spatial resolution 133-140 dpi", etc. are selected as appropriate.

これら選択が完了した後、情報探索プログラムは、選択した撮影条件を探索装置2の表示部23を介して表示する。これによりユーザは、表示部23を視認することにより、検出アルゴリズム情報に応じた撮影条件を即座に把握することが可能となる。この撮影条件の探索動作についても同様に人工知能を利用するようにしてもよい。即ち、第1連関度がニューラルネットワークにより構成されていてもよい。   After completing these selections, the information search program displays the selected shooting conditions via the display unit 23 of the search device 2. As a result, the user can immediately grasp the imaging conditions corresponding to the detection algorithm information by visually recognizing the display unit 23. Artificial intelligence may also be used for the shooting condition search operation. That is, the first association degree may be configured by a neural network.

ユーザは、出力された撮影条件に基づいて、撮影装置5における結像光学系51と、フィルタ52と、撮像素子53と、信号処理部54等をそれぞれ設計し、或いは照明光の条件を設定し、或いは撮影に関する各種条件を決定していくこととなる。またユーザは、出力された撮影条件に基づいて、スペクトル撮像装置4の各構成を設計し、或いは各条件を決定していくこととなる。   The user designs the imaging optical system 51, the filter 52, the imaging element 53, the signal processing unit 54, and the like in the imaging device 5 based on the output imaging conditions, or sets the illumination light conditions. Alternatively, various conditions regarding photographing are determined. In addition, the user designs each component of the spectrum imaging device 4 or determines each condition based on the output photographing condition.

ちなみに、この既知の撮影条件を入力する過程では、操作部25を介した入力以外に、例えば、既知の撮影条件を自動的に抽出するようにしてもよい。この撮影条件を抽出する手段としては、例えば使用する撮影装置4、5に関するマニュアル類の電子データやインターネット上に掲載されている情報をテキストマイニング技術を介して読み取り、解析する機器で構成されていてもよく、PC等で具現化するようにしてもよい。この解析した情報の中から撮影条件に関する情報を抽出し、これを上述した既知の撮影条件として入力するようにしてもよい。また既知の撮影条件として露光時間を抽出するものであれば、撮影装置4、5による実際の露光時間を測定するためのデバイスを利用するようにしてもよいし、撮影装置4、5を直接PCに接続して、設定されている露光時間を読み込むようにしてもよい。   Incidentally, in the process of inputting the known photographing conditions, in addition to the input via the operation unit 25, for example, the known photographing conditions may be automatically extracted. The means for extracting the photographing conditions includes, for example, a device that reads and analyzes electronic data of manuals related to the photographing devices 4 and 5 to be used and information posted on the Internet through a text mining technique. Alternatively, it may be embodied by a PC or the like. Information relating to the shooting conditions may be extracted from the analyzed information and input as the above-described known shooting conditions. As long as the exposure time is extracted as a known photographing condition, a device for measuring the actual exposure time by the photographing devices 4 and 5 may be used, or the photographing devices 4 and 5 may be directly connected to the PC. It is also possible to read the set exposure time.

図12は、参照用目的事象と、参照用撮影条件の組み合わせに対する検出アルゴリズム情報、又は検出アルゴリズム情報と撮影条件との組み合わせが3段階以上の第1連関度により関連付けられた例を示している。この図12に示す第1連関度は、操作部25を介して、目的事象に加え、撮影条件の一部が既知の情報として入力される場合の例である。即ち、目的事象と撮影条件の一部は既に決定しているが、残りの撮影条件と検出アルゴリズム情報が決定できないため、この第1連関度を介して探索する例である。   FIG. 12 shows an example in which the detection algorithm information for the combination of the reference purpose event and the reference shooting condition, or the combination of the detection algorithm information and the shooting condition is associated with the first association degree of three or more stages. The first association shown in FIG. 12 is an example in the case where a part of the imaging condition is input as known information in addition to the target event via the operation unit 25. That is, although the target event and a part of the shooting conditions have already been determined, the remaining shooting conditions and detection algorithm information cannot be determined.

図12に示すように、第1連関度を介して左側に参照用目的事象や参照用撮影条件が配列し、第1連関度を介して右側に、実際に探索すべき検出アルゴリズム情報、又は撮影条件とアルゴリズム情報の組み合わせが配列している。   As shown in FIG. 12, the reference event and the reference photographing condition are arranged on the left side through the first association degree, and the detection algorithm information or photographing to be actually searched is arranged on the right side through the first association degree. Combinations of conditions and algorithm information are arranged.

参照用目的事象が「果実の鮮度」であり、参照用撮影条件が「照明光の角度30〜60°」である場合に、これらの組み合わせのノードは、「630±5nm、撮像素子T、照明光の角度○○°」が第1連関度60%、「970±10nm、900±5nm、クラスター分析」が第1連関度40%とされている。参照用目的事象が「葉の光合成」であり、参照用撮影条件が「空間解像度が120照明光の角度30〜60°」である場合に、これらの組み合わせのノードは、「275±12nm、フィルタR」が第1連関度80%、「1357±10nm」が第1連関度20%とされている。   When the reference target event is “fruit freshness” and the reference shooting condition is “illumination light angle of 30 to 60 °”, the node of these combinations is “630 ± 5 nm, image sensor T, illumination The angle of light “OO °” is 60% for the first association, and “970 ± 10 nm, 900 ± 5 nm, cluster analysis” is the first association 40%. When the target event for reference is “leaf photosynthesis” and the reference imaging condition is “spatial resolution is 120 angle of illumination light 30-60 °”, the node of these combinations is “275 ± 12 nm, filter “R” is the first association degree 80%, and “1357 ± 10 nm” is the first association degree 20%.

このような第1連関度が予め記憶されている場合において、操作部25を介して既知の目的事象と、撮影条件が入力された場合には、第1連関度を参照することにより、撮影条件を探索することができる。例えば、操作部25を介して入力された目的事象が「果実の鮮度」であり、入力された撮影条件が「照明光の角度30〜60°」である場合に、それらの組み合わせのノードと連関度が規定されている「630±5nm、撮像素子T、照明光の角度○○°」、「970±10nm、900±5nm、クラスター分析」等を適宜選択していくこととなる。   In the case where such a first association degree is stored in advance, when a known target event and an imaging condition are input via the operation unit 25, the imaging condition is referred to by referring to the first association degree. Can be explored. For example, when the target event input via the operation unit 25 is “fruit freshness” and the input imaging condition is “illumination light angle 30 to 60 °”, the combination of the nodes and the associations thereof is associated. “630 ± 5 nm, imaging element T, angle of illumination light OO °”, “970 ± 10 nm, 900 ± 5 nm, cluster analysis”, etc., in which the degree is defined, are appropriately selected.

図13は、被写体の目的事象の入力から撮影装置5の撮影条件を取得するまでのデータフローを示している。   FIG. 13 shows a data flow from input of a target event of a subject to acquisition of shooting conditions of the shooting device 5.

入力される情報としては、被写体の目的事象に加え、照明系のパラメータである照明光の波長、被写体に照射する照明光の照射角度、照明光の輝度等、更に撮像系のパラメータである、スペクトル撮像装置4や撮影装置5の波長範囲、波長分解能、空間解像度、分光波長感度、偏光フィルタ等である。更にこれに加えてハードウェア上のパラメータも入力される場合がある。この入力された情報に基づいて、上述した第1連関度を参照することにより、特徴波長、特徴波長範囲からなる検出アルゴリズム情報や撮影条件が探索されることとなる。このようにして得られた検出アルゴリズム情報は、入力された被写体の目的事象に加え、照明系のパラメータ、撮像系のパラメータに基づき、アルゴリズムデータベース3に記憶されている過去のデータを参照した上で、スペクトル撮像装置4や撮影装置5により被写体を撮像する上で最も適したアルゴリズム情報や撮影条件が選択される。   The input information includes the target event of the subject, the wavelength of the illumination light that is the illumination system parameter, the illumination angle of the illumination light that illuminates the subject, the brightness of the illumination light, and the spectrum that is the imaging system parameter. These are the wavelength range, wavelength resolution, spatial resolution, spectral wavelength sensitivity, polarization filter, and the like of the imaging device 4 and the imaging device 5. In addition to this, hardware parameters may also be input. Based on the input information, the detection algorithm information including the characteristic wavelength and the characteristic wavelength range and the photographing condition are searched by referring to the first association degree described above. The detection algorithm information obtained in this way refers to past data stored in the algorithm database 3 based on illumination system parameters and imaging system parameters in addition to the input object event of interest. Then, algorithm information and photographing conditions that are most suitable for photographing the subject by the spectral imaging device 4 and the photographing device 5 are selected.

検出アルゴリズム情報が設定されたスペクトル撮像装置4や撮影装置5により被写体を撮像し、特徴波長演算を行わせることにより、演算後の色解析画像を得ることが可能となる。   It is possible to obtain a color analysis image after the calculation by imaging the subject with the spectral imaging device 4 or the imaging device 5 in which the detection algorithm information is set and performing the characteristic wavelength calculation.

なお、上述した第1実施形態は、上述した態様に限定されるものではない。上述した第1連関度を取得している前提の下で、ステップS11において、被写体の目的事象の入力を受け付ける代わりに、検出アルゴリズム情報の入力を受け付けるようにしてもよい。そしてステップS13においては、この入力を受け付けた検出アルゴリズム情報に基づき、上記第1連関度を参照することで、被写体の目的事象が何であるかを逆に探索する。即ち、図8、9における入力と出力の関係が上述した態様と入れ替わったものであり、入力が検出アルゴリズム情報で、出力が被写体の目的事象となる。   In addition, 1st Embodiment mentioned above is not limited to the aspect mentioned above. Under the premise that the first association degree described above is acquired, in step S11, instead of receiving an input of a target event of a subject, an input of detection algorithm information may be received. In step S13, by referring to the first association degree based on the detection algorithm information that has received this input, the object event of the subject is searched reversely. That is, the relationship between the input and the output in FIGS. 8 and 9 is replaced with the above-described mode, the input is the detection algorithm information, and the output is the target event of the subject.

かかる態様の応用例としては、例えばスペクトル撮像装置4や撮影装置5により、ある未知の被写体について撮像した結果、その特徴波長が310nm、660nmであった場合、混合物中の塩が被写体の目的事象である可能性が高いことを判別することが可能となる。   As an application example of this aspect, for example, when an unknown subject is imaged by the spectral imaging device 4 or the imaging device 5 and the characteristic wavelengths are 310 nm and 660 nm, the salt in the mixture is the target event of the subject. It is possible to determine that there is a high possibility.

第2実施形態
図14は、本発明を適用した第2実施形態に係る情報探索システム1´の全体構成を示すブロック図である。情報探索システム1´は、撮影した被写体10から目的事象を判別するための撮影装置5の撮影条件を探索するものであり、アルゴリズムデータベース3と、撮影条件データベース6と、これらアルゴリズムデータベース3及び撮影条件データベース6に接続された探索装置2と、探索装置2に接続されるスペクトル撮像装置4、撮影装置5とを備えている。
Second Embodiment FIG. 14 is a block diagram showing the overall configuration of an information search system 1 ′ according to a second embodiment to which the present invention is applied. The information search system 1 ′ searches for a shooting condition of the shooting device 5 for discriminating a target event from the shot subject 10. The algorithm database 3, the shooting condition database 6, the algorithm database 3, and the shooting conditions are searched for. A search device 2 connected to the database 6 and a spectrum imaging device 4 and an imaging device 5 connected to the search device 2 are provided.

この第2実施形態において、上述した第1実施形態と同一の構成要素、部材に関しては同一の符号を付すことにより、以下での説明を省略する。   In the second embodiment, the same components and members as those in the first embodiment described above are denoted by the same reference numerals, and the description thereof will be omitted.

撮影条件データベース6は、撮影装置5の撮影条件に関するデータベースが構築されている。この撮影条件データベース6には、公衆通信網を介して送られてきた情報、或いは本システムのユーザによって入力された情報が蓄積される。また撮影条件データベース6は、探索装置2からの要求に基づいて、この蓄積した情報を探索装置2へと送信する。   The shooting condition database 6 is a database related to shooting conditions of the shooting device 5. The photographing condition database 6 stores information sent via a public communication network or information input by a user of this system. The imaging condition database 6 transmits the accumulated information to the search device 2 based on a request from the search device 2.

上述した構成からなる情報探索システム1の第2実施形態における動作について説明をする。   An operation of the information search system 1 having the above-described configuration in the second embodiment will be described.

先ず探索装置2は、撮影装置5に対して提供すべき撮影条件を探索する。この探索プロセスにおいては、この撮影装置5により撮影しようとする検出アルゴリズム情報を取得するところから開始する。この検出アルゴリズム情報は、第1実施形態を通じて探索された検出アルゴリズム情報をそのまま適用するようにしてもよいし、ユーザが新たに検出アルゴリズム情報を入力するようにしてもよい。このようにして取得された検出アルゴリズム情報は、一旦記憶部28に記憶されることとなる。   First, the search device 2 searches for imaging conditions to be provided to the imaging device 5. This search process starts from obtaining detection algorithm information to be photographed by the photographing device 5. As the detection algorithm information, the detection algorithm information searched through the first embodiment may be applied as it is, or the user may newly input the detection algorithm information. The detection algorithm information acquired in this way is temporarily stored in the storage unit 28.

第2実施形態において、情報探索プログラムは、取得した検出アルゴリズム情報と連関度の高い撮影条件を探索する。この探索を行う前において、撮影条件データベース6は、図15に示すように参照用検出アルゴリズム情報と、撮影条件との連関度を予め取得しておく。   In the second embodiment, the information search program searches for imaging conditions having a high degree of association with the acquired detection algorithm information. Before this search is performed, the shooting condition database 6 acquires in advance the degree of association between the detection algorithm information for reference and the shooting conditions as shown in FIG.

ここでいう撮影条件とは、撮影装置5における結像光学系51の詳細な構成、フィルタ52の詳細な構成、撮像素子53の詳細な構成、更には信号処理部54における詳細な構成を示すものである。この撮影条件は、例えば図15に示すように、「ホワイトバランス○○」、「レンズの配置P」と「フィルタW」の組み合わせ、「フィルタQ」、「フィルタR」と「照明光の角度○○°」の組み合わせ、「フィルタS」と「空間解像度133−140dpi」の組み合わせ、「露光時間○○ns以上」、「露光時間○○ns未満」等のように設定されている。   The imaging conditions here indicate a detailed configuration of the imaging optical system 51 in the imaging apparatus 5, a detailed configuration of the filter 52, a detailed configuration of the image sensor 53, and a detailed configuration of the signal processing unit 54. It is. For example, as shown in FIG. 15, the photographing conditions include “white balance OO”, a combination of “lens arrangement P” and “filter W”, “filter Q”, “filter R”, and “illumination light angle ◯”. A combination of “°”, a combination of “filter S” and “spatial resolution 133-140 dpi”, “exposure time of OOns or more”, “exposure time of less than OOns”, and the like are set.

この撮影条件は、複数の要因の組み合わせで構成されていてもよいし、単独のファクターにより構成されるものであってもよい。また同じ「露光時間」という撮影条件についても、「露光時間○○ns以上」、「露光時間○○ns未満」のように分類された上で、それぞれについて第2連関度が関連付けられていてもよい。また「フィルタQ」は、例えば、フィルタの透過波長が600〜650nm等、「フィルタR」は、例えば、フィルタの透過波長が340〜400nm等、「フィルタS」は、例えば、フィルタの透過波長が1000〜1100nm等のように、それぞれの詳細な条件が割り当てられている。   This photographing condition may be composed of a combination of a plurality of factors, or may be composed of a single factor. Also, the same shooting condition of “exposure time” is classified into “exposure time of OOns or more” and “exposure time of less than OOns”, and the second association degree is associated with each. Good. The “filter Q” has a filter transmission wavelength of 600 to 650 nm, for example, the “filter R” has a filter transmission wavelength of 340 to 400 nm, for example, and the “filter S” has a filter transmission wavelength of, for example, Detailed conditions such as 1000 to 1100 nm are assigned.

また検出アルゴリズム情報は、上述した第1実施形態と同様である。即ち、この検出アルゴリズム情報としては、特徴波長、特徴波長範囲、演算方法等がある。またこの検出アルゴらイズム情報に加え、照明光の情報や、各種撮像系のパラメータや、ハードウェア上のパラメータ等を始めとした既知の撮影条件の組み合わせで第2連関度を定義してもよい。以下、この第2連関度を介して関連付けられる検出アルゴリズム情報を参照検出アルゴリズム情報といい、第2連関度を介して関連付けられる既知の撮影条件を参照用撮影条件という。   The detection algorithm information is the same as that in the first embodiment described above. That is, the detection algorithm information includes a characteristic wavelength, a characteristic wavelength range, a calculation method, and the like. In addition to the detection algorithm information, the second association degree may be defined by a combination of illumination conditions, various imaging system parameters, hardware parameters, and other known imaging conditions. . Hereinafter, the detection algorithm information associated through the second association degree is referred to as reference detection algorithm information, and the known photographing condition associated through the second association degree is referred to as a reference photographing condition.

このような参照検出アルゴリズム情報及び参照用撮影条件と、探索すべき撮影条件が第2連関度を通じて互いに関連付けられている。例えば、波長880±5nmと970±10nmとクラスター分析からなる演算方法の組み合わせに対して「フィルタQ」が第2連関度80%で関連付けられ、「ホワイトバランス○○」に対して第2連関度20%で関連付けられる。波長230±12nmと630±5nmの組み合わせは、「フィルタS」と「空間解像度133−140dpi」の組み合わせに対して第2連関度100%で関連付けられ、「レンズの配置P」と「フィルタW」の組み合わせに対して第2連関度40%で関連付けられる。波長547±4nmと波長275±12nmとPLS回帰とシャッタースピード○○秒の組み合わせは、「ホワイトバランス○○」に対して第2連関度60%で関連付けられ、「露光時間○○ns未満」に対して第2連関度20%で関連付けられる。撮像素子Tとシャッタースピード○○秒の組み合わせは、「レンズ配置P」と「フィルタW」の組み合わせに対して第2連関度80%で関連付けられ、「フィルタS」、「空間解像度133−140dpi」に対して第2連関度40%で関連付けられる。特徴波長455±12nmは、「フィルタR」に対して第2連関度100%で関連付けられ、「露光時間○○ns以上」に対して第2連関度20%で関連付けられる。   Such reference detection algorithm information and reference shooting conditions and the shooting conditions to be searched are associated with each other through the second association degree. For example, “Filter Q” is associated with a second association degree of 80% for a combination of calculation methods including wavelengths 880 ± 5 nm, 970 ± 10 nm and cluster analysis, and the second association degree for “White Balance OO”. Associated with 20%. A combination of wavelengths 230 ± 12 nm and 630 ± 5 nm is associated with a combination of “filter S” and “spatial resolution 133-140 dpi” with a second association degree of 100%, and “lens arrangement P” and “filter W”. Are associated with a second association degree of 40%. The combination of the wavelength 547 ± 4 nm, the wavelength 275 ± 12 nm, the PLS regression and the shutter speed XX seconds is related to the “white balance OO” with the second association 60%, and the “exposure time less than XX ns” On the other hand, the second association degree is 20%. The combination of the image sensor T and the shutter speed XX seconds is associated with the combination of the “lens arrangement P” and the “filter W” with a second association degree of 80%, and “filter S” and “spatial resolution 133-140 dpi” Are associated with a second association degree of 40%. The characteristic wavelength 455 ± 12 nm is associated with “filter R” at a second association degree of 100%, and is associated with “exposure time OOns or more” at a second association degree of 20%.

この第2連関度は、各参照用検出アルゴリズム情報や参照用撮影条件に基づいて判別を行う上での、撮影装置5における撮影条件の相性であり、換言すれば、参照用検出アルゴリズム情報や参照用撮影条件、ひいてはこれにより判別する被写体の目的事象に対する撮影装置5における設計や撮影方法の的確性を示すものである。上述の例であれば、撮像素子Tとシャッタースピード○○秒の組み合わせに対する、探索すべき撮影条件として「レンズの配置P」と「フィルタW」の組み合わせが最も相性がよく、ひいては最も効果的かつ高精度に判別を行うことが可能となることが示されている。撮像素子Tとシャッタースピード○○秒の組み合わせに対する撮影条件としては、「フィルタS」と、「空間解像度133−140dpi」がこれに続くことが示されている。   This second degree of association is the compatibility of the photographing conditions in the photographing apparatus 5 when making a determination based on each reference detection algorithm information and reference photographing conditions, in other words, the reference detection algorithm information and the reference This shows the accuracy of the design and the photographing method in the photographing apparatus 5 with respect to the photographing conditions for the subject, and consequently the target event of the subject determined by this. In the above-described example, the combination of “lens arrangement P” and “filter W” is the most compatible as a photographing condition to be searched for the combination of the image sensor T and the shutter speed OO seconds, and is most effective. It is shown that discrimination can be performed with high accuracy. It is shown that “filter S” and “spatial resolution 133-140 dpi” follow this as imaging conditions for the combination of the image sensor T and shutter speed OO seconds.

撮影条件データベース6には、このような各撮影条件に対して、上述した参照用検出アルゴリズム情報や参照用撮影条件が互いに第2連関度を介して紐付けられて記憶されている。   In the imaging condition database 6, the above-described reference detection algorithm information and reference imaging conditions are stored in association with each other via the second association degree for each of these imaging conditions.

情報探索プログラムは、第1実施形態を通じて探索された検出アルゴリズム情報や参照用撮影条件、又は新たに入力した検出アルゴリズム情報や参照用撮影条件と相性の良い撮影条件を探索する上で、図15に示す第2連関度を参照するようにしてもよい。例えば、新たに入力された検出アルゴリズム情報が230±12nmと630±5nmの組み合わせである場合には、上述した第2連関度や参照用撮影条件を参照した場合、これに対応する参照用検出アルゴリズム情報と第2連関度の高い「フィルタS」と「空間解像度133−140dpi」を撮影条件として選択する。第2連関度は低いものの連関性そのものは僅かながら認められる「レンズ配置P」と「フィルタW」の組み合わせも撮影条件として選択するようにしてもよい。同様に第1実施形態を通じて探索された検出アルゴリズム情報や参照用撮影条件が撮像素子Tとシャッタースピード○○秒である場合には、「レンズ配置P」と「フィルタW」の組み合わせが選択されることとなる。   The information search program searches for the detection algorithm information and reference imaging conditions searched through the first embodiment, or the imaging conditions that are compatible with the newly input detection algorithm information and reference imaging conditions. You may make it refer to the 2nd relevance degree shown. For example, when the newly input detection algorithm information is a combination of 230 ± 12 nm and 630 ± 5 nm, the reference detection algorithm corresponding to the second association degree or the reference imaging condition described above is referred to. “Filter S” and “Spatial resolution 133-140 dpi” having the second highest degree of association with the information are selected as imaging conditions. A combination of the “lens arrangement P” and the “filter W”, which has a low second association degree but is slightly recognized, may be selected as an imaging condition. Similarly, when the detection algorithm information and the reference shooting condition searched through the first embodiment are the image sensor T and the shutter speed OO seconds, the combination of “lens arrangement P” and “filter W” is selected. It will be.

なお、この第2実施形態においても同様に、撮影条件の選択は、第2連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第2連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。   Similarly, in the second embodiment, the selection of the shooting condition is not limited to the case where the second association degree is selected in order from the highest second association degree, and the second association degree is low depending on the case. May be selected in order, or may be selected in any other priority order.

なお第1実施形態を通じて探索された検出アルゴリズム情報(入力した検出アルゴリズム情報)が、参照用検出アルゴリズム情報に合致しない場合には、当該参照用検出アルゴリズム情報の特徴波長範囲を広げるようにしてもよい。例えば、取得した検出アルゴリズム情報の波長が660nmである場合には、撮影条件データベース6に記憶されている何れの参照用検出アルゴリズム情報にも含まれない。かかる場合には、参照用検出アルゴリズム情報の特徴波長領域をそれぞれ±30nmまで拡張するようにしてもよい。或いは類似する参照用検出アルゴリズムを類推して割り当てるようにしてもよい。   In addition, when the detection algorithm information searched through the first embodiment (input detection algorithm information) does not match the reference detection algorithm information, the characteristic wavelength range of the reference detection algorithm information may be expanded. . For example, when the wavelength of the acquired detection algorithm information is 660 nm, it is not included in any reference detection algorithm information stored in the imaging condition database 6. In such a case, the characteristic wavelength region of the reference detection algorithm information may be extended to ± 30 nm. Alternatively, a similar reference detection algorithm may be assigned by analogy.

図16は、複数の参照用検出アルゴリズムや参照用撮影条件の組み合わせに対する撮影条件が3段階以上の第2連関度により関連付けられた例を示している。参照用検出アルゴリズムや参照用撮影条件が1)の組み合わせグループに加え、更に2)の組み合わせグループである場合には、その組み合わせに対して、「ホワイトバランス○○」の第2連関度が80%であり、「フィルタR」と「照明光の角度○○°」の組み合わせの第2連関度が20%である。参照用検出アルゴリズムが3)〜5)の各組み合わせグループの論理積又は論理和で構成される場合にはその組み合わせに対して、「フィルタS」と「空間解像度133−140dpi」の組み合わせが第2連関度60%、「露光時間○○ns未満」が第2連関度20%である。   FIG. 16 shows an example in which shooting conditions for a combination of a plurality of reference detection algorithms and reference shooting conditions are associated with each other by three or more second relevance levels. When the detection algorithm for reference and the shooting condition for reference are the combination group of 1) and further the combination group of 2), the second association degree of “white balance OO” is 80% for the combination. The second association degree of the combination of “filter R” and “illumination light angle OO °” is 20%. When the reference detection algorithm is composed of logical products or logical sums of the combination groups of 3) to 5), the combination of “filter S” and “spatial resolution 133-140 dpi” is the second combination. An association degree of 60% and “exposure time less than OOns” is a second association degree of 20%.

このような第2連関度が予め記憶されている場合において、第1実施形態を通じて探索された検出アルゴリズム情報や既知の撮影条件(入力した検出アルゴリズム情報や参照用撮影条件)が1)、2)の組み合わせグループ間の組み合わせである場合には、第2連関度を参照することにより、第2連関度80%である「ホワイトバランス○○」、第2連関度20%である「フィルタR」と「照明光の角度○○°」を探索することが可能となる。   When the second association degree is stored in advance, the detection algorithm information searched through the first embodiment and the known shooting conditions (input detection algorithm information and reference shooting conditions) are 1), 2). In the case of a combination between the combination groups, “white balance ○○” having a second association degree of 80% and “filter R” having a second association degree of 20% are referred to by referring to the second association degree. It becomes possible to search for “illumination light angle OO °”.

これら選択が完了した後、情報探索プログラムは、選択した撮影条件を探索装置2の表示部23を介して表示する。これによりユーザは、表示部23を視認することにより、検出アルゴリズム情報や既知の撮影条件に応じた探索すべき撮影条件を即座に把握することが可能となる。この第2実施形態における探索動作についても同様に人工知能を利用するようにしてもよい。即ち、第2連関度がニューラルネットワークにより構成されていてもよい。   After completing these selections, the information search program displays the selected shooting conditions via the display unit 23 of the search device 2. Thus, the user can immediately grasp the shooting conditions to be searched according to the detection algorithm information and the known shooting conditions by visually recognizing the display unit 23. Artificial intelligence may also be used for the search operation in the second embodiment. That is, the second association degree may be configured by a neural network.

ちなみに、この組み合わせの第2連関度は、図17に示す形態で設定されていてもよい。この図17の例では、参照用検出アルゴリズム情報として、1以上の参照用検出アルゴリズム情報と、1以上の参照用撮影条件との組み合わせに対する探索すベき撮影条件の3段階以上の第2連関度が設定されている。   Incidentally, the second association degree of this combination may be set in the form shown in FIG. In the example of FIG. 17, as the reference detection algorithm information, the second relevance of three or more stages of the shooting conditions to be searched for a combination of one or more reference detection algorithm information and one or more reference shooting conditions. Is set.

第2連関度は、図17に示すように、1以上の参照用検出アルゴリズム情報と、1以上の参照用撮影条件との組み合わせの集合がいわゆる隠れ層のノード61a〜61eとして表現されることとなる。各ノード61a〜61eは、参照用検出アルゴリズム情報や、参照用撮影条件に対する重み付けと、出力解に対する重み付けがそれぞれ設定されている。この重み付けが3段階以上の第2連関度である。例えば、ノード61aは、参照用検出アルゴリズム情報として「880±5nm、970±10nm、クラスター分析」が第2連関度80%で、参照用撮影条件としての「カメラの分光特性R1」が第2連関度80%で連関している。またノード61cは、参照用検出アルゴリズム情報として「230±12nm、630±5nm」が第2連関度60%で、参照用撮影条件としての「撮像素子T、シャッタースピード○○秒」が第2連関度60%、参照用撮影条件としての「カメラの分光特性R2」が第2連関度40%で連関している。   As shown in FIG. 17, the second association degree indicates that a set of combinations of one or more reference detection algorithm information and one or more reference photographing conditions is expressed as so-called hidden layer nodes 61 a to 61 e. Become. In each of the nodes 61a to 61e, reference detection algorithm information, a weight for the reference photographing condition, and a weight for the output solution are set. This weighting is the second degree of association of three or more levels. For example, in the node 61a, “880 ± 5 nm, 970 ± 10 nm, cluster analysis” is the second association degree 80% as the reference detection algorithm information, and “camera spectral characteristic R1” as the reference imaging condition is the second association. It is linked at 80%. In the node 61c, “230 ± 12 nm, 630 ± 5 nm” as the reference detection algorithm information has a second association degree of 60%, and “imaging element T, shutter speed OO seconds” as the reference imaging condition has the second association. The “camera spectral characteristic R2” as the reference photographing condition is associated with the second association degree of 40%.

このような第2連関度が予め記憶されている場合において、第1実施形態を通じて探索された検出アルゴリズム情報や既知の撮影条件(入力した検出アルゴリズム情報や参照用撮影条件)が参照用検出アルゴリズム情報として「880±5nm、970±10nm、クラスター分析」であり、参照用撮影条件として「シャッタースピード○○秒」である場合いは、第2連関度を介してノード61bが関連付けられており、このノード61bは、「フィルタR、照明度の角度○○°」が第2連関度60%、「露光時間○○ns未満」が第2連関度40%で関連付けられている。これらを探索解として出力するようにしてもよい。   When such second association is stored in advance, detection algorithm information searched through the first embodiment and known shooting conditions (input detection algorithm information and reference shooting conditions) are reference detection algorithm information. As “880 ± 5 nm, 970 ± 10 nm, cluster analysis”, and when the reference photographing condition is “shutter speed XX seconds”, the node 61b is associated through the second association degree. In the node 61b, “filter R, illumination angle OO °” is associated with a second association degree of 60%, and “less than exposure time OOns” is associated with a second association degree of 40%. These may be output as search solutions.

このノード61から探索すべき撮影条件につながる第2連関度と、参照用検出アルゴリズム情報や、参照用撮影条件からノード61につながる第2連関度、それぞれが3段階以上で構成されている。しかしながら、ノード61から探索すべき撮影条件につながる第2連関度と、参照用検出アルゴリズム情報や、参照用撮影条件からノード61につながる第2連関度の何れか一方を2段階で、換言すればつながっているか否かで構成するようにしてもよい。   Each of the second association degree connected to the imaging condition to be searched from the node 61 and the second association degree connected to the node 61 from the reference detection algorithm information and the reference imaging condition is configured in three or more stages. However, in other words, the second association degree connected to the imaging condition to be searched from the node 61 and the reference association algorithm information or the second association degree connected to the node 61 from the reference imaging condition are expressed in two stages. You may make it comprise by whether it is connected.

また、上述した第1連関度についても同様に、組み合わせの連関度を、この入力側(例えば図17でいうところの参照用検出アルゴリズム情報、参照用撮影条件がある側)と、出力側(例えば図17でいうところの探索すべき撮影条件がある側)との間に設けられたノード61につなげてもよい。そして、入力側からノード61、ノード61から出力側それぞれに独立して3段階以上の第1連関度がそれぞれ設定されてもよく、それぞれが独立に更新されるものであってもよい。   Similarly, for the first relevance described above, the relevance of the combination is determined on the input side (for example, the reference detection algorithm information in FIG. 17 and the reference photographing condition side) and on the output side (for example, You may connect with the node 61 provided between the side with the imaging | photography conditions which should be searched in FIG. Then, three or more first associations may be set independently from the input side to the node 61 and from the node 61 to the output side, respectively, or may be updated independently.

ユーザは、出力された撮影条件に基づいて、撮影装置5における結像光学系51と、フィルタ52と、撮像素子53と、信号処理部54等をそれぞれ設計し、或いは照明光の条件を設定したり、或いは撮影に関する各種条件を決定していくこととなる。特に本発明によれば、次々に新しい被写体の目的事象が生まれる都度、ひいては新しい検出アルゴリズム情報が生成される都度、撮影装置5について最適な撮影条件を検討するための労力の負担を軽減でき、時間の短縮化を図ることが可能となる。   The user designs the imaging optical system 51, the filter 52, the imaging element 53, the signal processing unit 54, and the like in the imaging device 5 based on the output imaging conditions, or sets the illumination light conditions. Or various conditions relating to photographing will be determined. In particular, according to the present invention, it is possible to reduce the burden of labor for examining the optimum photographing conditions for the photographing device 5 each time a new target object event is born one after another, and every time new detection algorithm information is generated. Can be shortened.

また、本発明を適用した情報探索システム1では、3段階以上に設定されている第2連関度を介して最適な撮影条件の探索を行う点に特徴がある。第2連関度は、例えば0〜100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。   In addition, the information search system 1 to which the present invention is applied is characterized in that an optimum photographing condition is searched through the second association degree set in three or more stages. The second association degree can be described by a numerical value of 0 to 100%, for example, but is not limited to this, and may be configured at any stage as long as it can be described by a numerical value of three or more levels. Good.

このような3段階以上の数値で表される第2連関度に基づいて探索することで、複数の撮影条件が選ばれる状況下において、当該第2連関度の高い順に探索して表示することも可能となる。このように第2連関度の高い順にユーザに表示できれば、より可能性の高い撮影条件を優先的に選択することを促すこともできる。一方、第2連関度の低い撮影条件であってもセカンドオピニオンという意味で表示することができ、ファーストオピニオンで上手く設計できない場合において有用性を発揮することができる。   By searching based on the second relevance expressed by numerical values of three or more levels, it is possible to search and display in descending order of the second relevance in a situation where a plurality of shooting conditions are selected. It becomes possible. As described above, if the second association degree can be displayed to the user in the descending order, it is possible to prompt the user to preferentially select a more likely shooting condition. On the other hand, even in a shooting condition with a low second association degree, it can be displayed in the sense of a second opinion, and can be useful when it cannot be designed well with the first opinion.

これに加えて、本発明によれば、第2連関度が1%のような極めて低い撮影条件も見逃すことなく判断することができる。第2連関度が極めて低い撮影条件であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、撮影条件として役に立つ場合もあることをユーザに対して注意喚起することができる。   In addition to this, according to the present invention, it is possible to determine an extremely low photographing condition such as 1% of the second relevance without overlooking. Even if the shooting conditions are very low in the second relationship, it is connected as a slight sign and alerts the user that it may be useful as shooting conditions tens or hundreds of times. can do.

更に本発明によれば、このような3段階以上の第2連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が1%のものであっても漏れなく拾うことができる反面、検出アルゴリズム情報や既知の撮影条件に見合った撮影条件を好適に検出できる可能性が低くなってしまう場合もある。一方、閾値を高くすれば、検出アルゴリズム情報や既知の撮影条件に見合った撮影条件を高確率で絞り込むことができる反面、何十回、何百回に一度は好適な条件を見出す撮影条件を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。   Furthermore, according to the present invention, there is an advantage that a search policy can be determined in a manner of setting a threshold by performing a search based on the second relevance of three or more stages. If the threshold value is lowered, it is possible to pick up without omission even if the above-mentioned association degree is 1%, but the possibility that it is possible to suitably detect the shooting conditions corresponding to the detection algorithm information and the known shooting conditions is reduced. There is also a case. On the other hand, if the threshold value is increased, the shooting conditions that match the detection algorithm information and known shooting conditions can be narrowed down with high probability, but on the other hand, overlooking shooting conditions that find suitable conditions once every tens or hundreds of times. There is also a case. It is possible to decide which to place importance on the basis of the idea on the user side and the system side, but it is possible to increase the degree of freedom in selecting points to place such emphasis.

図18は、左側の参照用撮影条件にフィルタの条件を規定し、右側の探索すべき撮影条件には、撮像素子の条件を規定した例を示している。上述した図15の例では、左側の参照用撮影条件に撮像素子の条件を規定し、右側の探索すべき撮影条件には、フィルタの条件を規定しているが、その配置を入れ替えたものである。   FIG. 18 shows an example in which a filter condition is defined in the left reference imaging condition, and an imaging element condition is defined in the right imaging condition to be searched. In the example of FIG. 15 described above, the imaging element condition is defined in the reference imaging condition on the left side, and the filter condition is defined in the imaging condition to be searched on the right side. is there.

この図18の例では、これから探索すべき撮影条件として撮像素子T、U、Wがあり、フィルタの条件については探索前においてフィルタS、又はフィルタRに決定しているためこれらを左側の参照用撮影条件に含めている。この図18に示す第2連関度を介して、あるフィルタSの条件に対して最適な撮像素子を探索することができる。   In the example of FIG. 18, there are imaging elements T, U, and W as imaging conditions to be searched from now on, and the filter conditions are determined to be the filter S or the filter R before the search, so these are for reference on the left side. It is included in the shooting conditions. An optimal image sensor for a certain filter S condition can be searched for through the second association degree shown in FIG.

このように、第2実施形態においては、照明光の情報、各種撮像系のパラメータ、ハードウェア上のパラメータのうち、これから実際に探索すべき撮影条件と、予め決定している条件を予め分類して第2連関度を形成しておくことができる。これにより、探索すべき撮影条件が都度変化する場合においても、これから実際に探索すべき撮影条件が右側に位置する第2連関度を予め作りこんでおくことで、探索を実現できる。   As described above, in the second embodiment, among the illumination light information, various imaging system parameters, and hardware parameters, the imaging conditions to be actually searched for and the predetermined conditions are classified in advance. Thus, the second association degree can be formed. As a result, even when the shooting condition to be searched changes every time, the search can be realized by creating in advance the second association degree where the shooting condition to be actually searched is located on the right side.

更に本発明では、上述した第2連関度を更新させるようにしてもよい。つまり、図15に示すような参照用検出アルゴリズム情報及び参照用撮影条件と、設計情報を随時更新していく。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。公衆通信網から取得可能なサイト情報や書き込み等を通じて、参照用検出アルゴリズム情報及び参照用撮影条件と、設計情報との関係性について新たな知見が発見された場合には、当該知見に応じて連関度を上昇させ、或いは下降させる。例えば、ある検出アルゴリズム情報に対してある程度の連関度を有する撮影条件が、非常に相性が良いことが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第2連関度を更に上昇させる。また、ある検出アルゴリズム情報に対してある程度の第2連関度を有する撮影条件が、あまり相性が良くないことが公衆通信網上のサイトを通じて多く挙がっていた場合、これらの間に設定されている第2連関度を下降させる。また、ある検出アルゴリズム情報に対して、今までに無い撮影条件で高精度に検出ができることが公衆通信網上のサイトを通じて挙がっていた場合、これらの間に新たに第2連関度を設定することで更新するようにしてもよい。   Furthermore, in the present invention, the second association degree described above may be updated. That is, the reference detection algorithm information and reference imaging conditions as shown in FIG. 15 and the design information are updated as needed. This update may reflect information provided via a public communication network such as the Internet. When new knowledge about the relationship between design information and reference detection algorithm information and reference shooting conditions is obtained through site information or writing that can be obtained from the public communication network, Increase or decrease the degree. For example, if there are many cases where shooting conditions having a certain degree of association with certain detection algorithm information are very compatible with each other through sites on the public communication network, the second association set between them is set. Increase the degree further. In addition, if there are many cases where shooting conditions having a certain degree of second relevance with respect to certain detection algorithm information are not very compatible with each other through sites on the public communication network, the second set between them. Decrease the two associations. In addition, when it is stated that a certain detection algorithm information can be detected with high accuracy under unprecedented shooting conditions through a site on the public communication network, a new second association degree should be set between them. You may make it update with.

この第2連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。   The update of the second association is not based on information that can be obtained from the public communication network, but the system side or the user side is artificially or automatically based on the research data, papers, and conference presentations by experts. You may make it update to. Artificial intelligence may be used in these update processes.

なお、本発明によれば、第1実施形態に続き、第2実施形態を連続して実行するようにしてもよい。かかる場合には、第1実施形態において、先ず被写体の目的事象を入力し、第1連関度を参照することで、これに応じた最適な検出アルゴリズム情報や撮影条件が選択される。次にこの選択された検出アルゴリズム情報や撮影条件から、第2連関度を参照することで、これに応じた最適な撮影装置5の撮影条件が選択されることとなる。つまり被写体の目的事象を入力した場合に、これを撮影装置5で撮影する上で最適な撮影条件が探索装置2による解として表示されることとなる。   In addition, according to this invention, you may make it perform 2nd Embodiment continuously from 1st Embodiment. In such a case, in the first embodiment, first, the target event of the subject is input and the first association degree is referred to, so that the optimum detection algorithm information and photographing conditions corresponding to this are selected. Next, by referring to the second association degree from the selected detection algorithm information and shooting conditions, the optimal shooting conditions of the shooting device 5 corresponding to the second association degree are selected. That is, when a target event of a subject is input, an optimal shooting condition for shooting this by the shooting device 5 is displayed as a solution by the search device 2.

図13に基づいて第2実施形態のデータフローについて説明をする。第1実施形態において探索された検出アルゴリズム情報や撮影条件に基づいて、撮影装置5の各種撮影条件が決定される。この撮影条件としては、上述した結像光学系51と、フィルタ52と、撮像素子53と、信号処理部54等のハードウェア上のパラメータ、撮影系のパラメータ、照明光の情報の何れか1以上が決定される。これら撮影条件が反映された撮影装置5は、検出アルゴリズム情報により検知すべき被写体の目的事象を検知する上で好適な構成となる。そして、この撮影装置5により被写体を撮影し、特徴波長演算を行わせることにより、演算後の色解析画像を得ることが可能となる。   The data flow of the second embodiment will be described based on FIG. Various imaging conditions of the imaging device 5 are determined based on the detection algorithm information and the imaging conditions searched in the first embodiment. As this imaging condition, any one or more of the above-described imaging optical system 51, filter 52, imaging element 53, hardware parameters such as the signal processing unit 54, imaging system parameters, and illumination light information are included. Is determined. The imaging device 5 in which these imaging conditions are reflected has a preferable configuration for detecting a target event of a subject to be detected based on detection algorithm information. Then, the subject is photographed by the photographing device 5 and the characteristic wavelength calculation is performed, so that a color analysis image after the calculation can be obtained.

なお、第2実施形態においては、特にこの撮影装置5が、携帯電話やスマートフォン、タブレット型端末、ウェラブル端末にそれぞれ実装されるあらゆるデジタルカメラとして具現化される場合において、その色解析画像を得るためのアプリケーションソフトウェアのフィルタ条件、フィルタ演算方法も上記撮影条件に含めるようにしてもよい。このアプリケーションソフトウェアにおけるフィルタ条件とは、具体的にいかなる特徴波長、特徴波長範囲の撮像光を透過させるかをソフトウェア上にて決定する条件である。同様にフィルタ演算とは、具体的にいかなる特徴波長演算を行わせるかをソフトウェア上にて決定するものである。   In the second embodiment, in particular, in the case where the photographing apparatus 5 is embodied as any digital camera mounted on a mobile phone, a smartphone, a tablet terminal, or a wearable terminal, in order to obtain a color analysis image thereof. The filter conditions and the filter calculation method of the application software may be included in the shooting conditions. The filter condition in this application software is a condition for determining on the software what specific wavelength and characteristic wavelength range of imaging light are to be transmitted. Similarly, the filter calculation is to determine on the software what specific wavelength calculation is to be performed.

なお本発明は、探索された検出アルゴリズム情報や撮影条件に基づいて、スペクトル撮像装置4や撮影装置5により被写体を撮影することで得られたスペクトルデータにより、目的事象を自動的に判別することもできる。この判別を行う場合には、探索装置2に対してその自動的な判別機能を担わせるようにしてもよい。   In the present invention, the target event can be automatically determined based on the spectrum data obtained by photographing the subject by the spectrum imaging device 4 or the imaging device 5 based on the searched detection algorithm information and the imaging conditions. it can. When this determination is performed, the search device 2 may have an automatic determination function.

図19は、そのスペクトルデータによる目的事象の自動的な判別する上で必要となる第3連関度を示している。この第3連関度の例では、スペクトル撮像装置4や撮影装置5により被写体を撮影することで得られたスペクトルデータと、目的事象の判別結果とを予め学習させることとなる。   FIG. 19 shows the third relevance necessary for automatically determining the target event based on the spectrum data. In this third association example, the spectral data obtained by photographing the subject with the spectral imaging device 4 or the photographing device 5 and the determination result of the target event are learned in advance.

アルゴリズムデータベース3には、このスペクトルデータr1、r2、r3、・・・・と、出力解としての目的事象の判別結果との間での3段階以上の第3連関度を予め記憶させておく。図19の例によれば、スペクトルデータがr1である場合に、ガラスの表面に発生している欠陥の欠陥率において「欠陥率3%」が第3連関度80%、「欠陥率4%」が第3連関度60%で設定されている。またスペクトルデータがr2である場合に、「欠陥率5%」が連関度90%、「欠陥率2%」が連関度40%で設定されている。   The algorithm database 3 stores in advance three or more levels of third relations between the spectrum data r1, r2, r3,... And the determination result of the target event as an output solution. According to the example of FIG. 19, when the spectral data is r1, in the defect rate of defects generated on the surface of the glass, the “defect rate 3%” is the third association degree 80% and the “defect rate 4%”. Is set at a third relevance of 60%. Further, when the spectrum data is r2, the “defect rate 5%” is set to 90% and the “defect rate 2%” is set to 40%.

これらの第3連関度は、以前にスペクトル撮像装置4や撮影装置5により被写体を撮影したときのスペクトルデータr1、r2、r3、・・・と、その判別結果としての欠陥率をアルゴリズムデータベース3内に予め蓄積しておき、それらに基づいて設定するようにしてもよい。この第3連関度は、いわゆるニューラルネットワークにより構成されていてもよい。この第3連関度は、実際にスペクトルデータに基づいて被写体の目的事象を判別する上での判別結果(例えば上述した欠陥率等)を判別する上での的確性を示すものである。例えばスペクトルデータr3に対しては、連関度70%の「欠陥率1%」が最も的確な判別に近く、連関度50%の「欠陥率3%」がこれに続く的確な判別ということになる。同様にスペクトルデータr2に対しては、連関度90%の「欠陥率5%」が最も的確な判別に近く、連関度40%の「欠陥率2%」がこれに続く的確な判別ということになる。   These third association degrees are the spectral data r1, r2, r3,... Obtained when the subject was previously photographed by the spectral imaging device 4 or the photographing device 5, and the defect rate as the discrimination result in the algorithm database 3. May be stored in advance and set based on them. This third association degree may be configured by a so-called neural network. This third degree of association indicates the accuracy with which to determine the determination result (for example, the above-described defect rate) for actually determining the target event of the subject based on the spectrum data. For example, for the spectrum data r3, “defect rate 1%” with an association degree of 70% is close to the most accurate determination, and “defect rate 3%” with an association degree of 50% is the subsequent accurate determination. . Similarly, with respect to the spectrum data r2, “defect rate 5%” with an association degree of 90% is close to the most accurate determination, and “defect rate 2%” with an association degree of 40% is the subsequent accurate determination. Become.

次に、探索されたアルゴリズムに基づいて実際に被写体としてのガラスをスペクトル撮像装置4や撮影装置5により撮像することで、新たにスペクトルデータを取得する。この取得したスペクトルデータに基づいて、被写体の目的事象を判別する作業を行う。この判別においては、予め取得した図19に示す第3連関度を参照する。新たに取得したスペクトルデータが、スペクトルデータr1か、又はこれに近似するものである場合には、上述した第3連関度を参照した場合、第3連関度の最も高い「欠陥率3%」を最適解として選択する。但し、最も第3連関度の高いものを最適解として選択することは必須ではなく、第3連関度は低いものの連関性そのものは認められる「欠陥率4%」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論である。即ち、この被写体の目的事象の判別結果の選択は、第3連関度が高いものから順に選択される場合に限定されるものではなく、ケースに応じて第3連関度が低いものから順に選択されるものであってもよいし、その他いかなる優先順位で選択されるものであってもよい。   Next, spectrum data is newly acquired by actually imaging the glass as a subject with the spectrum imaging device 4 or the imaging device 5 based on the searched algorithm. Based on the acquired spectrum data, an operation of discriminating a target event of the subject is performed. In this determination, the third association degree shown in FIG. 19 acquired in advance is referred to. When the newly acquired spectrum data is the spectrum data r1 or approximate to the spectrum data r1, when referring to the third association degree described above, the “defect rate 3%” having the highest third association degree is obtained. Select as the optimal solution. However, it is not essential to select the most relevant solution with the third degree of association as the optimum solution, and select “4% defect rate” as the optimum solution, although the third degree of association is low but the association itself is recognized. Also good. Of course, an output solution that is not connected with an arrow may be selected. That is, the selection of the determination result of the target event of the subject is not limited to the case where the third association degree is selected in order from the highest third association degree, but is selected in the order from the lowest third association degree according to the case. May be selected, or may be selected in any other priority order.

また、得られたスペクトルデータが、r2にも一部類似しているが、r3にも一部類似し、何れに割り当ててよいか分からない場合については、例えば、画像間の特徴等に着目して判断するようにしてもよい。かかる場合には、例えば得られたスペクトルデータの輝度を画像内の特徴領域とみなして何れに割り当てるか判断するようにしてもよい。取得したスペクトルデータの画像がr1〜r3の何れに類似しているかを判別する際には、例えばディープラーニング等を活用するようにしてもよい。ディープラーニングを通じて画像上の特徴量に基づき、何れのr1〜r3に割り当てるかを判別することとなる。このようにして、得られたスペクトルデータをr1〜r3の何れかに割り当てた後、これらに設定された第3連関度に基づいて出力解としての被写体の目的事象の判別結果を選択することになる。   In addition, in the case where the obtained spectrum data is partially similar to r2 but partially similar to r3, and it is not known to which one it should be assigned, for example, pay attention to features between images. You may make it judge. In such a case, for example, the brightness of the obtained spectrum data may be regarded as a feature region in the image and may be determined. For example, deep learning or the like may be used to determine which of the obtained spectral data images is similar to r1 to r3. Based on the feature amount on the image through deep learning, it is determined which of r1 to r3 is assigned. In this way, after assigning the obtained spectrum data to any one of r1 to r3, the determination result of the target event of the subject as the output solution is selected on the basis of the third association degree set to these. Become.

なお、得られたスペクトルデータに対する被写体の目的事象の判別結果の選択方法は、上述した方法に限定されるものではなく、第3連関度を参照するものであればいかなる方法に基づいて実行するようにしてもよい。また、これらの探索動作では、人工知能を利用して行うようにしてもよい。   Note that the method for selecting the determination result of the target event of the subject with respect to the obtained spectrum data is not limited to the method described above, and any method can be used as long as it refers to the third association degree. It may be. These search operations may be performed using artificial intelligence.

図20は、参照用のスペクトルデータr1、r2、・・・と、参照用の検出アルゴリズム情報及び/又は参照用撮影条件との組み合わせと当該組み合わせに対する被写体の目的事象の判別結果との3段階以上の第3連関度が設定されている例を示している。   FIG. 20 shows three or more stages of the combination of the reference spectrum data r1, r2,..., The detection algorithm information for reference and / or the reference imaging condition, and the determination result of the target event of the subject for the combination. This shows an example in which the third degree of association is set.

かかる場合において、第3連関度は、図20に示すように、参照用のスペクトルデータr1、r2、・・・と、参照用の検出アルゴリズム情報及び/又は参照用撮影条件との組み合わせの集合がいわゆる隠れ層のノード61a〜61eとして表現されることとなる。各ノード61a〜61eは、参照用のスペクトルデータr1、r2、・・・と、参照用の検出アルゴリズム情報及び/又は参照用撮影条件に対する重み付けと、被写体の目的事象の判別結果に対する重み付けがそれぞれ設定されている。この重み付けが3段階以上の第3連関度である。例えば、ノード61aは、スペクトルデータr1が第3連関度80%で、またアルゴリズム情報としての「230±12nm、630±5nm」が第3連関度80%で連関している。またノード61cは、スペクトルデータr2が第3連関度60%で、参照用撮影条件としての「フィルタS、空間解像度」が第3連関度60%、参照用の検出アルゴリズム情報としての「455±12nm」が第3連関度40%で連関している。   In such a case, as shown in FIG. 20, the third association degree is a set of combinations of reference spectrum data r1, r2,..., Reference detection algorithm information and / or reference imaging conditions. It is expressed as so-called hidden layer nodes 61a to 61e. Each of the nodes 61a to 61e is set with weights for reference spectrum data r1, r2,..., Reference detection algorithm information and / or reference shooting conditions, and a determination result of a target event of a subject. Has been. This weighting is the third degree of association of three or more levels. For example, in the node 61a, the spectrum data r1 is associated with the third association degree of 80%, and “230 ± 12 nm, 630 ± 5 nm” as the algorithm information is associated with the third association degree of 80%. Further, the node 61c has a spectrum data r2 having a third association degree of 60%, “filter S, spatial resolution” as a reference imaging condition is a third association degree of 60%, and “455 ± 12 nm as reference detection algorithm information”. Are linked with a third degree of association of 40%.

このような第3連関度が設定されている場合も同様に、新たにスペクトルデータを取得し、また撮影条件及び/又は検出アルゴリズム情報を新たに取得した場合には、この第3連関度を参照し、被写体の目的事象の判別結果を探索する。新たに取得したスペクトルデータがr1であり、かつ撮影条件が「ホワイトバランス○○」である場合、第3連関度を介してノード61bが関連付けられており、このノード61bは、「欠陥率3%」が第3連関度60%、「欠陥率1%」が第3連関度40%で関連付けられている。このような第3連関度に基づいて被写体の目的事象の判別結果を選択していくことになる。   Similarly, when the third degree of association is set, when the spectrum data is newly acquired and the imaging condition and / or the detection algorithm information is newly acquired, the third degree of association is referred to. Then, the discrimination result of the target event of the subject is searched. When the newly acquired spectrum data is r1 and the photographing condition is “white balance OO”, the node 61b is associated through the third association degree. "Is associated with a third degree of association of 60% and" Defect rate of 1% "with a third degree of association of 40%. Based on the third degree of relevance, the determination result of the target event of the subject is selected.

また本発明は、設計情報探索システムとして具現化されるものであってもよい。この設計情報探索システムでは、目的事象の判別結果に基づいて、目的事象を設計するための設計情報を探索する。この設計情報の探索は、例えば以下に説明する第4連関度を参照するようにしてもよい。   The present invention may be embodied as a design information search system. In this design information search system, design information for designing a target event is searched based on the determination result of the target event. This design information search may refer to, for example, the fourth relevance described below.

ここでいう目的事象の設計情報とは、目的事象を今後設計するために必要なあらゆる情報が含まれる。例えば目的事象の判別結果が、顔の水分の割合が70%である場合に、これに適したファウンデーションを設計する上で必要な情報を探索するものである。或いは目的事象の判別結果がガラスの欠陥率であった場合には、新たにガラスの材料設計に必要な情報を探索することになる。この材料設計に必要な情報の例としては、第1層目に材料Pを形成し、第2層目に材料Qを形成すると共に分散強化ファイバを複合させ、更に第3層目に材料Rを形成させるべき、という助言のようなものであってもよい。   The design information of the target event here includes all information necessary for designing the target event in the future. For example, when the determination result of the target event is that the moisture content of the face is 70%, information necessary for designing a foundation suitable for this is searched. Or when the discrimination | determination result of a target event is the defect rate of glass, the information required for the material design of glass will be newly searched. As an example of information necessary for this material design, the material P is formed in the first layer, the material Q is formed in the second layer, the dispersion reinforcing fiber is combined, and the material R is further formed in the third layer. It may be like advice that it should be formed.

図21は、参照用のスペクトルデータr1、r2、・・・と、参照用の目的事象の判別結果との組み合わせに対する、探索すべき設計情報との3段階以上の第4連関度が設定されている例を示している。   In FIG. 21, four or more levels of fourth relations between the reference spectrum data r1, r2,... And the design information to be searched for the combination of the reference target event determination results are set. An example is shown.

かかる場合において、第4連関度は、図21に示すように、参照用のスペクトルデータr1、r2、・・・と、参照用の目的事象の判別結果との組み合わせの集合がいわゆる隠れ層のノード61a〜61eとして表現されることとなる。各ノード61a〜61eは、参照用のスペクトルデータr1、r2、・・・と、参照用の目的事象の判別結果に対する重み付けと、探索すべき設計情報に対する重み付けがそれぞれ設定されている。この重み付けが3段階以上の第4連関度である。例えば、ノード61aは、スペクトルデータr1が第3連関度80%で、また目的事象の判別結果として「A成分:B成分=1:3」が第4連関度80%で連関している。またノード61cは、スペクトルデータr2が第4連関度60%で、目的事象の判別結果としての「A成分:B成分=2:1」が第4連関度60%、目的事象の判別結果としての「A成分:B成分=1:6」が第4連関度40%で連関している。   In this case, as shown in FIG. 21, the fourth association degree is a so-called hidden layer node in which a set of combinations of reference spectrum data r1, r2,... It will be expressed as 61a-61e. In each of the nodes 61a to 61e, weights for reference spectrum data r1, r2,..., Reference target event discrimination results, and design information to be searched are set. This weighting is the fourth degree of association of three or more levels. For example, in the node 61a, the spectrum data r1 is associated with the third association degree 80%, and “A component: B component = 1: 3” is associated with the fourth association degree 80% as the discrimination result of the target event. In addition, the node 61c has a spectrum data r2 having a fourth association degree of 60%, “A component: B component = 2: 1” as a discrimination result of the target event is a fourth linkage degree of 60%, and a discrimination result of the target event is “A component: B component = 1: 6” is associated with a fourth association degree of 40%.

このような第4連関度が設定されている場合も同様に、新たにスペクトルデータを取得し、また目的事象の判別結果を新たに取得した場合には、この第4連関度を参照し設計情報を探索する。新たに取得したスペクトルデータがr1であり、かつ目的事象の判別結果が「A成分:B成分=5:1」である場合、第4連関度を介してノード61bが関連付けられており、このノード61bは、「設計情報E」が第4連関度60%、「設計情報G」が第4連関度40%で関連付けられている。このような第4連関度に基づいて設計情報を選択していくことになる。   Similarly, when such a fourth degree of association is set, spectrum data is newly acquired, and when the determination result of the target event is newly obtained, the design information is referred to by referring to the fourth degree of association. Explore. When the newly acquired spectrum data is r1 and the discrimination result of the target event is “A component: B component = 5: 1”, the node 61b is associated through the fourth association degree. In 61b, “design information E” is associated with a fourth association degree of 60%, and “design information G” is associated with a fourth association degree of 40%. Design information is selected based on the fourth degree of association.

なお、目的事象の判別結果は、第3連関度を通じて選択されたものであってもよいし、これとは別に新たに入力されたものを利用するようにしてもよい。   Note that the target event determination result may be selected through the third degree of association, or a newly input one may be used.

この第3連関度、第4連関度を用いた判別では、さらに被写体10を撮像した位置に関する位置情報、当該位置情報を現在地の地図に照らし合わせることで取得した地図情報、更には、被写体10の形態情報(形状、模様、色彩、質感等)の何れか1以上を組み合わせて判断するようにしてもよい。かかる場合には、人工衛星から送られてくる衛星測位信号に基づいて現時点の位置情報をリアルタイムに取得する図示しない位置情報取得部や、日本国内の地図、世界各国の地図からなる地図情報を記憶する図示しない地図情報取得部が別途設けられている。形態情報の取得は、被写体10を撮像するカメラで構成されている。このカメラにより撮像された被写体10の画像から、この被写体10の形態(形状、模様、色彩、質感等)を識別することが可能となる。検出された位置情報、地図情報、形態情報の何れか1以上を取得し、上述と同様に第3連関度、第4連関度を介した学習済みモデルを構築する。かかる場合には、図20における第3連関度におけるノード61の左側や、図21における第4連関度におけるノード61の左側において、これら位置情報、地図情報、形態情報の何れか1以上が配列し、ノード61にリンクすることになる。つまり、第3連関度、第4連関度は、位置情報、地図情報、形態情報の何れか1以上を組み合わせることで判断を行うことができるモデルとなっている。従って、この位置情報、地図情報、形態情報の何れか1以上を更に組み合わせ、上述した第3連関度、第4連関度を介して各種判別を行うことが可能となる。   In the determination using the third association degree and the fourth association degree, the position information on the position where the subject 10 is imaged, the map information acquired by comparing the position information with the map of the current location, and the subject 10 The determination may be made by combining any one or more of the form information (shape, pattern, color, texture, etc.). In such a case, a position information acquisition unit (not shown) that acquires current position information in real time based on a satellite positioning signal sent from an artificial satellite, a map in Japan, and map information made up of maps of countries around the world are stored. A map information acquisition unit (not shown) is provided separately. The acquisition of form information is configured by a camera that captures an image of the subject 10. It is possible to identify the form (shape, pattern, color, texture, etc.) of the subject 10 from the image of the subject 10 captured by the camera. One or more of the detected position information, map information, and form information is acquired, and a learned model is constructed through the third association degree and the fourth association degree as described above. In such a case, at least one of the position information, the map information, and the form information is arranged on the left side of the node 61 in the third association degree in FIG. 20 and the left side of the node 61 in the fourth association degree in FIG. , It will link to the node 61. That is, the third association degree and the fourth association degree are models that can be determined by combining one or more of position information, map information, and form information. Accordingly, any one or more of the position information, the map information, and the form information can be further combined, and various determinations can be performed through the third association degree and the fourth association degree.

なお、形態情報としては、いわゆる空間特徴情報を含むようにしてもよい。ここでいう空間特徴情報としては、空間位置(配置)、形態(形状、大きさ、模様、テクスチャ、色彩、質感等)を含めたものである。この空間特徴情報は、いわゆるディープラーニング技術において使用される画像上の特徴量を含む概念であり、これを抽出することで空間位置(配置)や形態を識別していくための情報である。この空間特徴情報は、一般的な空間特徴量に加えて、スペクトル毎に抽出されたスペクトル特徴量も含まれるものであってもよい。或いは、この空間特徴情報は、空間特徴量と、このスペクトル特徴量を融合させたもので構成されていてもよい。このスペクトル特徴量は、分光画像に基づいて特徴量を抽出するものであるから、背景の動き等から所望の被写体のみを容易に分離して特徴量を抽出することができ、形態情報の把握を容易に行うことが可能となる。   Note that the form information may include so-called spatial feature information. The spatial feature information here includes spatial position (arrangement) and form (shape, size, pattern, texture, color, texture, etc.). This spatial feature information is a concept including a feature amount on an image used in so-called deep learning technology, and is information for identifying a spatial position (arrangement) and form by extracting the feature amount. This spatial feature information may include a spectral feature amount extracted for each spectrum in addition to a general spatial feature amount. Alternatively, the spatial feature information may be configured by a fusion of the spatial feature amount and the spectral feature amount. Since this spectral feature value is used to extract a feature value based on a spectral image, only a desired subject can be easily separated from the background movement, etc., and the feature value can be extracted. It can be easily performed.

また、第3連関度、第4連関度共にニューラルネットワーク等に代表される人工知能で構成されていてもよい。   Further, both the third association degree and the fourth association degree may be configured by artificial intelligence represented by a neural network or the like.

1 情報探索システム
2 探索装置
3 アルゴリズムデータベース
4 スペクトル撮像装置
5 撮影装置
6 撮影条件データベース
10 被写体
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 探索部
28 記憶部
41 対物レンズ
42 精密直動ステージ
43 スリット板
43a スリット開口部
44 コリメートレンズ
45 分散光学素子
46 結像レンズ
47 撮像素子
48 制御部
51 結像光学系
52 フィルタ
53 撮像素子
54 信号処理部
481 撮影制御部
482 移動制御部
483 分光データ作成部
484 画像処理部
484−1 校正処理部
484−2 算出部
484−3 色解析画像取得部
DESCRIPTION OF SYMBOLS 1 Information search system 2 Search apparatus 3 Algorithm database 4 Spectrum imaging device 5 Imaging device 6 Imaging condition database 10 Subject 21 Internal bus 23 Display part 24 Control part 25 Operation part 26 Communication part 27 Search part 28 Storage part 41 Objective lens 42 Precision direct Moving stage 43 Slit plate 43a Slit opening 44 Collimating lens 45 Dispersion optical element 46 Imaging lens 47 Imaging element 47 Control unit 51 Imaging optical system 52 Filter 53 Imaging element 54 Signal processing unit 481 Imaging control unit 482 Movement control unit 483 Spectroscopy Data creation unit 484 Image processing unit 484-1 Calibration processing unit 484-2 Calculation unit 484-3 Color analysis image acquisition unit

Claims (23)

撮影した被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報を探索する情報探索システムにおいて、
被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索手段とを備えること
を特徴とする情報探索システム。
In an information search system that searches for detection algorithm information of spectrum data necessary to discriminate a target event from a photographed subject,
A first association database in which first association degrees of three or more levels of each target event of the subject and the detection algorithm information are stored in advance;
A target event input means for inputting information on a target event of a subject to be newly determined;
Search means for searching for one or more detection algorithm information based on information on the target event input through the target event input means with reference to the first association degree stored in the first relation database; An information search system characterized by comprising:
上記第1連関データベースは、被写体の各目的事象及び参照用撮影条件と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶され、
上記目的事象入力手段は、新たに判別すべき被写体の目的事象及び既知の撮影条件に関する情報が入力され、
上記探索手段は、上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象及び既知の撮影条件に関する情報に基づき、1以上の検出アルゴリズム情報を探索すること
を特徴とする請求項1記載の情報探索システム。
The first association database stores in advance three or more levels of first association between each target event and reference shooting condition of the subject and the detection algorithm information,
The target event input means is input with information on the target event of the subject to be newly determined and known shooting conditions,
The search means refers to the first association degree stored in the first association database, and is based on the information about the target event and the known imaging conditions input via the target event input means. The information search system according to claim 1, wherein the search algorithm information is searched.
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索システムにおいて、
被写体の各目的事象と、各撮影条件との3段階以上の第1連関度が予め記憶されている第1連関データベースと、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力手段と、
上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索手段とを備えること
を特徴とする情報探索システム。
In an information search system for searching shooting conditions of a shooting device for determining a target event from a shot subject,
A first association database that stores in advance three or more levels of first associations between each object event and each imaging condition;
A target event input means for inputting information on a target event of a subject to be newly determined;
Search means for searching for one or more shooting conditions based on information relating to the target event input through the target event input means with reference to the first association degree stored in the first association database An information search system characterized by comprising.
上記第1連関データベースは、被写体の各目的事象及び参照用撮影条件と、各撮影条件との3段階以上の第1連関度が予め記憶され、
上記目的事象入力手段は、新たに判別すべき被写体の目的事象及び既知の撮影条件に関する情報が入力され、
上記探索手段は、上記第1連関データベースに記憶されている上記第1連関度を参照し、上記目的事象入力手段を介して入力された上記目的事象及び既知の撮影条件に関する情報に基づき、1以上の撮影条件を探索すること
を特徴とする請求項3記載の情報探索システム。
The first association database stores in advance three or more stages of first associations of each objective event and reference imaging condition of the subject and each imaging condition,
The target event input means is input with information on the target event of the subject to be newly determined and known shooting conditions,
The search means refers to the first association degree stored in the first association database, and is based on the information about the target event and the known imaging conditions input via the target event input means. The information search system according to claim 3, wherein the imaging condition is searched.
各上記検出アルゴリズム情報と、撮影した被写体から目的事象を判別するための撮影装置について探索すべき撮影条件との3段階以上の第2連関度が予め記憶されている第2連関データベースを更に備え、
上記探索手段は、上記第2連関データベースに記憶されている上記第2連関度を参照し、上記探索した1以上の検出アルゴリズム情報又は新たに入力された1以上の検出アルゴリズム情報に基づき、1以上の上記探索すべき撮影条件を探索すること
を特徴とする請求項1記載の情報探索システム。
A second association database that stores in advance three or more stages of second association between each of the detection algorithm information and imaging conditions to be searched for an imaging device for discriminating a target event from a captured subject;
The search means refers to the second association degree stored in the second association database, and is based on the searched one or more detection algorithm information or one or more newly input detection algorithm information. The information search system according to claim 1, wherein the imaging condition to be searched is searched.
上記第1連関データベースは、上記目的事象に応じた1以上の特徴波長並びにその特徴波長範囲、この特徴波長を説明変数とした演算式の何れか1以上からなる上記検出アルゴリズム情報の上記第1連関度が記憶されていること
を特徴とする請求項1〜5のうち何れか1項記載の情報探索システム。
The first association database includes the first association of the detection algorithm information including one or more of one or more characteristic wavelengths according to the target event, a characteristic wavelength range thereof, and an arithmetic expression using the characteristic wavelength as an explanatory variable. The information search system according to any one of claims 1 to 5, wherein the degree is stored.
上記第1連関データベースは、更に上記被写体を撮影する上での照明に関する情報、上記被写体を撮影する上での撮像系のパラメータ、上記被写体を撮像するハードウェア上のパラメータの何れか1以上からなる上記撮影条件の上記第1連関度が記憶されていること
を特徴とする請求項2〜4のうち何れか1項記載の情報探索システム。
The first relational database further includes one or more of information related to illumination for photographing the subject, imaging system parameters for photographing the subject, and hardware parameters for photographing the subject. The information search system according to any one of claims 2 to 4, wherein the first association degree of the photographing condition is stored.
上記第2連関データベースは、複数の検出アルゴリズム情報の組み合わせに対して、探索すべき撮影条件の3段階以上の上記第2連関度が予め記憶され、
上記探索手段は、上記第2連関データベースに記憶されている上記第2連関度を参照し、上記探索した複数の検出アルゴリズム情報又は新たに入力された複数の検出アルゴリズム情報に基づき、1以上の上記探索すべき撮影条件を探索すること
を特徴とする請求項5項記載の情報探索システム。
The second association database stores in advance the second association degree of three or more shooting conditions to be searched for a combination of a plurality of detection algorithm information,
The search means refers to the second association degree stored in the second association database, and based on the searched plurality of detection algorithm information or newly input plurality of detection algorithm information, The information search system according to claim 5, wherein an imaging condition to be searched is searched for.
上記第2連関データベースは、各上記検出アルゴリズム情報及び参照用撮影条件の組み合わせに対する、上記探索すべき撮影条件との3段階以上の上記第2連関度が予め記憶され、
上記探索手段は、上記第2連関データベースに記憶されている上記第2連関度を参照し、上記探索した1以上の検出アルゴリズム情報又は新たに入力された1以上の検出アルゴリズム情報及び既知の撮影条件に関する情報に基づき、1以上の上記探索すべき撮影条件を探索すること
を特徴とする請求項5記載の情報探索システム。
The second association database stores in advance three or more levels of the second association with the imaging conditions to be searched for the combinations of the detection algorithm information and the reference imaging conditions.
The search means refers to the second association degree stored in the second association database, and searches for one or more pieces of detected algorithm information or one or more newly entered detection algorithm information and known imaging conditions. The information search system according to claim 5, wherein one or more shooting conditions to be searched are searched based on the information regarding.
上記既知の撮影条件を自動的に抽出する撮影条件抽出手段を更に備え、
上記目的事象入力手段は、上記撮影条件抽出手段により抽出された既知の撮影条件に関する情報が入力されること
を特徴とする請求項2又は4記載の情報探索システム。
It further comprises a photographing condition extracting means for automatically extracting the known photographing condition,
The information search system according to claim 2 or 4, wherein the target event input means is input with information relating to a known imaging condition extracted by the imaging condition extraction means.
請求項1又は2記載の情報探索システムにおける上記探索手段により探索された検出アルゴリズム情報に基づいて被写体を撮影する撮影手段と、
上記撮影手段により撮影して得られたスペクトルデータに基づいて目的事象を判別する目的事象判別手段とを備えること
を特徴とする撮影システム。
Imaging means for photographing a subject based on detection algorithm information searched by the search means in the information search system according to claim 1 or 2,
An imaging system comprising: an objective event discriminating unit that discriminates an objective event based on spectrum data obtained by imaging with the imaging unit.
上記目的事象判別手段は、参照用スペクトルデータと、被写体の目的事象の判別結果との3段階以上の第3連関度が予め記憶されている第3連関データベースを更に備え、
上記目的事象判別手段は、上記第3連関データベースに記憶されている上記第3連関度を参照し、上記撮影手段により撮影して得られたスペクトルデータに基づき、1以上の上記判別結果を探索することで判別すること
を特徴とする請求項11記載の撮影システム。
The target event discrimination means further includes a third linkage database in which third linkage degrees of three or more levels of reference spectrum data and a result of discrimination of the target event of the subject are stored in advance.
The target event determination means refers to the third association degree stored in the third association database, and searches for one or more determination results based on spectrum data obtained by photographing with the photographing means. The imaging system according to claim 11, wherein the determination is made based on the above.
上記目的事象判別手段は、参照用スペクトルデータと、参照用の検出アルゴリズム情報及び/又は参照用撮影条件との組み合わせに対する被写体の目的事象の判別結果との3段階以上の第3連関度が予め記憶されている第3連関データベースを更に備え、
上記目的事象判別手段は、上記第3連関データベースに記憶されている上記第3連関度を参照し、上記撮影手段により撮影して得られたスペクトルデータ、並びに上記組み合わせを構成する検出アルゴリズム情報及び/又は撮影条件に基づき、1以上の上記判別結果を探索することで判別すること
を特徴とする請求項11記載の撮影システム。
The target event discriminating means stores in advance three or more stages of third relations between the reference spectrum data and the discrimination result of the target event of the subject with respect to the combination of the reference detection algorithm information and / or the reference photographing condition. A third linked database that is provided,
The target event discriminating means refers to the third association degree stored in the third association database, spectral data obtained by photographing by the photographing means, detection algorithm information constituting the combination, and / or Alternatively, the imaging system according to claim 11, wherein the determination is made by searching for one or more of the determination results based on imaging conditions.
請求項11〜13のうち何れか1以上の撮影システムにおける上記目的事象判別手段による目的事象の判別結果に基づいて、目的事象を設計するための設計情報を探索する設計情報探索手段を更に備えること
を特徴とする設計情報探索システム。
14. A design information search means for searching for design information for designing a target event based on a result of determination of the target event by the target event determination means in any one or more of the imaging systems according to claim 11. Design information search system characterized by
参照用スペクトルデータと、被写体の目的事象の判別結果との組み合わせに対する上記設計情報との3段階以上の第4連関度が予め記憶されている第4連関データベースを更に備え、
上記設計情報探索手段は、上記第4連関データベースに記憶されている上記第4連関度を参照し、上記撮影手段により撮影して得られたスペクトルデータ、並びに上記目的事象判別手段による目的事象の判別結果に基づいて、1以上の上記判別結果を探索することで判別すること
を特徴とする請求項14記載の設計情報探索システム。
A fourth relational database in which a fourth relational degree of three or more stages of the design information for the combination of the reference spectrum data and the determination result of the target event of the subject is further stored;
The design information search means refers to the fourth association degree stored in the fourth association database, determines spectral data obtained by photographing with the photographing means, and discriminates the target event by the target event discriminating means. The design information search system according to claim 14, wherein the determination is made by searching for one or more of the determination results based on the result.
上記第1連関データベースは、被写体の目的事象と、検出アルゴリズム情報との関係を新たに取得した場合には、これを上記第1連関度に反映させることで更新すること
を特徴とする請求項1〜10のうち何れか1項記載の情報探索システム。
2. The first association database is updated by reflecting a new relationship between a target event of a subject and detection algorithm information by reflecting it in the first association degree. The information search system of any one of 10-10.
上記第2連関データベースは、撮影装置の撮影条件と、検出アルゴリズム情報との関係を新たに取得した場合には、これを上記第2連関度に反映させることで更新すること
を特徴とする請求項5項記載の情報探索システム。
The second association database is updated by reflecting the relationship between the imaging condition of the imaging device and the detection algorithm information in the second association degree when newly acquired. 5. The information search system according to item 5.
スペクトルデータの検出アルゴリズム情報から被写体の目的事象を探索する情報探索システムにおいて、
被写体の各目的事象と、上記検出アルゴリズム情報との3段階以上の第1連関度が予め記憶されている第1連関データベースと、
新たに検出アルゴリズム情報が入力されるアルゴリズム入力手段と、
上記第1連関データベースに記憶されている上記第1連関度を参照し、上記アルゴリズム入力手段を介して入力された上記検出アルゴリズム情報に基づき、1以上の被写体の目的事象を探索する探索手段とを備えること
を特徴とする情報探索システム。
In an information search system for searching for a target event of a subject from detection algorithm information of spectrum data,
A first association database in which first association degrees of three or more levels of each target event of the subject and the detection algorithm information are stored in advance;
Algorithm input means for newly detecting detection algorithm information;
Search means for searching for a target event of one or more subjects based on the detection algorithm information inputted through the algorithm input means with reference to the first association degree stored in the first association database. An information search system characterized by comprising.
上記探索手段は、人工知能を利用して上記探索を行うこと
を特徴とする請求項1〜12のうち何れか1項記載の情報探索システム。
The information search system according to any one of claims 1 to 12, wherein the search means performs the search using artificial intelligence.
撮影した被写体から目的事象を判別する上で必要な検出アルゴリズム情報を探索する情報探索プログラムにおいて、
新たに判別すべき被写体の目的事象に関する情報の入力を受け付ける目的事象入力ステップと、
第1連関データベースに記憶されている被写体の各目的事象と、検出アルゴリズム情報との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップとをコンピュータに実行させること
を特徴とする情報探索プログラム。
In an information search program for searching for detection algorithm information necessary for determining a target event from a photographed subject,
An objective event input step for accepting input of information on an objective event of a subject to be newly determined;
Based on the information about the target event input in the target event input step with reference to the first correlation degree of three or more stages of each target event of the subject stored in the first correlation database and the detection algorithm information, An information search program for causing a computer to execute a search step for searching for one or more pieces of detection algorithm information.
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索プログラムにおいて、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
第1連関データベースに記憶されている、被写体の各目的事象と、各撮影条件との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップとをコンピュータに実行させること
を特徴とする情報探索プログラム。
In an information search program for searching for shooting conditions of a shooting device for determining a target event from a shot subject,
A target event input step in which information on a target event of a subject to be newly determined is input;
Based on the information on the target event input in the target event input step with reference to the first link degree of three or more stages of each target event of the subject and each shooting condition stored in the first link database An information search program that causes a computer to execute a search step for searching for one or more photographing conditions.
撮影した被写体から目的事象を判別する上で必要な検出アルゴリズム情報を探索する情報探索方法において、
新たに判別すべき被写体の目的事象に関する情報の入力を受け付ける目的事象入力ステップと、
第1連関データベースに記憶されている被写体の各目的事象と、検出アルゴリズム情報との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の検出アルゴリズム情報を探索する探索ステップとを有し、これらの各ステップはコンピュータが実行すること
を特徴とする情報探索方法。
In an information search method for searching for detection algorithm information necessary for determining a target event from a photographed subject,
An objective event input step for accepting input of information on an objective event of a subject to be newly determined;
Based on the information about the target event input in the target event input step with reference to the first correlation degree of three or more stages of each target event of the subject stored in the first correlation database and the detection algorithm information, A search step for searching for one or more detection algorithm information, and each step is executed by a computer.
撮影した被写体から目的事象を判別するための撮影装置の撮影条件を探索する情報探索方法において、
新たに判別すべき被写体の目的事象に関する情報が入力される目的事象入力ステップと、
第1連関データベースに記憶されている、被写体の各目的事象と、各撮影条件との3段階以上の第1連関度を参照し、上記目的事象入力ステップにより入力された上記目的事象に関する情報に基づき、1以上の撮影条件を探索する探索ステップとを有し、これらの各ステップはコンピュータが実行すること
を特徴とする情報探索方法。
In an information search method for searching for shooting conditions of a shooting device for determining a target event from a shot subject,
A target event input step in which information on a target event of a subject to be newly determined is input;
Based on the information on the target event input in the target event input step with reference to the first link degree of three or more stages of each target event of the subject and each shooting condition stored in the first link database And a search step for searching for one or more shooting conditions, and each of these steps is executed by a computer.
JP2018060578A 2017-05-17 2018-03-27 Information retrieval system and method, information retrieval program Active JP6843439B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP18801650.5A EP3474000A4 (en) 2017-05-17 2018-05-10 Information retrieval system and method, and information retrieval program
RU2018143646A RU2724786C1 (en) 2017-05-17 2018-05-10 Information search system, information search method and information search program
KR1020187034735A KR102273128B1 (en) 2017-05-17 2018-05-10 Information retrieval systems and methods, information retrieval programs
PCT/JP2018/018219 WO2018212078A1 (en) 2017-05-17 2018-05-10 Information retrieval system and method, and information retrieval program
CN201880002479.9A CN109313126A (en) 2017-05-17 2018-05-10 Information search system and method and information search program
US16/309,927 US10832088B2 (en) 2017-05-17 2018-05-10 Information search system, information search method, and information search program
CA3026633A CA3026633C (en) 2017-05-17 2018-05-10 Information search system, information search method, and information search program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017098159 2017-05-17
JP2017098159 2017-05-17

Publications (2)

Publication Number Publication Date
JP2018194541A true JP2018194541A (en) 2018-12-06
JP6843439B2 JP6843439B2 (en) 2021-03-17

Family

ID=64570465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018060578A Active JP6843439B2 (en) 2017-05-17 2018-03-27 Information retrieval system and method, information retrieval program

Country Status (7)

Country Link
US (1) US10832088B2 (en)
EP (1) EP3474000A4 (en)
JP (1) JP6843439B2 (en)
KR (1) KR102273128B1 (en)
CN (1) CN109313126A (en)
CA (1) CA3026633C (en)
RU (1) RU2724786C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187277A1 (en) * 2018-03-27 2019-10-03 エバ・ジャパン株式会社 Information retrieval system and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843439B2 (en) * 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 Information retrieval system and method, information retrieval program
CN114002178A (en) * 2021-10-29 2022-02-01 中电科西北集团有限公司 Method and device for matching kiwi fruit sugar degree prediction model by satellite positioning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053064A (en) * 2007-08-28 2009-03-12 Sekonic Corp Color meter
JP2010185719A (en) * 2009-02-10 2010-08-26 National Agriculture & Food Research Organization Method and apparatus for discriminating grain flour
JP2011095225A (en) * 2009-11-02 2011-05-12 Olympus Corp Apparatus and method for processing image, and microscope system
JP2012078156A (en) * 2010-09-30 2012-04-19 Olympus Corp Inspection device
WO2012090416A1 (en) * 2010-12-28 2012-07-05 オリンパス株式会社 Test device
JP2015505051A (en) * 2011-12-21 2015-02-16 シャハーフ,キャサリン,エム. System for imaging lesions that align tissue surfaces

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6919959B2 (en) * 1999-06-30 2005-07-19 Masten Opto-Diagnostics Co. Digital spectral identifier-controller and related methods
SE0402576D0 (en) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7450761B2 (en) 2004-11-02 2008-11-11 The Boeing Company Spectral geographic information system
US7953274B2 (en) * 2005-03-18 2011-05-31 Valspar Sourcing, Inc. Digital method for matching stains
JP4539432B2 (en) 2005-05-16 2010-09-08 ソニー株式会社 Image processing apparatus and imaging apparatus
DE602006009191D1 (en) * 2005-07-26 2009-10-29 Canon Kk Imaging device and method
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US7420678B2 (en) * 2005-09-12 2008-09-02 The Boeing Company Multi-spectral imaging
JP4642681B2 (en) * 2005-09-30 2011-03-02 富士フイルム株式会社 Optical tomographic imaging system
CN201051074Y (en) * 2007-05-22 2008-04-23 浙江大学 Multi-spectrum flesh verdure artificial intelligence measurement system
KR100932843B1 (en) * 2008-01-29 2009-12-21 엔에이치엔(주) Method and system for providing clustered search results based on the degree of association between search results and method and system for clustering search results
JP4508257B2 (en) * 2008-03-19 2010-07-21 ソニー株式会社 Composition determination apparatus, composition determination method, and program
CA2748829C (en) * 2009-01-10 2017-03-07 Goldfinch Solutions, Llc System and method for analyzing properties of meat using multispectral imaging
US20100201800A1 (en) 2009-02-09 2010-08-12 Olympus Corporation Microscopy system
US9019358B2 (en) * 2011-02-08 2015-04-28 Xerox Corporation Method for classifying a pixel of a hyperspectral image in a remote sensing application
JP5667931B2 (en) 2011-06-16 2015-02-12 日立アプライアンス株式会社 Scroll compressor
WO2013002350A1 (en) 2011-06-29 2013-01-03 京都府公立大学法人 Tumor site identification device and method
US8600227B2 (en) * 2011-09-22 2013-12-03 Xerox Corporation Multi-filter array for a multi-resolution, multi-spectral camera
WO2015065225A1 (en) * 2013-10-29 2015-05-07 Андрей Юрьевич ЩЕРБАКОВ Personal assistant with elements of artificial intelligence and method for using same
JP6068375B2 (en) 2014-03-03 2017-01-25 エバ・ジャパン 株式会社 Spectral radiance meter
US9959628B2 (en) * 2014-11-21 2018-05-01 Christopher M. MUTTI Imaging system for object recognition and assessment
US10586353B2 (en) * 2015-01-09 2020-03-10 Maxell Holdings, Ltd. Plant information acquisition system, plant information acquisition device, plant information acquisition method, crop management system and crop management method
KR102251960B1 (en) * 2015-01-15 2021-05-14 삼성전자주식회사 Method for analysing images, electronic device and server for performing the method
JP6586782B2 (en) 2015-06-12 2019-10-09 株式会社リコー Information processing apparatus, information processing program, and information processing system
JP6843439B2 (en) * 2017-05-17 2021-03-17 エバ・ジャパン 株式会社 Information retrieval system and method, information retrieval program
JP6951753B2 (en) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 Information search system and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053064A (en) * 2007-08-28 2009-03-12 Sekonic Corp Color meter
JP2010185719A (en) * 2009-02-10 2010-08-26 National Agriculture & Food Research Organization Method and apparatus for discriminating grain flour
JP2011095225A (en) * 2009-11-02 2011-05-12 Olympus Corp Apparatus and method for processing image, and microscope system
JP2012078156A (en) * 2010-09-30 2012-04-19 Olympus Corp Inspection device
WO2012090416A1 (en) * 2010-12-28 2012-07-05 オリンパス株式会社 Test device
JP2015505051A (en) * 2011-12-21 2015-02-16 シャハーフ,キャサリン,エム. System for imaging lesions that align tissue surfaces

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Detection of plant oil addition to cheese by synchronous fluorecense spectroscopy", DAIRY SCIENCE & TECHNOLOGY, vol. 95, JPN6018027769, 15 March 2015 (2015-03-15), pages 413 - 424, ISSN: 0004431589 *
"Semisupervised Sparse Manifold Discriminative Analysis for Feature Extraction of Hyperspectral Image", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 54, no. 10, JPN6018027773, 11 August 2016 (2016-08-11), pages 6197 - 6211, ISSN: 0004431590 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187277A1 (en) * 2018-03-27 2019-10-03 エバ・ジャパン株式会社 Information retrieval system and program

Also Published As

Publication number Publication date
RU2724786C1 (en) 2020-06-25
CA3026633A1 (en) 2018-11-22
JP6843439B2 (en) 2021-03-17
CA3026633C (en) 2021-10-19
CN109313126A (en) 2019-02-05
US20190147294A1 (en) 2019-05-16
KR102273128B1 (en) 2021-07-05
KR20190010576A (en) 2019-01-30
EP3474000A1 (en) 2019-04-24
EP3474000A4 (en) 2020-09-09
US10832088B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
WO2019187277A1 (en) Information retrieval system and program
Li et al. AOTF based molecular hyperspectral imaging system and its applications on nerve morphometry
JP6843439B2 (en) Information retrieval system and method, information retrieval program
Li et al. Tongue fissure extraction and classification using hyperspectral imaging technology
WO2018212078A1 (en) Information retrieval system and method, and information retrieval program
JP2018124814A (en) Image processor, imaging apparatus, image processing method, image processing program, and storage medium
US20230162354A1 (en) Artificial intelligence-based hyperspectrally resolved detection of anomalous cells
Deng et al. Automatic estimation of rice grain number based on a convolutional neural network
JP6884584B2 (en) Image processing device, imaging device, image processing method, image processing program, and storage medium
JP2023043625A (en) Product quality inspection system
JP6925046B2 (en) Imaging device design system, imaging device design program
JP6730629B2 (en) Bandpass filter design system, bandpass filter design program
Quintana-Quintana et al. Blur-specific image quality assessment of microscopic hyperspectral images
Cho et al. Hyperspectral face databases for facial recognition research
Zhang What’s wrong with the tongue: color grading quantization based on hyperspectral images
Lalitha et al. Essential Preliminary Processing methods of Hyper spectral images of crops
Zeng et al. Non-invasive identification of apple sugar content based on convolutional neural networks
Ding et al. Method for GPU-based spectral data cube reconstruction of integral field snapshot imaging spectrometers
Wang et al. Rapid species discrimination of similar insects using hyperspectral imaging and lightweight edge artificial intelligence
JP2023043626A (en) Product quality inspection system

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210216

R150 Certificate of patent or registration of utility model

Ref document number: 6843439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250