KR102488174B1 - Neural network circuit using modified input signal - Google Patents

Neural network circuit using modified input signal Download PDF

Info

Publication number
KR102488174B1
KR102488174B1 KR1020200037142A KR20200037142A KR102488174B1 KR 102488174 B1 KR102488174 B1 KR 102488174B1 KR 1020200037142 A KR1020200037142 A KR 1020200037142A KR 20200037142 A KR20200037142 A KR 20200037142A KR 102488174 B1 KR102488174 B1 KR 102488174B1
Authority
KR
South Korea
Prior art keywords
signal
input signal
neural network
input
conversion
Prior art date
Application number
KR1020200037142A
Other languages
Korean (ko)
Other versions
KR20210120440A (en
Inventor
이대석
김명준
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020200037142A priority Critical patent/KR102488174B1/en
Publication of KR20210120440A publication Critical patent/KR20210120440A/en
Application granted granted Critical
Publication of KR102488174B1 publication Critical patent/KR102488174B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Logic Circuits (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

본 발명은 멀티레벨을 가지는 펄스입력신호를 펄스의 폭을 변조하거나 펄스의 개수를 변화시키는 방식으로 변조한 후 입력신호(변환입력신호)로 사용하도록 하여, 시냅스 소자의 컨덕턴스 편차를 최소로 함으로써 시냅스 소자 기반의 신경망 회로에서 발생할 수 있는 인식률 에러를 예방할 수 있는 변환입력신호를 사용하는 신경망 회로를 제안한다. 상기 변환 입력신호를 사용하는 신경망 회로는, 입력신호 변환회로, 신경망, 출력회로 및 컨트롤러를 포함한다. The present invention modulates a multi-level pulse input signal by modulating the width of the pulse or changing the number of pulses and then using it as an input signal (converted input signal) to minimize the deviation of the conductance of the synaptic device. We propose a neural network circuit using a conversion input signal that can prevent recognition rate errors that may occur in device-based neural network circuits. The neural network circuit using the converted input signal includes an input signal conversion circuit, a neural network, an output circuit, and a controller.

Description

변환입력신호를 사용하는 신경망 회로{Neural network circuit using modified input signal} Neural network circuit using modified input signal}

본 발명은 신경망 회로에 관한 것으로, 특히, 멀티레벨을 가지는 펄스입력신호를 펄스의 폭을 변조하거나 펄스의 개수를 변화시키는 방식으로 변조한 후 입력신호(변환입력신호)로 사용하도록 하여, 시냅스 소자의 컨덕턴스 편차를 최소로 함으로써 시냅스 소자 기반의 신경망 회로에서 발생할 수 있는 인식률 에러를 예방할 수 있는 변환입력신호를 사용하는 신경망 회로에 관한 것이다. The present invention relates to a neural network circuit, and in particular, modulates a multi-level pulse input signal by modulating the width of the pulse or changing the number of pulses and then using it as an input signal (converted input signal) to obtain a synaptic device. It relates to a neural network circuit using a conversion input signal capable of preventing a recognition rate error that may occur in a synaptic device-based neural network circuit by minimizing a conductance deviation of

뇌는 수천억 개의 신경 세포, 즉 자극에 반응하여 그에 따른 흥분을 전달하는 작용을 하는 뉴런(Neuron)을 포함하고 있으며, 뉴런은 크게 세 가지 부분으로 구분할 수 있다. 핵이 있는 세포 부분인 신경세포체, 다른 세포에서 신호를 수신하는 가지돌기(dendrite, 또는 수상돌기), 그리고 다른 세포에 신호를 전달하는 축삭돌기(axon)이 그것이다. 하나의 뉴런을 구성하는 축삭돌기에서 다른 하나의 가지돌기 방향으로 자극이 전달되는데, 가지돌기와 축삭돌기 사이에 신호를 전달하는 부분을 시냅스(synapse)라고 한다. The brain contains hundreds of billions of nerve cells, that is, neurons that respond to stimuli and transmit the resulting excitement, and neurons can be largely divided into three parts. They are the nerve cell body, which is the part of the cell with the nucleus, the dendrite (or dendrite) that receives signals from other cells, and the axon that transmits signals to other cells. Stimuli are transmitted from the axon constituting one neuron to the other dendrite, and the part that transmits the signal between the dendrite and the axon is called a synapse.

하나의 뉴런은 시냅스를 통해 다른 뉴런과 신호를 주고받으면서 정보를 학습하고, 기억할 수 있다. 뉴런은 가지돌기를 통해 수신한 시냅스 전위들의 합이 임계전위보다 크면, 활동 전위를 발생시켜 다른 뉴런으로 신호를 전달할 수 있다. 뉴런과 다른 뉴런 사이의 시냅스의 연결강도에 따라 뉴런으로부터 전달되는 신호의 세기가 달라질 수 있는데, 시냅스의 연결강도가 조절되면 뉴런으로 전달되는 신호의 세기가 달라질 수 있고, 이로부터 정보의 학습 및 기억이 이루어질 수 있다. One neuron can learn and remember information while exchanging signals with other neurons through synapses. When the sum of synaptic potentials received through dendrites is greater than the threshold potential, a neuron generates an action potential to transmit a signal to another neuron. Depending on the synaptic connection strength between a neuron and another neuron, the strength of a signal transmitted from a neuron may vary. When the synaptic connection strength is adjusted, the strength of a signal transmitted to a neuron may vary, from which information is learned and stored. this can be done

뉴로모픽 시스템(neuromorphic system)은 생물학적 신경 세포의 정보 전달 및 처리 과정을 모방하여 구성된 반도체 회로이다. 뉴로모픽 시스템은 시냅스의 연결 강도에 대응하는 값인 시냅틱 가중치(synaptic weight)를 메모리에 저장하고, 저장된 시냅틱 가중치에 기초하여 신호 처리를 수행할 수 있으므로, 문자 인식, 음성 인식, 위험 인지 및 실시간 고속 신호처리 등에 활용될 수 있다. A neuromorphic system is a semiconductor circuit constructed by mimicking the information transmission and processing process of a biological nerve cell. Since the neuromorphic system stores synaptic weight, which is a value corresponding to synaptic connection strength, in memory and performs signal processing based on the stored synaptic weight, text recognition, voice recognition, risk recognition, and real-time high-speed It can be used for signal processing, etc.

종래의 폰노이만 컴퓨팅 방식은 메모리와 CPU가 직렬로 연결이 되어 있어 단순 수학 계산에는 용이하지만, 메모리와 CPU의 데이터 처리 속도 차이에 의해 발생하는 병목현상에 의해 아날로그 데이터의 처리가 어렵다는 단점이 있다. 여기서 아날로그 데이터는 실제로 아날로그 신호일 수도 있지만 복수의 레벨을 가지는 멀티 레벨 신호를 포함한다. 종래의 폰노이만 컴퓨팅 방식에 비해 뉴런과 시냅스로 구성이 되어 병렬로 데이터를 처리하는 뉴로모픽 컴퓨팅 방식이 아날로그 데이터를 처리하기에 효율적이다. The conventional von Neumann computing method is easy to perform simple mathematical calculations because the memory and the CPU are connected in series, but it is difficult to process analog data due to a bottleneck caused by the difference in data processing speed between the memory and the CPU. Here, the analog data may actually be an analog signal, but includes a multi-level signal having a plurality of levels. Compared to the conventional von Neumann computing method, the neuromorphic computing method, which is composed of neurons and synapses and processes data in parallel, is more efficient in processing analog data.

도 1은 종래의 뉴로모픽 시스템의 일부를 나타낸다. 1 shows part of a conventional neuromorphic system.

도 1을 참조하면, 뉴로모픽 시스템을 구성하는 신경망(110)에 공급되는 복수의 전압준위를 가지는 펄스 형태의 복수의 입력전압(V1~Vn)의 전압과 시냅스 소자(W1,1 ~ Wn,4)의 컨덕턴스(conductance)의 곱인 전류(I1 ~ I4)로 변환되어 출력된다는 것을 알 수 있다. Referring to FIG. 1, the voltages of a plurality of input voltages (V 1 to V n ) in the form of pulses having a plurality of voltage levels supplied to the neural network 110 constituting the neuromorphic system and the synaptic element (W 1,1 It can be seen that the current (I 1 ~ I 4 ), which is a product of the conductance of ~ W n,4 , is converted and output.

도 2는 시냅스 소자의 전기특성을 나타낸다. Figure 2 shows the electrical characteristics of the synaptic device.

도 2를 참조하면, 이상적인 시냅스 소자의 전압-전류 특성은 좌측에 도시된 그래프의 직선과 같이 전압(V)이 증가함에 따라 전류(A)도 선형적으로 증가하는 것이지만, 실제 시냅스 소자의 전압-전류 특성은 좌측 하단에 도시된 포물선 형태가 된다. 특히, 이상적인 시냅스 소자는 입력전압(V)이 증가하더라도 컨덕턴스는 일정한 값(Wideal)을 유지하는 반면에, 실제 시냅스 소자의 입력전압에 따른 컨던턴스는 포물선의 형식으로 증가(W1)한다. Referring to Figure 2, the voltage-current characteristics of the ideal synaptic device is that the current (A) increases linearly as the voltage (V) increases, as shown in the straight line of the graph shown on the left, but the actual synaptic device's voltage-current characteristics The current characteristic becomes a parabolic shape shown in the lower left corner. In particular, while the conductance of the ideal synaptic device maintains a constant value (W ideal ) even when the input voltage (V) increases, the conductance according to the input voltage of the actual synaptic device increases in the form of a parabola (W 1 ).

입력전압이 변함에 따라 시냅스 소자의 컨덕턴스가 변하게 되면, 입력전압에 대한 인식률이 감소할 수 밖에 없다. When the conductance of the synaptic device changes as the input voltage changes, the recognition rate for the input voltage inevitably decreases.

대한민국 등록특허: 10-2078535호 (2020년 02월 12일)Republic of Korea Patent No. 10-2078535 (February 12, 2020)

본 발명이 해결하고자 하는 기술적 과제는, 멀티레벨을 가지는 펄스입력신호를 펄스의 폭을 변조하거나 펄스의 개수를 변화시키는 방식으로 변조한 후 입력신호(변환입력신호)로 사용하도록 하여, 시냅스 소자의 컨덕턴스 편차를 최소로 함으로써 시냅스 소자 기반의 신경망 회로에서 발생할 수 있는 인식률 에러를 예방할 수 있는 변환입력신호를 사용하는 신경망 회로를 제안하는 것에 있다. The technical problem to be solved by the present invention is to modulate a pulse input signal having a multi-level by modulating the width of a pulse or changing the number of pulses and then using it as an input signal (converted input signal), It is to propose a neural network circuit using a conversion input signal that can prevent recognition rate errors that may occur in synaptic element-based neural network circuits by minimizing conductance deviation.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 변환 입력신호를 사용하는 신경망 회로는, 입력신호 변환회로, 신경망, 출력회로 및 컨트롤러를 포함한다. A neural network circuit using a converted input signal according to the present invention for achieving the above technical problem includes an input signal conversion circuit, a neural network, an output circuit, and a controller.

상기 입력신호 변환회로는 제어신호 및 기준전압에 응답하여 멀티레벨 입력펄스신호를 PNM 또는 PWM 변환하여 변환입력신호를 생성한다. 상기 신경망은 복수의 시냅스 소자를 이용하여 상기 로 라인으로 인가되는 상기 변환입력신호를 칼럼 라인으로 전달한다. 상기 출력회로는 상기 신경망을 구성하는 상기 칼럼 라인의 일 단으로 전달되는 전류를 버퍼링한다. 상기 컨트롤러는 상기 입력신호 변환회로로 인가되는 멀티레벨 입력펄스신호에 대응하여 상기 제어신호를 생성하거나, 상기 기준전압의 전압준위를 결정한다. The input signal conversion circuit PNM or PWM converts the multi-level input pulse signal in response to a control signal and a reference voltage to generate a converted input signal. The neural network transmits the conversion input signal applied to the row line to a column line by using a plurality of synaptic devices. The output circuit buffers a current delivered to one end of the column line constituting the neural network. The controller generates the control signal in response to the multi-level input pulse signal applied to the input signal conversion circuit or determines the voltage level of the reference voltage.

본 발명에 따른 변환입력신호를 사용하는 신경망 회로는, 멀티레벨을 가지는 펄스입력신호를 펄스의 폭을 변조하거나 펄스의 개수를 변화시키는 방식으로 변조한 후 입력신호(변환입력신호)로 사용하도록 하여, 시냅스 소자의 컨덕턴스 편차를 최소로 함으로써 시냅스 소자 기반의 신경망 회로에서 발생할 수 있는 인식률 에러를 예방할 수 있는 장점이 있다. A neural network circuit using a converted input signal according to the present invention modulates a multi-level pulse input signal by modulating the width of a pulse or changing the number of pulses, and then uses it as an input signal (converted input signal). , there is an advantage in preventing recognition rate errors that may occur in synaptic device-based neural network circuits by minimizing the conductance deviation of the synaptic device.

도 1은 종래의 뉴로모픽 시스템의 일부를 나타낸다.
도 2는 시냅스 소자의 전기특성을 나타낸다.
도 3은 본 발명에 따른 변환 입력신호를 사용하는 신경망 회로에서 입력신호를 변환하는 방법을 설명한다.
도 4는 도 3에 도시된 방식으로 변환된 입력펄스신호를 사용하는 본 발명에 따른 신경망 회로의 일 실시 예를 나타낸다.
도 5는 입력신호 변환회로의 일 실시 예이다.
도 6은 입력신호 변환회로의 다른 일 실시 예이다.
도 7은 본 발명에서 사용하는 시냅스 소자의 예 및 전압-전류 특성을 나타낸다.
도 8은 본 발명의 효과의 시뮬레이션 결과이다. 1 shows part of a conventional neuromorphic system.
Figure 2 shows the electrical characteristics of the synaptic device.
3 illustrates a method of converting an input signal in a neural network circuit using a converted input signal according to the present invention.
Figure 4 shows an embodiment of a neural network circuit according to the present invention using the input pulse signal converted in the manner shown in Figure 3.
5 is an example of an input signal conversion circuit.
6 is another embodiment of an input signal conversion circuit.
7 shows examples and voltage-current characteristics of synaptic devices used in the present invention.
8 is a simulation result of the effect of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention and the advantages in operation of the present invention and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings describing exemplary embodiments of the present invention and the contents described in the accompanying drawings.

이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

설명의 편의를 위해, 본 발명에 따른 변환 입력신호를 사용하는 신경망 회로(이하 신경망 회로)에 설명하기 전, 아날로그 입력신호 또는 복수의 레벨을 가지는 멀티레벨 펄스신호를 변환하는 방법에 대해 설명한다. For convenience of description, a method of converting an analog input signal or a multi-level pulse signal having a plurality of levels will be described before describing a neural network circuit (hereinafter referred to as a neural network circuit) using a converted input signal according to the present invention.

도 3은 본 발명에 따른 변환 입력신호를 사용하는 신경망 회로에서 입력신호를 변환하는 방법을 설명한다. 3 illustrates a method of converting an input signal in a neural network circuit using a converted input signal according to the present invention.

도 3을 참조하면, 본 발명에서는 멀티레벨(V1, V2, V3)의 입력펄스신호(도 3의 최상부 신호)를 PWM(Pulse Width Modulation) 또는 PNM(Pulse Number Modulation) 방식 중 하나의 방식으로 변환하여 사용할 것을 제안한다. Referring to FIG. 3, in the present invention, the multi-level (V 1 , V 2 , V 3 ) input pulse signal (the uppermost signal in FIG. 3 ) is converted to PWM (Pulse Width Modulation) or PNM (Pulse Number Modulation) It is proposed to convert and use it in this way.

도 3의 최상부에 도시된 신호는 실제 신경망에 인가되는 멀티레벨 입력펄스신호를 나타낸다. 여기서, 전압 준위는 V1<V2<V3가 되며, 설명의 편의를 위해 V2=2V1, V3=3V1 이라고 가정하고 설명한다. 직렬로 인가되는 전압준위가 다른 3개의 신호가 하나의 정보를 포함하고 있다. The signal shown at the top of FIG. 3 represents a multi-level input pulse signal applied to an actual neural network. Here, the voltage level becomes V 1 <V 2 <V 3 , and for convenience of explanation, it is assumed that V 2 =2V 1 and V 3 =3V 1 . Three signals with different voltage levels applied in series contain one piece of information.

도 3의 중간에 도시된 신호는 3개의 펄스(V1, V2, V3)를 포함하는 입력펄스신호를 PNM 방식으로 변환한 것으로, 서로 다른 전압준위를 가지는 3개의 신호로 구성되는 입력펄스신호(V1, V2, V3)를 동일한 전압준위를 가지는 6개의 펄스신호(V1)를 직렬로 나열한 신호로 변환하여 사용할 것을 제안한다. 그 이유에 대해서는 후술한다. The signal shown in the middle of FIG. 3 is an input pulse signal including three pulses (V 1 , V 2 , and V 3 ) converted by the PNM method, and is an input pulse composed of three signals having different voltage levels. It is proposed to convert the signals (V 1 , V 2 , V 3 ) into a signal in which six pulse signals (V 1 ) having the same voltage level are serially arranged. The reason for this will be described later.

도 3의 최하부의 신호는 멀티레벨(V1, V2, V3)의 입력신호를 PWM방식으로 변환한 것이다. 서로 다른 전압준위를 가지는 3개의 신호로 구성되는 입력펄스신호(V1, V2, V3)를, 동일한 전압준위(V1)를 가지지만 펄스의 폭이 서로 다른 3개의 펄스신호(V1,2V1,3V1)로 변환하여 사용할 것을 제안한다. The signal at the bottom of FIG. 3 is a multi-level (V 1 , V 2 , V 3 ) input signal converted to the PWM method. Input pulse signals (V 1 , V 2 , V 3 ) composed of three signals having different voltage levels, and three pulse signals (V 1 ) having the same voltage level (V 1 ) but having different pulse widths ,2V 1 ,3V 1 ) is suggested to be converted and used.

시냅스 소자는 전압이 변함에 따라 컨덕턴스의 값도 따라 변하기 때문에, 서로 다른 전압준위(멀티레벨)를 가지는 입력펄스신호를 인가하였을 때의 인식률이 좋지 않는다는 것에 대해서는 이미 언급하였다. 본 발명은 이를 해소하기 위하여, 멀티레벨의 입력펄스신호를 단일의 전압준위를 가지는 변환기준신호(V1)를 이용하여 변환입력신호를 생성하고, 생성된 변환입력신호를 사용하도록 함으로써 실제 입력펄스신호의 전압준위와 무관하게 신경망에서의 컨덕턴스는 항상 동일하게 되도록 하였다. Since the conductance value of the synaptic device changes as the voltage changes, it has already been mentioned that the recognition rate is not good when input pulse signals having different voltage levels (multi-levels) are applied. In order to solve this problem, the present invention generates a conversion input signal using a conversion reference signal (V 1 ) having a single voltage level from a multi-level input pulse signal, and uses the generated conversion input signal to obtain actual input pulses. Regardless of the voltage level of the signal, the conductance in the neural network is always the same.

도 4는 도 3에 도시된 방식으로 변환된 입력펄스신호를 사용하는 본 발명에 따른 신경망 회로의 일 실시 예를 나타낸다. Figure 4 shows an embodiment of a neural network circuit according to the present invention using the input pulse signal converted in the manner shown in Figure 3.

도 4를 참조하면, 본 발명에 따른 신경망 회로(400)는, 입력신호 변환회로(410), 신경망(420), 출력회로(430) 및 컨트롤러(440)를 포함한다. Referring to FIG. 4 , a neural network circuit 400 according to the present invention includes an input signal conversion circuit 410, a neural network 420, an output circuit 430, and a controller 440.

입력신호 변환회로(410)는, 다른 말로 표현하면 아날로그 활성 함수 생성기(Analog Activation Function generator)로서, 도 3에 도시한 것과 같이, 다양한 전압준위(멀티레벨)를 가지는 입력펄스신호를 PNM 또는 PWM 방식으로 변환한 신호를 생성한다. 상부의 변환입력신호는 하나의 변환기준신호(1 x V1)를 포함하지만, 중간의 변환입력신호는 직렬로 연결된 2개의 변환기준신호(2 x V1)를 포함하며, 하부의 변환입력신호는 직렬로 연결된 3개의 변환기준신호(3 x V1)를 포함한다는 것을 알 수 있다. 3개의 변환입력신호의 생성과정에 대해서는 도 3에서 이미 설명하였다. 멀티레벨이라고 기재하였지만, 아날로그 형태의 신호도 변환의 대상이 된다. 이때에는 아날로그 신호에 대하여 샘플링 작업을 선행하여야 할 것이다. In other words, the input signal conversion circuit 410 is an analog activation function generator, and as shown in FIG. 3, the input pulse signal having various voltage levels (multi-level) is converted into a PNM or PWM method. generate a converted signal. The upper conversion input signal includes one conversion reference signal (1 x V 1 ), the middle conversion input signal includes two conversion reference signals (2 x V 1 ) connected in series, and the lower conversion input signal It can be seen that includes three conversion reference signals (3 x V 1 ) connected in series. The process of generating the three conversion input signals has already been described with reference to FIG. 3 . Although described as multi-level, analog signals are also subject to conversion. In this case, the analog signal should be preceded by sampling.

복수의 펄스신호는, 실시 예에 따라, 각각 일정한 지연시간(Delay time)을 가진 펄스 트레인 형태(1)이거나, 복수의 펄스신호가 지연시간 없이 합쳐지고 듀티 싸이클이 변한 단일 펄스의 형태 중 하나의 형태(2)를 가지도록 할 수 있다. Depending on the embodiment, the plurality of pulse signals are either in the form of a pulse train having a constant delay time (1) or in the form of a single pulse in which a plurality of pulse signals are combined without a delay time and the duty cycle is changed. It can be made to have form (2).

신경망(420)은 입력신호 변환회로(410)로부터 출력되는 변환입력신호를 로 라인(421, row line, 수평 라인)으로 수신하고, 양단이 로 라인(421)과 칼럼 라인(422, column line, 수직 라인)에 연결되는 시냅스 소자(W1,1 ~ W3,3)를 이용하여 로 라인(421)으로 인가되는 변환입력신호를 칼럼 라인(422, column line, 수직 라인)으로 전달한다. 각각의 시냅스 소자는 전기적 특성이 동일한 소자를 배열한 것으로, 이를 설명하기 위하여 도 4에서는 W2,1=W1,1과 같이 표시하였다. The neural network 420 receives the converted input signal output from the input signal conversion circuit 410 as a row line 421 (horizontal line), and both ends of the row line 421 and the column line 422 (column line 422) The conversion input signal applied to the row line 421 is transferred to the column line 422 (vertical line) by using the synaptic elements (W 1,1 to W 3,3 ) connected to the vertical line). Each synaptic device is an arrangement of devices having the same electrical characteristics, and in order to explain this, in FIG. 4, W 2,1 =W 1,1 is indicated as such.

출력회로(430)는 신경망(420)을 구성하는 칼럼 라인(422)의 일 단으로 전달되는 전류를 버퍼링한다. 출력 전류의 버퍼링을 수행하는 장치는 다양하게 구현할 수 있는데, 도 4에는 하나의 실시 예로 액티브 소자로는 연산증폭기(operational amplifier)를 패시브 소자로는 커패시터를 사용하는 경우에 대해서 도시하였다. 출력회로(430)에서 출력되는 전류(I1, I2, I3)는 변환입력신호의 전압과 시냅스 소자(W1,1 ~ W3,3)의 컨덕턴스의 곱(multiply)의 결과이다. The output circuit 430 buffers a current delivered to one end of the column line 422 constituting the neural network 420 . An apparatus for buffering an output current can be implemented in various ways, and FIG. 4 shows an example of using an operational amplifier as an active element and a capacitor as a passive element. The current (I 1 , I 2 , I 3 ) output from the output circuit 430 is a result of multiplying the voltage of the conversion input signal and the conductance of the synaptic elements (W 1,1 to W 3,3 ).

컨트롤러(440)는 입력신호 변환회로(410)로 인가되는 멀티레벨 입력펄스신호에 대응하여 제어신호(S_con)를 생성하거나, 기준전압(Vref)의 전압준위를 결정한다. 제어신호(S_con) 및 기준전압(Vref)은 입력펄스신호의 변조방식에 따라 변하게 되며, PNM 방식 및 PWM 방식 중 하나를 선택하는 것은 사용자가 결정할 수도 있지만 실시 예에 따라서는 미리 설정되어 있는 프로그램에 따라 입력신호의 형태에 따라 컨트롤러(440) 자체에서 선택하도록 할 수도 있다. 제어신호(S_con) 및 기준전압(Vref)의 기능에 대해서는 도 5 및 도 6의 설명하였다. The controller 440 generates the control signal S_con in response to the multi-level input pulse signal applied to the input signal conversion circuit 410 or determines the voltage level of the reference voltage Vref. The control signal (S_con) and the reference voltage (Vref) are changed according to the modulation method of the input pulse signal, and the user may decide to select one of the PNM method and the PWM method, but depending on the embodiment, a preset program may be used. Depending on the shape of the input signal, the controller 440 itself may be selected. The functions of the control signal S_con and the reference voltage Vref have been described with reference to FIGS. 5 and 6 .

도 5는 입력신호 변환회로의 일 실시 예이다. 5 is an example of an input signal conversion circuit.

도 5를 참조하면, 입력신호 변환회로(410)는 PNM 변환을 수행하며, 이를 위하여, 적분기(510) 및 PNM 변환기(520)를 구비한다. Referring to FIG. 5 , the input signal conversion circuit 410 performs PNM conversion, and includes an integrator 510 and a PNM converter 520 for this purpose.

적분기(510, integrator)는 멀티레벨 펄스신호(VIN)를 적분한다. 적분기(510)는 본 발명의 특유의 기술로 제안하는 것이 아니므로, 여기서는 자세하게 설명하지 않는다. An integrator 510 integrates the multi-level pulse signal V IN . Since the integrator 510 is not proposed as a unique technology of the present invention, it is not described in detail here.

PNM 변환기(520)는 적분기(510)에서 출력되는 신호를 PNM 신호로 변환하는 기능을 수행하며, 포지티브 입력단자(+)에는 기준전압(Vref)이 인가되고 네거티브 입력단자(-)에 적분기(510)의 출력신호가 인가되는 비교기(521)와 제어신호(S_con)에 응답하여 비교기(521)의 출력신호를 스위칭하여 변환입력신호를 생성하는 스위치(522)로 구현할 수 있다. 스위치(522)의 스위칭 개수에 따라 펄스신호의 개수가 결정되는 것은 쉽게 이해할 수 있을 것이다. 비교기(521)로부터 출력되는 신호의 전압준위가 상술한 바와 같이 변환기준신호(V1)의 전압준위가 된다. PNM 변환기(520)를 구성하는 스위치(522)의 동작에 따라 생성되는 4가지 신호의 유형이 도 5의 오른쪽에 도시되어 있다. The PNM converter 520 performs a function of converting a signal output from the integrator 510 into a PNM signal, and a positive input terminal (+) is applied with a reference voltage (Vref) and a negative input terminal (-) is applied with the integrator (510). It can be implemented with the comparator 521 to which the output signal of ) is applied and the switch 522 that generates a conversion input signal by switching the output signal of the comparator 521 in response to the control signal S_con. It will be easily understood that the number of pulse signals is determined according to the number of switching of the switches 522 . The voltage level of the signal output from the comparator 521 becomes the voltage level of the conversion reference signal V 1 as described above. Four types of signals generated according to the operation of the switch 522 constituting the PNM converter 520 are shown on the right side of FIG. 5 .

도 6은 입력신호 변환회로의 다른 일 실시 예이다. 6 is another embodiment of an input signal conversion circuit.

도 6을 참조하면, 입력신호 변환회로(410)는 PWM 변환을 수행하며, 이를 위하여, 적분기(610) 및 PWM 변환기(620)를 구비한다. Referring to FIG. 6 , the input signal conversion circuit 410 performs PWM conversion, and includes an integrator 610 and a PWM converter 620 for this purpose.

적분기(610)는 아날로그 또는 멀티레벨 펄스신호(VIN)를 누적시키는 회로이다. 도 5에서와 마찬가지로, 적분기(610)는 본 발명의 특유의 기술로 제안하는 것이 아니므로, 여기서는 자세하게 설명하지 않는다. The integrator 610 is a circuit that accumulates an analog or multi-level pulse signal (V IN ). As in FIG. 5, since the integrator 610 is not proposed as a unique technology of the present invention, it will not be described in detail here.

PWM 변환기(620)는 적분기(610)에서 출력되는 신호를 PWM 신호로 변환하는 기능을 수행하며, 포지티브 입력단자(+)에는 기준전압(Vref)이 인가되고 네거티브 입력단자(-)에 적분기(610)의 출력신호가 인가되며 출력단자가 변환입력신호를 생성하는 비교기(621)로 구현할 수 있다. 비교기(621)에서 출력되는 신호의 전압준위는 상술한 바와 같이 변환기준신호(V1)의 전압준위가 될 것이다. The PWM converter 620 performs a function of converting the signal output from the integrator 610 into a PWM signal, the positive input terminal (+) is applied with the reference voltage (Vref), and the negative input terminal (-) is applied with the integrator (610). ) is applied and the output terminal can be implemented as a comparator 621 generating a converted input signal. The voltage level of the signal output from the comparator 621 will be the voltage level of the conversion reference signal V 1 as described above.

도 6의 가장 오른쪽에 도시된 그림을 참조하면, 적분기(610)에서 출력되는 신호(검은색 포물선 신호)는 비교기(621)의 포지티브 입력단자(+)에 인가되는 기준전압(Vref)의 전압준위에 따라 펄스의 폭이 다양한 형태의 신호로 변환된다는 것을 알 수 있다. 기준전압(Vref)의 전압준위가 높을수록 비교기(621)에서 생성되는 펄스신호의 폭이 좁고, 기준전압(Vref)의 전압준위가 낮을수록 비교기(621)에서 생성되는 펄스신호의 폭이 넓다는 것을 알 수 있다. Referring to the rightmost figure of FIG. 6, the signal (black parabolic signal) output from the integrator 610 is the voltage level of the reference voltage Vref applied to the positive input terminal (+) of the comparator 621. It can be seen that the width of the pulse is converted into various types of signals according to . The higher the voltage level of the reference voltage Vref, the narrower the width of the pulse signal generated by the comparator 621, and the lower the voltage level of the reference voltage Vref, the wider the width of the pulse signal generated by the comparator 621. can know that

도 5에서 스위치(522)가 계속하여 턴 온 상태 즉 단락 상태를 유지한다면, 도 6에 도시된 실시 예와 동일하게 되어 PNM 신호를 생성할 수 있다. In FIG. 5 , if the switch 522 continuously maintains a turned-on state, that is, a short-circuit state, a PNM signal may be generated in the same manner as in the embodiment shown in FIG. 6 .

도 7은 본 발명에서 사용하는 시냅스 소자의 예 및 전압-전류 특성을 나타낸다. 7 shows examples and voltage-current characteristics of synaptic devices used in the present invention.

도 7을 참조하면, 본 발명에서는 시냅스 소자로 멤리스터(Memristor)를 사용할 것을 제안하며, 멤리스터는 전압이 약 3V(Volts) 까지는 전류의 크기가 일정하지만, 3V가 넘어가면 전류가 포물선의 형태로 증가하는 특징이 있다. Referring to FIG. 7, the present invention proposes to use a memristor as a synaptic device, and the memristor has a constant current level until the voltage is about 3V (Volts), but when the voltage exceeds 3V, the current takes the form of a parabola. It is characterized by an increase in

따라서, 도 5 및 도 6의 가장 오른쪽에 도시된 PNM 펄스 신호 및 PWM 펄스신호의 최대 전압준위는 최대 3V를 넘지 않도록 하는 것이 바람직하다. 이는 변환입력신호의 전압준위가 어느 정도 변하더라도 전류의 값의 변화가 없으므로, 이에 따라 시냅스 소자의 컨덕턴스의 변화도 전압의 변화에만 영향을 받을 수 있도록 하기 위함이다. Therefore, it is preferable that the maximum voltage level of the PNM pulse signal and the PWM pulse signal shown on the rightmost side of FIGS. 5 and 6 not exceed 3V. This is to ensure that the change in conductance of the synaptic element can be affected only by the change in voltage, since the value of the current does not change even if the voltage level of the conversion input signal changes to some extent.

여기서 멤리스터(Memristor)는 메모리(Memory)와 저항(Resistor)의 합성어로, 비선형 수동소자를 의미하며, 여러 회로에서 사용중인 소자이다. Here, Memristor is a compound word of memory and resistor, meaning a non-linear passive element, and is an element used in various circuits.

상기의 설명에서는 시냅스 소자로 멤리스터를 사용하는 것으로 기재하였지만, phase change RAM, Resistive RAM, Magnetic RAM, Ferroelectric RAM, Electrochemical RAM 등 저항을 선택적으로 바꿀 수 있는 멤리스티브 소자라면 그 어떠한 것도 사용할 수 있다. In the above description, it has been described that a memristor is used as a synaptic element, but any memristive element that can selectively change resistance, such as phase change RAM, resistive RAM, magnetic RAM, ferroelectric RAM, and electrochemical RAM, can be used.

도 8은 본 발명의 효과의 시뮬레이션 결과이다. 8 is a simulation result of the effect of the present invention.

도 8을 참조하면, 모두 4종류의 입력신호(S1~S4)가 인가될 때의 출력회로(430)의 검출전압을 나타내며, S1은 비선형 디바이스를 시냅스 소자로 사용하는 종래의 신호에 대한 출력신호이고, S2는 이상적인 선형 디바이스를 시냅스 소자로 사용하는 종래의 신호에 대한 출력신호이며, S3는 PWM 방식의 입력신호를 비선형 디바이스를 시냅스 소자로 사용하는 본 발명에 따른 신경망 회로의 출력신호이고, S4는 PNM 방식의 입력신호를 비선형 디바이스를 시냅스 소자로 사용하는 본 발명에 따른 신경망 회로의 출력신호이다. 수평으로 그어진 선은 이상적인 출력신호의 예를 나타낸다. Referring to FIG. 8, all four types of input signals (S1 to S4) show the detection voltage of the output circuit 430 when applied, and S1 is an output signal for a conventional signal using a nonlinear device as a synaptic element. S2 is an output signal for a conventional signal using an ideal linear device as a synaptic element, S3 is an output signal of the neural network circuit according to the present invention using a nonlinear device as a synaptic element for a PWM input signal, and S4 is an output signal of the neural network circuit according to the present invention using a nonlinear device as a synaptic element for the input signal of the PNM method. The horizontally drawn line represents an example of an ideal output signal.

도 8을 참조하면, 본 발명에 따른 PWM 방식 또는 PNM 방식으로 변환한 신호를 사용한 경우(S3, S4)는 모두 비선형 디바이스를 시냅스 소자로 사용한 결과인데, S2로 표시한 바와 같이 이상적인 선형 디바이스를 시냅스 소자로 사용한 예의 출력과 거의 동일하다는 것을 알 수 있다. Referring to Figure 8, the case of using the signal converted to the PWM method or the PNM method according to the present invention (S3, S4) are all results of using a nonlinear device as a synaptic device, as indicated by S2, an ideal linear device is used as a synaptic device. It can be seen that it is almost the same as the output of the example used as the element.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 기술자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다. In the above, the technical idea of the present invention has been described together with the accompanying drawings, but this is an illustrative example of a preferred embodiment of the present invention, but does not limit the present invention. In addition, it is obvious that anyone skilled in the art can make various modifications and imitations without departing from the scope of the technical idea of the present invention.

110: 신경망 회로
410: 입력신호 변환회로
420: 신경망
430: 출력회로
440: 컨트롤러 110: neural network circuit
410: input signal conversion circuit
420: neural network
430: output circuit
440: controller

Claims (5)

제어신호 및 기준전압에 응답하여 멀티레벨 입력펄스신호를 단일의 전압준위를 가지는 변환기준신호를 기준으로 PNM 또는 PWM 변환하여 변환입력신호를 생성하는 입력신호 변환회로;
로 라인과 칼럼 라인에 양단이 연결되는 복수의 시냅스 소자를 이용하여 상기 입력신호 변환회로에서 상기 로 라인으로 인가되는 상기 변환입력신호를 칼럼 라인으로 전달하는 신경망;
상기 신경망을 구성하는 상기 칼럼 라인의 일 단으로 전달되는 전류를 버퍼링하는 출력회로; 및
상기 입력신호 변환회로로 인가되는 멀티레벨 입력펄스신호에 대응하여 상기 제어신호를 생성하거나, 상기 기준전압의 전압준위를 결정하는 컨트롤러; 를 포함하여,
실제 입력펄스신호의 전압준위와 무관하게 신경망에서의 컨덕턴스를 항상 동일하게 유지해서 서로 다른 전압준위의 멀티레벨을 가지는 입력펄스신호 인가시 발생하는 인식률 에러를 방지하며,
상기 시냅스 소자 각각은 전기적 특성이 동일한 시냅스 소자를 배열하는 것을 특징으로 하는 변환입력신호를 사용하는 신경망 회로. an input signal conversion circuit generating a conversion input signal by PNM or PWM conversion of a multi-level input pulse signal based on a conversion reference signal having a single voltage level in response to a control signal and a reference voltage;
a neural network for transferring the converted input signal applied to the row line from the input signal conversion circuit to a column line by using a plurality of synaptic devices connected to both ends of a row line and a column line;
an output circuit buffering a current transmitted to one end of the column line constituting the neural network; and
a controller generating the control signal in response to the multi-level input pulse signal applied to the input signal conversion circuit or determining a voltage level of the reference voltage; including,
Regardless of the voltage level of the actual input pulse signal, the conductance in the neural network is always kept the same to prevent recognition rate errors that occur when multi-level input pulse signals with different voltage levels are applied,
Each of the synaptic elements is a neural network circuit using a conversion input signal, characterized in that for arranging synaptic elements having the same electrical characteristics. 삭제delete 제1항에서, 상기 입력신호 변환회로는,
멀티레벨 입력펄스신호를 누적하는 적분기; 및
포지티브 입력단자에는 상기 기준전압이 인가되고 네거티브 입력단자에 상기 적분기의 출력신호가 인가되며 상기 변환입력신호를 출력하는 비교기를 구비하는 PWM 변환기; 를
구비하는 변환입력신호를 사용하는 신경망 회로. In claim 1, the input signal conversion circuit,
an integrator for accumulating multi-level input pulse signals; and
a PWM converter having a comparator that applies the reference voltage to a positive input terminal, applies the output signal of the integrator to a negative input terminal, and outputs the converted input signal; cast
A neural network circuit using a conversion input signal having 제1항에서, 상기 입력신호 변환회로는,
멀티레벨 입력펄스신호를 누적하는 적분기; 및
상기 적분기에서 출력되는 신호를 PNM 신호로 변환하는 기능을 수행하며,
포지티브 입력단자에는 상기 기준전압이 인가되고 네거티브 입력단자에 상기 적분기의 출력신호가 인가되는 비교기와 상기 제어신호에 응답하여 상기 비교기의 출력신호를 스위칭하여 상기 변환입력신호를 생성하는 스위치를 포함하는 PNM 변환기; 를
구비하는 변환입력신호를 사용하는 신경망 회로. In claim 1, the input signal conversion circuit,
an integrator for accumulating multi-level input pulse signals; and
It performs a function of converting a signal output from the integrator into a PNM signal,
A PNM comprising a comparator to which the reference voltage is applied to a positive input terminal and an output signal of the integrator to which an output signal of the integrator is applied to a negative input terminal, and a switch to generate the converted input signal by switching the output signal of the comparator in response to the control signal. converter; cast
A neural network circuit using a conversion input signal having 제4항에서, 상기 복수의 스위치에서 출력되는 복수의 펄스신호는 각각 일정한 지연시간을 가진 펄스 트레인 형태이거나, 복수의 펄스신호가 지연시간 없이 합쳐진 단일 펄스의 형태 중 하나의 형태를 가지는 변환입력신호를 사용하는 신경망 회로. [Claim 5] The conversion input signal of claim 4, wherein the plurality of pulse signals output from the plurality of switches are either in the form of a pulse train having a constant delay time or in the form of a single pulse in which a plurality of pulse signals are combined without a delay time. A neural network circuit using .
KR1020200037142A 2020-03-26 2020-03-26 Neural network circuit using modified input signal KR102488174B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200037142A KR102488174B1 (en) 2020-03-26 2020-03-26 Neural network circuit using modified input signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200037142A KR102488174B1 (en) 2020-03-26 2020-03-26 Neural network circuit using modified input signal

Publications (2)

Publication Number Publication Date
KR20210120440A KR20210120440A (en) 2021-10-07
KR102488174B1 true KR102488174B1 (en) 2023-01-16

Family

ID=78114847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037142A KR102488174B1 (en) 2020-03-26 2020-03-26 Neural network circuit using modified input signal

Country Status (1)

Country Link
KR (1) KR102488174B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661581B1 (en) * 2021-11-30 2024-04-30 한국과학기술연구원 Nonlinearity compensation circuit for memristive device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233115B2 (en) * 2004-03-15 2007-06-19 Color Kinetics Incorporated LED-based lighting network power control methods and apparatus
KR101052275B1 (en) * 2009-02-28 2011-07-27 울산대학교 산학협력단 Multi-Level Inverter PMM Generator Using FPA
KR102420362B1 (en) * 2017-07-11 2022-07-15 한국전자통신연구원 Neuromorphic arithmetic device
US20190026627A1 (en) 2017-07-20 2019-01-24 Samsung Electronics Co., Ltd. Variable precision neuromorphic architecture

Also Published As

Publication number Publication date
KR20210120440A (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US10692570B2 (en) Neural network matrix multiplication in memory cells
CN111433792B (en) Counter-based resistance processing unit of programmable resettable artificial neural network
US11222255B2 (en) Neuromorphic processing apparatus
Hinton et al. Learning representations by recirculation
Indiveri Neuromorphic bisable VLSI synapses with spike-timing-dependent plasticity
US20190279079A1 (en) Neuromorphic system with transposable memory and virtual look-up table
JP7427015B2 (en) Spiking synaptic elements for spiking neural networks
US11625579B2 (en) Spiking neural net work device and learning method of spiking neural network device
KR102488174B1 (en) Neural network circuit using modified input signal
AU2017348347A1 (en) Memristive learning for neuromorphic circuits
Berdan et al. In-memory reinforcement learning with moderately-stochastic conductance switching of ferroelectric tunnel junctions
US20200327401A1 (en) Computing circuitry
US20200250516A1 (en) Neuromorphic devices using layers of ion reservoirs and ion conductivity electrolyte
Šuch et al. Passive memristor synaptic circuits with multiple timing dependent plasticity mechanisms
KR20170080431A (en) Neuromorphic Device and Methods of Adjusting Resistance Change Ratio of the Same
US20210232900A1 (en) On-chip training neuromorphic architecture
KR102420362B1 (en) Neuromorphic arithmetic device
Zhu et al. Generalized-Type Multistability of Almost Periodic Solutions for Memristive Cohen–Grossberg Neural Networks
Daddinounou et al. Synaptic control for hardware implementation of spike timing dependent plasticity
KR102480434B1 (en) A synapse component having linear current-voltage characteristic and neural network using the synapse
US6625588B1 (en) Associative neuron in an artificial neural network
Vlasov et al. Reinforcement learning in a spiking neural network with memristive plasticity
KR20210034172A (en) Semiconductor device performing a mac operation
KR102517680B1 (en) Neuromorphic system using ferroelectric partial polarlization and resistive switching
Cauwenberghs Adaptation, learning and storage in analog VLSI

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant